やはりいろいろなサイトで「麻をカジュアル」としている人が多い。
上布や縮など、麻でも正式なものは多くあります。
決して「カジュアルじゃない」んですけれどね(特に男は)。

綿混の麻というのがあり、これが麻がカジュアルと勘違いした理由じゃないかと。

麻ってのは「礼装として使えます」ので、ご注意を。
といっても、無地で、紋入でのお話ですが(笑)

ちなみに、着物の格は(江戸時代の風習によれば)

小紋<附下<<(越えられない壁)<<色無地<江戸小紋<訪問着
※紋無の場合

です。附下を格上のように言う人がいますが、近代に入って高い訪問着の代わりに呉服屋が勧めるようになって流行したもので「外出着」ではあっても「礼装」には決してなりません。よって江戸時代からの作法を伝統とする茶道では用いません(←ここ重要)。ただし、流派によります。
また、附下には「一般的に紋を入れません」ので、ご注意を。

本来で言えば「紋無訪問着」も略礼装の一番下の扱いです。
※紋付訪問着は色留袖と同格。

紋付の順番でいえば

紋無訪問着<紋付色無地<紋付江戸小紋<紋付訪問着=色留袖<黒留袖

附下は略式の訪問着として見る向きもありますが、本来「家紋を入れるものではない」のが正しいかと。ただし、現代感覚では、紋を入れるようですね。

そこを理解して、やられるのであればよろしいかと思います。
知らずにやるのは……ね。

茶道は室町後期に成立し、江戸時代から紡がれているもの。
現代の風習を取り入れて変化していくことは必然ですが、それでもTPOに合わせて許容したいものですね。

日常や稽古は昔の風習のようなことは要らないと思います。お茶会やお茶事は「やはり茶人」と思われるようにしたいものです。

茶道用の二十四節気対応表も作ってみました(表千家宗家も、お裏さんも、現在は新暦で動いていますが、いろいろやってみた結果、新暦だと「季節感がおかしくなる」のに気づき、私は旧暦で動くようにしています)。
ご参考までに。


※追補しました。
長着の薄物を絽・紗・麻に変更、人形仕立袷を追記。
帯揚・半襟・長襦袢(女)・長襦袢(男)・男帯を追加

※注釈
女性の羽織は正装にはならないので注意。
略礼装になるなどというのは現代の感覚です。この感覚の違いを理解していないと、伝統の決まりをまもる茶道では「おかしな恰好をしている」と思われます。
また、男性は絽が正装(要五つ紋)。麻の長着を着ている場合は麻でも略礼装として扱えます(ともに紋を入れますが)。
ちなみに、「絽には三つ紋まで」などという人もいますが、五つ紋を入れても大丈夫です(というか武家の略礼装にするためには五つ紋でなければなりませんので⇒武家の礼装は裃、紋付羽織袴は略礼装であることに注意、町人は三つ紋の紋付羽織袴が正装)。