not a fan of そのまま訳すと「～のファンではない」だが英辞郎で調べてみると…
not a fan of the gym
《be ～》ジム［スポーツクラブ］嫌いである
not a big fan of
《be ～》～が特に好きというわけではない
というような例がある。「ファン」という日本語を使うと少し変。
各種ガジェットやスマートフォンなんかのレビュー動画を見ていると、not a fan ofという表現はよく使われていて、I don't like というよりも直接的ではない響きがあることがわかる。
一方で否定のつかないa fan ofのほうは、
quite a fan of
《be ～》～の大ファンである
totally a fan of
《be ～》〈話〉～の大ファンだ
【追記】
プロ翻訳者の単語帳（https://mickeyweb.info/archives/29228）がよくまとまってました。
今日の英単語・英語表現「a fan of」を各種辞書で検索
英和辞典 Weblio
英和辞典 英辞郎 on the WEB
英英辞典 Cambridge English Dictionary
語源辞典 Online Etymology Dictionary
俗語辞典 Urban Dictionary
検索 Google