「気のせいじゃない?」という言葉は、人に対して、あまり使いません。
それは、「気のせいかもしれない」と、最初に思うのは、その時、その場所にいて、その空気感を体験した人が感じたことだからです。それを経て「気のせいじゃない」と、その人が思ったことだと想うからです。
自分が、同じような体験をしていなければ、そう言いたくなる事もあるかと思いますが、その気持ちを一旦、別の場所に置いて、相手の話を聴くことも大切なことだと思います。