怪力乱神は、いろいろな意味に解することができますが、孔子は、総じて"怪しいこと"をまとめて言っています。
孔子がそう答える前に、鬼神についてどう思うかと尋ねらた答えです。鬼神というのは、中国の古い霊符(お札)に描かれている鬼の字のことです。家に災いを起こすものとして描かれました。人に災いを与える理解不能な何かのことです。
現代の世間では、スピリチュアルやオカルトと考えてもらっていいと思います。
孔子は答えます。人のこともわからないのに、そんなことにかまってられないと答えます。人のことについて考えるのに、天才・孔子でも手がいっぱいだと言っているわけです。
理性的に考えてみると、人によって生まれる災いとオカルトによって起こる災いと、どちらが多いですか？ 何か、理解できない理由で起こっていることがそんなに多いですか？ そんなに多ければ、安心して暮らしていられませんね。
理由がわからない出来事は、対処の仕様もありません。対処というのは、因果関係から行うからです。因果関係を理解する力が理性ですから、"怪しいこと"は理性の外側の世界ということになります。ところが、そういう出来事はむしろ稀だということも、理性が教えてくれます。
じゃあ、スピリチュアルやオカルトだとか言っているのは、ただの理性の欠落です。
もっと簡単にいうと、バカはわけにわからないことに時間を浪費するということです。