個人の独り言さえ気に障るのであれば、
その人にわざわざ近寄らなければ良いと思います。
普通は、離れられる関係性であれば、すぐに自己防衛のために自ら離れると思います。
ましてや、何の接点も関係性もないのであれば、その状態を維持することは不自然です。