そもそもは乗馬に関する言葉で、馬に嫌われたジョッキーが「あの馬とは相性が悪い」という意味で使ったのが始まりとされています。
次第に相手が人間の場合にも相性や性格の不一致を示す言葉として比喩的に使われるようになりました。
今では、特定の相手と考え方（価値観や人生観）やスタンスに大きな違いや隔たりがあって、コミュニケーションを交わしたり同席するのさえ避けたい場合に使います。
「あいつとは馬が合わない」などと使いますが、相手に嫌われている場合にも、自分が相手を嫌っている場合にも使います。
芸能界ではしばしば『共演NG』が話題になりますが、「気が合わない」「ソリが合わない」「相性が悪い」「ノリが違う」などと言うよりは多少婉曲的表現かな、でも同じ意味でしょうね。