そのあたりの答えは建久六（一一九五）年四月一日の九条兼実の日記にある。九条兼実はこの日も源頼朝と面会したことは書いているが、そこにあるのはかつてのような友好的なムードではなく、源頼朝が九条兼実に対して段々と冷淡になってしていることへの嘆きである。
源頼朝が丹後局高階栄子を六波羅に招いたこと、そして、大盤振舞と言えるだけのプレゼントを用意したことも知っている。
源頼朝は丹後局高階栄子だけでなく九条兼実にもプレゼントを贈っているのだが、「源頼朝卿、馬二疋を送る、甚だ乏少」というのが九条兼実の日記の記述だ。この時代の馬は現在でいう乗用車に相当する価値のある資産であり、奥州藤原氏を制圧した源頼朝のもとにはこの時代で最高の馬が手に入る環境にあった。つまり、源頼朝は九条兼実に対して高級車を二台贈呈したこととなる。普通に考えれば破格の扱いであるが、こうしたものは絶対的価値ではなく相対的価値で決まる。自分のもとには馬二頭だが、丹後局高階栄子のもとには何が贈られたかを考えると、逡巡するところがある。
もっとも、この逡巡も源頼朝の立場に立つと合理的な判断である。
源頼朝は九条兼実の政治家としての資質を見込んで九条兼実に接近したのではない。京都の貴族の中で源頼朝にとって最良の選択肢を選んだ結果が九条兼実であり、九条兼実よりも都合の良い選択肢が京都に登場するならば乗り換えることはおかしな話ではない。
源頼朝が九条兼実を選んだことは九条兼実にとってありがたいことであり、九条兼実はこれまでの政治家人生で少なくない局面で源頼朝の持つ武力を暗に示すことで自らの政治的意思と意見を表明するなど、九条兼実も源頼朝を利用していた。
しかし、この時点の源頼朝が求めているのは娘の入内であり、娘の入内については九条兼実が障壁となるならば、娘の入内に多少なりとも協力できる人に接近し、障壁となる人とは離れるというのはおかしな話ではない。特に、九条兼実は娘を中宮として後鳥羽天皇の元に送り込んでおり、この時点で皇嗣出産というレースで先陣を切っているのが九条兼実だ。源頼朝にしてみれば、いかに九条兼実がこれまで源頼朝の協力者であったとしても、その人が皇嗣出産のライバルでもある人物とあっては逡巡するところがある。
それに、もっと重要なこととして、源頼朝は九条兼実の政治家としての資質に疑いを持つようになっていたのだ。かつての藤原道長のような立場に自らを持って行くべく、独裁というより独善へと向かっている。このような人物との接近は利益よりもむしろ損害のほうが大きい。
源頼朝がこのときの九条兼実との面会をどのように捉えていたかは吾妻鏡である程度知ることはできる。すなわち、吾妻鏡をどれだけ探しても、建久六（一一九五）年四月一日に源頼朝が九条兼実と会ったという記録が無い。あるのは、結城朝光、三浦義村、梶原景時の三名が、勘解由小路京極、現在で言う京都御所のあたりで、平氏の残党である平宗資とその子を捕らえたという記録だけである。平家の残党の拿捕なのだから九条兼実との面会よりも大きなニュースだと言えばそれまでだが、九条兼実との面会を記録から消滅させるほどのニュースではない。歴史書は新聞やテレビと違って紙面や時間の制限など無い、書きたいことを全て書くことの許される環境なのが歴史書というものなのだから、書いていないということは、書いていないだけの理由があるとするしかない。
