関係性や状況や背景にもよりますが、基本的には拒否されているので帰るのが良いと思います。ご縁を失うのであれば、余計な一言を言わなくて済みますし、
必要以上にこじらせなくて済みます。
再構築するのであっても、互いに冷静になった方が得策というものです。
『押してもダメなら引いてみな』ですね。
余りに近しい人だと、帰らない方が解決や修復が早い場合もあります。
本音で話し合える、そういう関係なら帰らないのもありです。
また帰るかどうか試されている場合も帰らないのが良いでしょう。
相手は帰って欲しくないのですから