帰れと言われて帰るのは正解か

正解かどうかは分かりませんが、

言った相手はこちらのツラも見たくないほど怒ってる筈なんで、

さっさと帰ったほうがいい。

ぐずぐずして火に油を注ぐ様な行為は絶対に良くないです。