英会話表現：英語で「イヤならやめれば。」はなんて言う？

I gave him a little update.彼に現在の状況を伝えた。

If someone is pushing my son around, I need to know.自分の子供が誰かに苛められてるとしたら、私には知る必要があります。

Take it or leave it.イヤならやめれば。

Not that I know of.私の知る限り、そうではありません。