相手に都合が悪い連絡となると気が重くなるものです。
しかし、負の連絡をしっかり行ってこそ、信頼を得るものと思います。
検討した結果依頼をしない場合に、しないのだから連絡は必要ない（または、気が重い）
とのことで、依頼先だけに連絡をするケースがあります。
もう２度とお付き合いをしないということであっても、お断りの連絡を入れるべきでしょう。
それも、決定後ただちに。（状況によってタイミングを見計らうことはありますが）
何が起きるかわかりせん。
できる限り、良い印象のまま終えることを心がける必要があります。