オーケストラにしても、吹奏楽にしても、あるいはもっと人数を減らして弦楽四重奏にしても「ピッチを保つ」ことは「当たり前」のことだと思います。
ちょっとずつ下がっていって（上がっていって）その状態でハモリ続けるってあり得ないですよね。
でも、このあり得ないことがアカペラ（無伴奏）の歌でだけは「まかり通って」いる。
しかもピッチを保とうとする、或いは単にピッチを保っている人の方が往々にしてピッチを少しずつ外していってそれに気づいていない人から「何で合わせてくれないのか」と思われている、或いは言われる。
これってやっぱりおかしい！というのが正直なところ（笑）
この問題は多分あちこちで起こっていると思います。
多くの自然な絶対音感者は、他の人の「不注意」に合わせる理不尽さに耐えていることと思います。（笑）
しかもその「不注意さ」の中にも法則を見出すべく奮闘します。
誰はどの音を出すときに下がりやすい（上がりやすい）か、各人の発声の切り替えポイントが関係するか、ありとあらゆることを想定して、不規則なピッチの上下に備えます。
ただ、「少しぐらい上下しても気にならない、気がつかない」という人が大多数なので、難しい問題ではあります。
「半音の３分の１も違ったら違う色彩感になって気持ち悪いじゃないか、何でこんな状態で気がつかないんだ、どうして元に戻そうとしないんだ？？」という「普通」で「当たり前」の「素朴」な感覚を理解してもらえない、というところです。
さて問題解決としては、一筋縄では行きませんが、方法はたくさんあります。
絶対音感が「無い」人が（実際には耳が聞こえる人で絶対音感が無い人はまずいません。現状の知覚が「さぼって」鈍感になってるだけです）ピッチトレーニングをする、特に能動的に思い浮かべて音を出す、という部分を徹底的に訓練するのが理想かと思います。
あと「移動ドをやめて固定ドにする」のもいいかな、と思っています。
移動ドだと関係性だけに意識が行き、ピッチそのものの上下には気づきにくいのでは、と思います。
移動ドを使うなら、出している実音が何の音か英語音名かドイツ語音名で同時に意識すべきだと思います。
個人的意見ですが、移動ドで取っている人は転調部分の「そのままの体感的理解」が弱い、と思います。
正直に言うと「さっきまでの○○の音がここからは××」という認識の仕方それ自体が「素直じゃない！」と思ってしまいます（笑）
と書いてきましたが、急に改善は難しいので、自然な絶対音感者のほうも、半音以内ならその音だと思って合わせる、上下してることがわかっていても合わせる、も現実的な問題解決としては必要でしょう。
ただ、絶対音感者で相対感覚が弱い人は、ピッチ上下を全くしていない「正しい音」しか出せないという人も実は結構いて、ここが問題を根深くしてもいます。
なので、自然な絶対音感者のほうも相対的な音関係（音程幅、和音の構造）を感じる聴き方をより拓くトレーニングも必要です。
歩み寄りつつ、ピッチも保ってハモリも気持ち良く、になればと思います！