赤が赤に見えるのとAがAに聞こえるのは同じようなこと

赤と言える範囲の色は赤に見えます。
黄色味が増してくればだんだんオレンジ色に見えてくる。

Aと言える範囲の音はAに聞こえます。
あまり高めになればB♭に聞こえてくる。

視覚か聴覚かの違いだけで、意味合い的に違いはありません。

色弱、色盲の人が一定数いるように、クローマ（ピッチカラー）知覚が弱い人も一定数いるのかもしれません。
ただ、殆んどの人はクローマ知覚を普段使ってないだけだと思います。

絶対音感はごく普通の、自然な知覚です。