1598年（慶長3年）に豊臣秀吉が死去したのち、1600年（慶長5年）の「関ヶ原の戦い」では黒田長政が徳川家康の養女と婚姻関係を結んだことから徳川勢の東軍として戦っていますが、この頃から黒田官兵衛の身体は徐々に病に侵されており、1604年（慶長9年）の3月に京都伏見藩邸で死去。59歳でした。
その死に際して、黒田官兵衛はキリスト教のロザリオと祈りの言葉が書かれた紙を胸に抱き、自身の亡骸をイエズス会の宣教師のところへ運ぶよう命じたと言われています。
その死から2年後、領内に黒田官兵衛の追悼記念
豊臣秀吉の側近中の側近でありながら、彼の発令した伴天連追放令を受けても、黒田官兵衛の信仰心の強さを何よりも強く物語っているのです。