2023年2月に実施された第117回医師国家試験の画像なし問題262問を、昨今注目を集める生成AI・チャット-GPTのGPT-3.5およびGPT-4に解かせた結果が発表されました。
262問中206問で正解したそうです。必修問題と基礎・臨床問題ともに、合格最低ラインを満たしました。
研究グループは不正解となった56問について、なぜ不正解となったのか要因を分析しています。その結果、不正解となった56問のうち33問(58.9%)では「医学知識の不足」が、17問(30.4%)では「日本特有の医療制度情報」が、4問(7.1%)では「数学的誤り」が要因となっていたことが分かりました。
私も難問か解かせてみましたが、決定的に間違っている解答もありました。明らかに誤った答えなのに、自信をもって解答してくるのでびっくりします。
医療保険分野における日本の薬事法、厚労省の指導、ガイドライン、公衆衛生に関する問題についてチャット-GPTは適切に答えることができませんでした。