横浜市立大学医学部の研究グループは、米オープンＡＩ社が開発した対話型人工知能（ＡＩ）「チャットＧＰＴ」の医学分野における性能を科学的に検証した結果を発表しました。
どのような場合に正しい答えがもたらされ、どんな場合に誤答する可能性があるかについて科学的な検証がなされていませんでした。
研究では、日本の医師国家試験３年分をチャットＧＰＴに出題。使用したのは旧モデルのＧＰＴ－３．５と新モデルのＧＰＴ－４で、正答率は旧モデル５６．４％に対し、新モデルは８１．０％と大幅に向上していました。国家試験で多く出される模擬画像を使用した出題は除外しているため、そのまま合格ではないものの、いい線をいっています。今回の研究が新しいのは、どういう場合に間違えるかを検証した点です。
１点目は世界的な学術文献データベースを活用し、分野ごとの文献数との相関関係を解析。総文献数が多い分野ほど、正答率が高くなることを明らかにしました。
２点目は、全く同じ問題を出したときの回答の一貫性との相関。チャットＧＰＴでは同じ問題を出しても回答が変わるケースがあり、新モデルでは一貫性は大幅に向上しましたが、一貫性がない回答は、誤答である可能性が極めて高いことも分かりました。
さらに３点目としては、複雑な質問形式との相関関係で、選択肢から複数回答を選ぶ問題や、計算が必要になる問題では、誤答のリスクが統計学的に高まっていました。
チャットＧＰＴは将来的に有望なツールになり得るが、間違うことがあるので決してうのみにしないことが大切です。
