眼科専門医認定試験、ChatGPTの正答率58％

眼科専門医認定試験練習問題集「OphthoQuestions」の多肢選択式文章問題125問に解答した、対話型人工知能（AI）「ChatGPT」の成績を横断研究で評価。正答数を主要評価項目とした。問題の解答は2023年1月と2月に実施し、成績の経時変化も評価した。 その結果、2023年1月の正答率は46％だった。好成績の分野は「総合内科」（正答率79％）、不成績の分野は「網膜と硝子体」（同0％）だった。正答した問題と誤答した問題を比較したところ、ChatGPTが追加の説明を提供した問題の割合（差5.82％、95％CI －11.0-22.0、χ21 ＝0.45、P＝0.51）、問題文の平均文字数（差21.4±36.8文字 、同－51.4-94.3、t＝0.58、df＝123、P＝0.22）、ChatGPTの解答の平均文字数（差−80.0±65.4文字、同－209.5-49.5、t＝－1.22、df＝123、P＝0.22）に、大きな差はなかった。ChatGPTは、眼科研修医が最もよく選択する解答を44％の確率で選択した。2023年2月の正答率は58％で、多肢選択肢のない独立問題78問での正答...