複雑な診断における生成AIの精度

Kanjee Z, Crowe B, Rodman A.
Accuracy of a Generative Artificial Intelligence Model in a Complex Diagnostic Challenge.
JAMA. 2023 Jun 15: Epub ahead of print. PMID: 37318797.

NEJMのclinico-pathologic conferencesをChat-GPTに診断させたら、ズバリ正解が39%、鑑別診断の中に当たりが入っていたのが64%。
なかなかやるじゃん？

臨床でやろうと思えば、すぐにできるかもね。現病歴と検査結果と画像の読影レポートをコピペすればいいから。ICUでも診断に苦慮することは少なくないし、今度やってみようかな。もちろん、データを保存しないように設定したり、プライバシーに関連するような情報はコピペしないとか、注意は必要だけど。

でも、遊びならいいけど、診断がついてないのでChat-GPTに助けてもらいたい、というような状況ではちょっと上手くいかないのではないか、というのが想像。理由は、必要な情報が集まらないから。NEJMの場合は必要な情報は全て書いてあるけど、診断がついていない時は正しい診断に至るための情報がどこにも書いてない可能性が高い。この検査がないと無理とか、この情報を家族から聞いていないとか。

まあ損はしないから、やっぱり今度やってみるかも。