専門医レベルの集中治療に関する質問に対するLLMの性能

Workum JD, Volkers BWS, van de Sande D, et al.
Comparative evaluation and performance of large language models on expert level critical care questions: a benchmark study.
Crit Care. 2025 Feb 10;29(1):72. PMID: 39930514.

集中治療についての選択問題をLLMに解かせたら、人間の平均が62点だったのに対してChatGPT-4oは89点だったと。

そもそもこんなサイトがあるらしい。
https://gotheextramile.com
知らなかったので、これまたChatGPT-4o先生に聞いてみた。
ーーーーーーーーーー
Go the Extra Mile（GTEM）は、集中治療医学に特化したオンラインの多肢選択式問題（MCQ）プラットフォームです。GTEMは、iOSおよびAndroid向けの「Critical Care MCQ」アプリを提供しており、医療専門家が集中治療に関する知識を強化するためのリソースを提供しています。 このプラットフォームは、集中治療分野で世界最大のMCQコレクションを誇ります。
GTEMは、EDIC OmnibusやLearn-Xなどのサブスクリプションを通じて、NEET-25のWhatsApp勉強グループプランを提供し、質問バンクの全カリキュラムをカバーしています。また、GTEMの利用者はINISS（集中治療）試験で高い成績を収めており、プラットフォームの効果が実証されています。
GTEMの創設者であるSumesh Arora氏は、集中治療専門医であり、プラットフォームの開発と運営に携わっています。
さらに、GTEMは新規および経験豊富な集中治療医向けに、無料のテストや教育リソースを提供しています。
ーーーーーーーーーー

それにしても、当然のことながら人間より賢い。4o先生でこのレベル。もうo1先生やo3先生はどれくらい賢いのだろう。もうすぐGPT4.5先生も出るらしいし、今年中に5.0先生になって、o1/o3先生とかDeep Research先生とか全部統合されるらしいし。

将来の医療や集中治療がどうなるか、なんて質問はあまり意味がなく、いつそうなるのか、の方が興味ある。