複雑な診断における生成AIの精度

Kanjee Z, Crowe B, Rodman A.
Accuracy of a Generative Artificial Intelligence Model in a Complex Diagnostic Challenge.
JAMA. 2023 Jun 15: Epub ahead of print. PMID: 37318797.

NEJMのclinico-pathologic conferencesをChat-GPTに診断させたら、ズバリ正解が39%、鑑別診断の中に当たりが入っていたのが64%。
なかなかやるじゃん？

臨床でやろうと思えば、すぐにできるかもね。現病歴と検査結果と画像の読影レポートをコピペすればいいから。ICUでも診断に苦慮することは少なくないし、今度やってみようかな。もちろん、データを保存しないように設定したり、プライバシーに関連するような情報はコピペしないとか、注意は必要だけど。

でも、遊びならいいけど、診断がついてないのでChat-GPTに助けてもらいたい、というような状況ではちょっと上手くいかないのではないか、というのが想像。理由は、必要な情報が集まらないから。NEJMの場合は必要な情報は全て書いてあるけど、診断がついていない時は正しい診断に至るための情報がどこにも書いてない可能性が高い。この検査がないと無理とか、この情報を家族から聞いていないとか。

まあ損はしないから、やっぱり今度やってみるかも。

Hypotension Prediction Indexについての追記の追記。

高みの見物をすると言っておきながら、やっぱり気になったので、PubMedでアブストラクトだけざっと読んでみた。ただし本文は全然読んでいないので、間違っている可能性はありますよ。

分かったこと。
・観察研究でもRCTでも、HPIを導入すると術中の低血圧（MAP<65と定義しているものが多い）が減る。
・予測能をMAPと比較すると、HPIとMAPは同程度の精度。
ということになるようだ。

つまりこういうことか。
・普通の管理では、多くは低血圧が実際に起こってから対応する。
・HPIはそれを事前に知らせるので、その段階で介入することが多くなり、結果的に低血圧が減る。
・でも、MAPの経過を見ていても血圧低下は予測可能。

では、HPIは使用するべきか？
・MAPを眺めて、低血圧が起こる前に対応できれば、HPIは不要。
・でも、すべての人がすべてのタイミングで予防的な行動を取れるわけではないので、HPIが有用な場面はある。
・でもでも、例えばMAP<65を予防したいなら、MAPのアラームを70にセットしておけばHPIと同じことができるのではないか？

今後の研究に期待すること。
・HPIとMAPの比較をいろいろな環境で行う。
・介入研究では、HPI群 vs. usual care群ではなく、HPI群 vs. MAP<70で介入する群の比較をする。

繰り返しますが、ざっと読んだだけなので、検討違いのことを言っている可能性はありますよ。
でも、もし正しいとすれば、HPIはすぐに臨床導入するべき、という結論にはならないと思う。

自分的にスッキリしたので、今度こそ高みの見物だ。
さあ、これからどうなっていくのかな？

Hypotension Prediction Indexについての追記。

昨日の記事について。
麻酔科学会から指針が出ているんですね。 知りませんでした。
つまり、日本でもう使用可能もしくは使用可能になる、ということですね。
術中低血圧予測モニター使用指針
実際の指針はこちら。
懸念については書いてなさそうだけど。

気になったので、さらに調べてみた。
JAMAに掲載されたHYPEの次のRCTが計画されているそうだ。その名もHYPE-2。ClnicalTrials.govにも登録がある。今度は、on-pump CABGの術中・術後管理が対象。なんとICUでのRCTですよ。

こんな文献も最近出たらしい。韓国から。
Yang SM, Cho HY, Lee HC, Kim HS.
Performance of the Hypotension Prediction Index in living donor liver transplant recipients.
Minerva Anestesiol. 2023 May;89(5):387-395.PMID: 37000016.
肝移植20例の術中が対象。5分後の低血圧予測に対するHPIとMAPのAUCは0.810と0.816でMAPの方が高い。

他にも、PubMedで、
"hypotension prediction index"[ti]
で検索すると34の文献が検索される。RCTも複数あるみたいだ。興味のある人は読んでみては。

どうやら世界中の麻酔科医がいろいろやっているようなので、僕は高みの見物をすることにします。
でも、実際に使ってみれば臨床的意義があるかどうかはすぐ分かりそうだな、これ。
MAPは下がってないのに低血圧を正しく予測したらHPIの勝ち、HPIが高くなるときはいつもMAPも低くなっていれば負けなんだから。

MAPは低血圧予測アルゴリズムと同等か？

AIの臨床応用という視点からはとても重要な話。
順番に行くと、

Hatib F, Jian Z, Buddi S, Lee C, et al.
Machine-learning Algorithm to Predict Hypotension Based on High-fidelity Arterial Pressure Waveform Analysis.
Anesthesiology. 2018 Oct;129(4):663-674. PMID: 29894315.
術中のA-lineの波形から多くの特徴量を作成し、それに基づいて術中の低血圧の発生を5-15分前にAUROCが0.95の精度で予測できると報告。

Wijnberge M, Geerts BF, Hol L, et al.
Effect of a Machine Learning-Derived Early Warning System for Intraoperative Hypotension vs Standard Care on Depth and Duration of Intraoperative Hypotension During Elective Noncardiac Surgery: The HYPE Randomized Clinical Trial.
JAMA. 2020 Mar 17;323(11):1052-1060. PMID: 32065827.
ここでも紹介。RCTで有効性が示された。

これらの結果に基づいて、Edwardsがモニタに表示するようにした。

でも、研究結果がちょっとおかしいんじゃね？とケチがついた。
Enevoldsen J, Vistisen ST.
Performance of the Hypotension Prediction Index May Be Overestimated Due to Selection Bias.
Anesthesiology. 2022 Sep 1;137(3):283-289. PMID: 35984931.

今回の文献は、実際に使ったらこうだったよ、という内容。
Mulder MP, Harmannij-Markusse M, Donker DW, et al.
Is Continuous Intraoperative Monitoring of Mean Arterial Pressure as Good as the Hypotension Prediction Index Algorithm?: Research Letter.
Anesthesiology. 2023 Jun 1;138(6):657-658. PMID: 37011012.
なんと、MAPだけで予測しても同じ結果がでそうだよ、という結論。

いろいろ考えさせられるね。
商品が表示する数字って信用できるのかとか、
研究の解釈って注意が必要だねとか、
有効性がどう示されたら臨床応用していいのかとか、
先日も書いた通り、未来のXを予測するのにもっとも重要な特徴量は今のXで、そんな予測って臨床意義はあるのかとか。

たくさんの問題を抱えつつ、AIは臨床に入ってくる。
医療従事者はそれをどう判断するか、が大事。
正しく判断するには知識がないといけない。

そっか。
薬とかデバイスとか、根拠は乏しいのに臨床でバンバン使われているやつ、いくつもあるもんね。
別にAIが特別なわけじゃない。
ーーーーーーーーーー
追記あります。
世間ではすでにいろいろ話題になっていた。

深層学習に基づく重症患者における譫妄予測

書くことたくさんあるやつ。

Lucini FR, Stelfox HT, Lee J.
Deep Learning-Based Recurrent Delirium Prediction in Critically Ill Patients.
Crit Care Med. 2023 Apr 1;51(4):492-502. PMID: 36790184.

4万症例、3600個の特徴量を使って深層学習すると、12時間後の譫妄状態がAUROC 0.909の精度で予測できる。
と思ったらいけません。
現在使用可能な情報を使って近未来の譫妄の有無を予測する場合、何がもっとも重要度の高い特徴量になるか、を考えたら分かる。

それは現在の譫妄の有無。
実際、supplementの118ページを見ると、重要な特徴量トップ10のうち、なんと5個がICDSCスコアになっている（最大値とか75パーセンタイルとかデータの有無とか中央値とか平均値とか）。つまり、今譫妄だと12時間後も譫妄、今は譫妄じゃないと12時間後も譫妄じゃないと予測するということ。
そんな予測、臨床的に有益だろうか？

半年くらい前、自分でも譫妄予測モデルを作って、その予測を在室中の患者さんに対して使用して、数ヶ月間観察してみた。そうすると、AUROCはやっぱり0.9前後になるのだけど、現在の譫妄の状態が予測に最も強く影響してしまい、これは臨床に役に立たないという結論に達してやめた。

譫妄以外にも、例えばAFも同じ感じになる。AFの予測モデルもそれなりの精度で作れるのだけど、やっぱり今のAFの有無に予測が大きく依存してしまい、臨床には使えない。

Wardi G, Owens R, Josef C, et al.
Bringing the Promise of Artificial Intelligence to Critical Care: What the Experience With Sepsis Analytics Can Teach Us.
Crit Care Med. 2023 Apr 26. Epub ahead of print. PMID: 37098790.

この文献のTable 1に、「AIがICU領域に受け入れられていない理由」がまとめられている。AIに対する不信感とか、倫理的な問題とか、色々な理由が書いてあるけど、それ以前の問題として、「その情報、意味ありますか？」がとっても重要。というかとっても難しい。

画像診断とか、口頭筆記とか、要約とか、AIがICUに入ってきそうな分野はいくつかある。でも、未来予測や診断補助や治療方法の提示といった分野は、研究や文献は山ほどあるし精度が高いとされているけど、じゃあ実際に臨床応用して意義があるか、の部分に高い壁がある。

でも、難しいからこそ面白いのさ。

このブログについてBardに聞いてみた。

Bardが5月10日から日本語対応したそうだ。Googleのアカウントを持っていれば、新しく作る必要がない。
比較のため、ChatGPTと同じことを聞いてみた。

Dr内野のおすすめ文献紹介（https://blog.goo.ne.jp/druchino）というブログについて紹介してください。
ーーーーーーーーーー
Dr内野のおすすめ文献紹介は、集中治療に関する文献紹介を主な目的としたブログです。ブログ主の内野先生は、集中治療医として30年以上の経験を持つ医師です。現在はセミリタイアし、集中治療に関する文献の紹介や解説を行っています。
ブログでは、最新の文献から古典的な文献まで、幅広く紹介されています。また、文献の解説も丁寧でわかりやすく、集中治療について学びたい方にとって貴重な情報源となっています。
Dr内野のおすすめ文献紹介は、集中治療について学びたい方、最新の文献を探している方におすすめのブログです。
ーーーーーーーーーー
お、ChatGPTみたいに作り話が書いてない。
URLを書くと、実際にそこに調べに行くからかな。

AI in the ICU

文献はこっちなんだけど、長くて読んでいられないので、ニュース記事をどうぞ（ブラウザの和訳ボタンを押せばスイスイ読めるよ）。
Researchers Develop AI-Based System To Recommend Clinical Treatments

このグループは5年も前にNature Medに文献を載せている、ICUにおけるAI利用では有名な人たち。
今回は、4名の擬似患者を用いて敗血症に対するAIによる治療方針を臨床医に使わせるとどうなるか、について検討。

ニュースの一部をDeepLで和訳。
ーーーーーーーーーー
「臨床医はAIに完全に判断を委ねるか、AIを完全に無視して自分で判断すると考えていました。しかし、結果はそう二者択一的ではありませんでした。」
研究チームは、臨床医に共通する行動として、「無視」「依存」「検討」「交渉」の4つを挙げた。「無視」グループは、AIが自分の判断に影響を与えることはなく、ほとんどが勧告を見る前に決断していた。一方、「頼る」グループは、すべての意思決定において、AIの意見の少なくとも一部を受け入れるということを一貫して行っていた。「検討する」グループでは、医師はすべてのケースでAIの推奨事項を考え、それを受け入れるか否かを決定した。しかし、ほとんどの参加者は「交渉する」グループに属し、このグループには、すべての決定ではなく、少なくとも1つの決定で推奨の個々の側面を受け入れた医師が含まれていた。
ーーーーーーーーーー

普通のことのように思うかもしれないけど、画像診断などを別にすると、医者がAIの言うことに耳を傾けた、という研究は実はあまりない。ただし、この研究は実臨床の場ではないことには注意が必要だけど。

「この患者さん、補液したほうがいいですよ」とAIに言われたら、あなたならどうする？

患者からの質問に対する医師とAIチャットボットの対応

Ayers JW, Poliak A, Dredze M, et al.
Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum.
JAMA Intern Med. 2023 Apr 28. Epub ahead of print. PMID: 37115527.

ChatGPTの圧勝。質も高いし共感力もある。

簡単な例を試してみた。
ーーーーーーーーーー
僕：あなたは内科外来の医師です。患者さんに幾つか質問をして、最終的に診断をしてください。私が患者役をするので、質問してください。

ChatGPT：患者さん、こんにちは。診察を始める前に、いくつかの質問をさせていただきますね。
まず、お名前と年齢を教えていただけますか？
どのような症状でお困りですか？
その症状はいつ頃から始まりましたか？
症状は日常生活に影響を及ぼしていますか？
現在、服用中の薬やサプリメントはありますか？
既往症や家族歴、アレルギーは何かありますか？
最近、特別なストレスや生活習慣の変化はありますか？
食生活や運動習慣について教えていただけますか？
以上の質問にお答えいただけると、診断に役立ちます。どうぞよろしくお願いいたします。

僕：名前は太郎、年齢は50歳です。
数日前から喉が痛くて咳が出ます。ちょっと辛いです。
薬はコレステロールを下げる薬を飲んでいます。それ以外の病気はありません。
生活に変化もありません。

ChatGPT：太郎さん、ご回答ありがとうございます。症状や状況をもう少し詳しくお聞かせいただきたいと思います。
喉の痛みは急に始まりましたか？それとも徐々に悪化してきましたか？
咳は乾いた咳ですか、それとも痰が出るような咳ですか？
発熱や頭痛、関節痛など他の症状はありますか？
周囲に風邪や感染症にかかっている人はいますか？
最近、外国への渡航歴はありますか？
この情報が揃えば、より正確な診断ができると思います。お手数ですが、ご回答をお願いいたします。

僕：朝起きたら喉が痛かったです。咳は少し痰がかかります。妻が同じ症状です。外国には行っていません。

ChatGPT：太郎さん、ありがとうございます。症状から考えると、風邪や上気道感染症が疑われます。妻も同じ症状であることから、感染性の病気の可能性が高いと思われます。ただし、私はAIであり、実際に診察や検査を行うことはできませんので、正確な診断はできかねます。症状が続く場合や悪化する場合は、近くの内科医院を受診されることをお勧めいたします。

症状緩和のために、以下の対処法を試してみてください。
十分な休息を取る
水分をこまめに摂取する
喉が痛い場合、のど飴やうがい薬を使用する
室内の湿度を適切に保つ
熱がある場合、解熱剤を使用する（ただし、アレルギーがある場合は注意してください）
お大事になさってください。また、症状が続くようであれば、医師の診察を受けていただくことをお勧めいたします。
ーーーーーーーーーー

これで十分な状況なんて、いくらでもありそうだ。

AKIの和訳をChatGPTに聞いてみた。

まず過去ログ。
Acute kidney injuryの日本語訳
AKIの和訳は急性腎傷害

ネット情報に基づいて文章作成をするChatGPTはどう返事をするか、だいたい予想がつくが、聞いてみた。

質問：AKIの日本語訳が急性腎傷害と急性腎障害の２通りありますが、どちらが正しいのでしょう？
回答：「AKI」は「Acute Kidney Injury」の略で、日本語に訳すと「急性腎傷害」となります。しかし、「急性腎障害」という訳も一般的に使われており、どちらも正しいと言えます。ただし、「急性腎傷害」はより専門的な用語として使用されることが多く、医学的な文脈ではこちらの方が適切とされることがあります。どちらの訳を使うかは、文脈や対象となる読者によって異なります。

おっと、予想外！
で、次は別のスレッドにこう聞いてみた。

質問：AKIの日本語訳が急性腎障害と急性腎傷害の２通りありますが、どちらが正しいのでしょう？
回答：AKI（Acute Kidney Injury）の日本語訳には、「急性腎障害」と「急性腎傷害」という2つの訳が存在します。これらはどちらも正しいと言えますが、医学的には「急性腎障害」という訳がより一般的に用いられていることが多いです。「急性腎障害」の方が、「急性腎傷害」よりも広く認知されており、医学論文や教育資料では「急性腎障害」が使われることが多いです。しかし、どちらの訳も同じ意味を持っているため、両方とも理解しておくと良いでしょう。

おお。
ではこのスレッドで続けてこう聞いたら？

質問：AKIの日本語訳が急性腎傷害と急性腎障害の２通りありますが、どちらが正しいのでしょう？
回答：AKI（Acute Kidney Injury）の日本語訳には、「急性腎障害」と「急性腎傷害」という2つの訳が存在します。どちらも正しい訳であり、実際に使用されていることがあります。しかし、医学的な文献や病院の現場では、「急性腎障害」の方が一般的に用いられていることが多いです。

・大規模言語モデルでは基本的に次に来る単語を予測しているだけなので、質問で聞く順番が回答に影響を与える。
・ただし同じスレッド内では以前の回答を記憶しているので、順番を変えても影響されない。

なるほど。聞いたことはあっても自分で試すとよく分かるね。

昨日の文章はChatGPTが書きました。

INTENSIVISTの今年の7月号、「Critical Care Nephrology」の執筆を依頼されたのは本当。内容についてのメモを少し作ったところで、はて、ChatGPTならどう書くかな？と思い、やってみた。

指示１：
あなたは急性腎傷害（AKI）の専門家です。雑誌社から、「20年を振り返って」というタイトルで文章を書くよう依頼されました。
メモ的な文章を書いたので、これを肉付けして、3000字程度にまとめてください。いかがそのメモです。
（メモ）

指示２：
ですます調はやめてください。それと参照文献も10〜20くらい付けてください。

で、できたのが昨日の文章。
メモを読み違えてるところもあるし、原稿にはちょっと字数が足りないけど、ちょっと直せばこれでほぼOKじゃね？
ビビったのが参照文献３。文献どころか僕の名前も教えてないのに、ズバリ見つけてきてる。
ただ、読んでて面白くない。

年齢制限とか、プライバシーの問題とか、イタリアで使用中止になったとか、そもそもAIの開発をしばらく中止しようとイーロンマスクが言ったとか、アクセス制限がすぐ起こるとか、有料化の種類が増えるらしいとか、毎日のようにニュースになっている。これからどうなっていくのか全然わからないけど、使えば使うほどこいつの得意不得意がわかっていく感じは、とりあえず楽しい。

雑誌社の方々、これはあくまで遊びで、ちゃんと書きますからご心配なく。