AIを活用したウェアラブルカメラによる臨床投薬ミスの検出

Chan J, Nsumba S, Wortsman M, et al.
Detecting clinical medication errors with AI enabled wearable cameras.
NPJ Digit Med. 2024 Oct 22;7(1):287. PMID: 39438764.

未来を予感させられる文献。
カメラ付きメガネで手に持ったアンプルの薬剤が正しく当てられるだけなのだけど、人が飛び出してきたら車が自動で避けてくれる時代なのだから、「そのアンプルは指示と違います」なんて教えてくれるようになるのも時間の問題でしょう。

AIを活用したカルテ記載と医療従事者の電子カルテ体験

観察研究だし、短い文献だけど、大事な話をしていると思う。

Liu TL, Hetherington TC, Stephens C, et al.
AI-Powered Clinical Documentation and Clinicians' Electronic Health Record Experience: A Nonrandomized Clinical Trial.
JAMA Netw Open. 2024 Sep 3;7(9):e2432460. PMID: 39240568.

ざっくりまとめると、
・30％の人はそもそも電子カルテにストレスを感じていない
・30%の人はAIを導入するとストレスが減る
・40%の人はAIが導入されてもストレスを感じる
という結果。

これは、電子カルテそのもの、AIそのものが抱えている問題ではなくて、インターフェースがユーザーにとってどれくらいフレンドリーか、という問題だと思う。電子カルテが使いにくいこと、工夫の仕方で上手く使える人とそうでない人がいることは周知の事実で、AIという新しい仕組みについても同じことが言える。商品を作っている人は、最終的に勝負するところはここだって意識して欲しいのだけど、そう思ってくれていないことが少なくないよねー。

AIモデルは医療従事者に対して説明可能であるべきか？

4日連続の予定だったが、良い感じのやつがCCに出たので５日連続で。

Abgrall G, Holder AL, Chelly Dagdia Z, et al.
Should AI models be explainable to clinicians?
Crit Care. 2024 Sep 12;28(1):301. PMID: 39267172.

Models should be explainable for clinicians: yes!
Models should be explainable for clinicians: no!
と、自分でPro/Conをしている。結論を要約すると、
「AIの説明可能性は重要だが、対象に応じた説明は難しいし、説明可能性だけではAIの効果的な適用は保証されない。」

僕はICUでのAI予測には基本的に説明可能性は不要と考えている。詳細はここでそれなりに詳しく話したので割愛。簡単に言うと、「説明変数が多すぎて説明にならない」が理由。

説明可能性の是非よりも、この文献に出てくる表が大事。
Table 1 Top 10 must-knows for clinicians using AI models
1. Objective & Scope
2. Model insights
3. Data source
4. Evaluation & Validation
5. Model limitations
6. Clinical integration
7. Ethical considerations
8. Regulatory aspects
9. Maintenance & Audit
10. Feedback & Reporting

つまりAIを提供する側はユーザーに対してこれだけのことを情報提供しないといけない、ということ。こういうのを見ても、「モデル作った、すごいでしょ」じゃダメ、ということが分かる。

つい先日、自治さいたまでやっている予測について、10をやった。今は9、つまりモデルのアップデートをしている。
やること一杯、夢一杯（かどうかは微妙）。

「AIモデルは医療従事者に対して説明可能であるべきか？」をタイトルとした、かわいいイラストを描いて。
とChatGPT4oに依頼した結果。
なんか違うぞ。そして"clinicians"のスペルが間違ってるぞ。

機械学習による菌血症予測に対するICU専門医の信頼性

普通の医学論文とは書き方も内容も異なるので読みにくいが、やっていることは面白そう。
ただ、内容を読み間違えている可能性があり、自信がないので、自分の理解の範囲内で感想を。

Katzburg O, Roimi M, Frenkel A, et al.
The Impact of Information Relevancy and Interactivity on Intensivists' Trust in a Machine Learning-Based Bacteremia Prediction System: Simulation Study.
JMIR Hum Factors. 2024 Aug 1; PMID: 39092520.

47人の集中治療医に架空の３症例を提示し、菌血症かどうかを予測させた。
どの症例も10の臨床情報と、AIによる予測を示した。ただし、
・1例は臨床的に意味がありそうな10項目（体温、呼吸数、乳酸血など）を自動で提示、項目を選ぶと過去24時間の情報も見られる機能付き
・1例は臨床的に上記と同じ10項をカルテから手入力させた（過去の情報は無し）
・1例は実際にAIが予測に利用している10項目（PF比の75パーセンタイル値、過去3日間の平均血圧、入院からの日数など）を自動で提示、過去24時間の情報も見られる機能付き

そして実験終了後、どれくらいAIの意見が信頼できるかについてアンケートを行った。その結果、どの症例でもAIの予測と医師の予測の一致率に違いはなかったが、
・提示された情報に意義があると感じた人ほどAIへの信頼は高かった
・インタラクティブに操作できたと感じた人ほどAIへの信頼は高かった

この結果から考察されること（少し理解が怪しいかも）：
・実際の情報や機能より、それをユーザーがどう感じたかの方がAIの信頼性と関連がある
・「えー、こんな項目でAIって予測してるんだー」と思われてしまうとAIへの信頼性は下がる
・自動でデータが抽出され、かつそのデータを自分で操作できると、AIへの信頼性は高まる

ザクっとまとめると（いよいよ怪しいかも）：
・ユーザーが喜ぶ情報提示方法が大事
・いわゆる”説明可能AI”が信頼性を高めるとは限らない

どちらも、納得の行く結果。
AIが完全に人間を圧倒し、医療がAI中心で行われる世の中になるまでは（21世紀中にはそんな時代が来るかも）、AIはあくまで意思決定の補佐。そして補佐するためには信頼が必要で、信頼は正しい予測さえしていれば得られるわけではない。

この辺、日々実感しています。

ICU入室時点で気管切開の必要性を予測する

Nguyen M, Amanian A, Wei M, et al.
Predicting Tracheostomy Need on Admission to the Intensive Care Unit-A Multicenter Machine Learning Analysis.
Otolaryngol Head Neck Surg. 2024 Jul 30. Epub ahead of print. PMID: 39077854.

気管切開を行うかどうかの判断は、ご存知の通り結構難しい。
それを入室時点で予測できたらスゴイじゃん？臨床でも便利じゃん？無駄な人工呼吸が減って、合併症も減って、患者さんにとってもグッドじゃん？
と思いたい、よね。

自治さいたまでは、昨年春からこんな感じでAIによる予測を提供している。最近はこれ以外にも複数の介入や合併症の確率も提供していて、内容的には結構盛りだくさん。しかも、これまでは平日の朝に1回、予測結果をPDFにしたものをTEAMSで共有していたのだけど、先月末から部門システムに組み込まれ、今は毎時アップデートされる予測が誰でも簡単に見られるようになった。
「退室時に気管切開が行われている確率」も、全患者で毎時予測している。AUROCは0.933、キャリブレーションもいい感じでy=xの直線上にだいたい乗っている。人間がICU全ての患者さんの気切確率を1時間毎にこの精度で予測するのは相当難しいと思うし、それが仕事中にワンクリックで見られるのだから、スゴイでしょ？
だからみんな便利に使ってくれている。
と思いたい、けど。

でも実際はそうじゃない。ちょっと考えてみよう。
キャリブレーションが正確ということは、気切確率30%の患者さんは30%の確率で気切され、70%の患者さんは70%の確率で気切される。
さて、人工呼吸開始数日の段階で、この患者さんの気切確率は70%と言われたら、どう考えるだろうか。いつも通り2~3週待つのは無駄だから早期に気切しようと判断するだろうか。多くの人はそうは考えないのではないか。確率70％ということは気切せずにICUを退室できる可能性が30%あるということで、予測に基づいて早期に気切してしまうと結構高い確率で不要な気切をすることになる。気管切開は、手技そのものにリスクがあるし、抜去するのはなかなか勇気がいるし、その判断を病棟医に依頼するのは気が引けるし、病棟で気切チューブ閉塞で心停止というのも一定の確率で起こるし、全部が上手くいったとしても首に傷が残る。早期判断はいろいろな意味で難しい。
逆のパターンも同様。長期挿管になっても気切確率があまり高くないときに、では気切せずに抜管を目指そうというのはどこかで限界が来る。

気切するかしないかで意見が分かれたり、判断が難しいなーと思っている時に、第三者的な意見として参考になる可能性はあるし、実際にそういう風に使われることもある。でもそれは比較的珍しいケースで、多くはあまり臨床に利用されていない印象を持っている。実際、カンファで「気切確率がX%だからこうしよう」という会話はまず聞いたことがない。

何を予測するにしても、多かれ少なかれ同様の問題というか限界がある。気管切開はその典型例で、治療介入や抜管挿管や退室よりも判断が患者さんに与える影響が大きい。
なのに、この文献のconclusionに、
"the potential to institute earlier interventions and reduce the complications of prolonged ventilation"と書いてあって、「いやー、そんな簡単じゃないだろ」と思ったのが、紹介することにした理由。

急性期医療における人工知能：行動への呼びかけ

今年の春のISICEMで22人で話し合ったんですって。

Cecconi M, Greco M, Shickel B, et al.
Artificial intelligence in acute medicine: a call to action.
Crit Care. 2024 Jul 29;28(1):258. PMID: 39075468.

急性期医療におけるAI導入のための枠組みとして、
1. Social Contract for AI
2. Human-Centric AI Development
3. Data Standardization and Infrastructure
4. Federated Real-Time Networks
5. Education and Training
6. Collaborative Research and Development
を挙げている。

他にも、
・何を予測して情報提供するか
・高い精度を出すにはどうするか
・その精度を維持にするにはどうするか
などなど、臨床でのAI導入は考えることが沢山ある。

AI関連の文献のほとんどは、「〇〇のデータベースを用いて△△を予測したところ、精度の良いモデルができた。臨床で使用したら有意義ではないかと思われる」的な内容ばかり。でも実際は、そんな簡単じゃない。「もうそっちに行っても仕方ない」研究はそろそろ終わりにして、どう臨床応用するか、の研究が増えると嬉しいのだけど。

深層学習による手術ビデオ録画の解析で非技術的スキルを評価する

今日から4日連続でAIの話をする予定。
まずは軽いやつ。

Harari RE, Dias RD, Kennedy-Metz LR, et al.
Deep Learning Analysis of Surgical Video Recordings to Assess Nontechnical Skills.
JAMA Netw Open. 2024 Jul 1;7(7):e2422520. PMID: 39083274

30例の心臓外科手術中の動画（術野ではなくOP室全体）を用いて、外科医・麻酔科医・ME・器械出し看護師の動きを評価（方向とか、加速度とか、乱雑さとか）。実際に動画を見てチームとしてのnon-technical skillを採点し、それと動画から自動的に読み取った医療者の動きとの相関を見た。結論として、手術室の自動動画解析でnon-techinical skillの評価は可能、と。

へー、面白い。息があったチームは同時に動いたりするのかな。
どうも、同様の手法は医療以外では有効性が示されているそうで、それを手術室に応用してみたと。
ICU全体の人の動きとか、解析したらいろいろ分かるかも？と、チラッと思った。でもそういうカメラってあまり無いよね。患者さん用はあるけど。

Hypotension Prediciton Indexの結論が出ました。

書くのはこれで7回目（前回はこちら）。
結論が出たので、これが最後になることでしょう。
オロジーの今月号から。

Davies SJ, Sessler DI, Jian Z, et al.
Comparison of Differences in Cohort (Forward) and Case Control (Backward) Methodologic Approaches for Validation of the Hypotension Prediction Index.
Anesthesiology. 2024 Sep 1;141(3):443-452. PMID: 38557791.

Mulder MP, Harmannij-Markusse M, et al.
Hypotension Prediction Index Is Equally Effective in Predicting Intraoperative Hypotension during Noncardiac Surgery Compared to a Mean Arterial Pressure Threshold: A Prospective Observational Study.
Anesthesiology. 2024 Sep 1;141(3):453-462. PMID: 38558038.

結論だけ読むと、異なる研究結果が併記されているように思われるけど、違います。
その理由はeditorialに書いてある。

Vistisen ST, London MJ, Mathis MR, et al.
Shedding Needed Light on a Black Box Approach to Prediction of Hypotension.
Anesthesiology. 2024 Sep 1;141(3):421-424. PMID: 39136478.

このeditorial、HPIについて、機械学習について、そして診断方法の評価について、とってもよく理解している人が執筆している。本文だけで3 ページあり、HPIの何が問題なのかが全部書いてある。ただし相当歯ごたえがあり、これだけで1時間くらいの講義になりそうな内容で、僕も半分くらいしか理解できていない。

とは言え、結論は一つ。
「HPIの低血圧の予測精度はMAPと同等」
です。これでメーカーが販売を中止するとは思えないけど、臨床でどうすればいいかは明白。買わないし、使わない。

この話、HPIだけでとどまらない。
医療機器の承認はどうあるべきか、承認された医療機器を医療従事者はどう扱うべきか、機械学習の結果を臨床で使用するときに何に気をつけるべき、まで考えさせられる。

１度じっくり読むだけでなく、何度か読み返すべき文章。
医学文献では珍しいのでは。

人工知能は終末期の無力な患者の代弁者になれるか？

おお。
これは考えてなかった。

Brender TD, Smith AK, Block BL.
Can Artificial Intelligence Speak for Incapacitated Patients at the End of Life?
JAMA Intern Med. 2024 Jul 22. Epub ahead of print. PMID: 39037787.

心停止蘇生後で意識のない患者の意思について、仲たがいした娘に聞いても推測することは難しい。
でも、外来での会話がすべて記録されていて、その中から自分の人生観についての会話だけを取り出して聴くことができたら？
同様の状況になった患者の予後を提示することができたら？
同じような生活環境にあった人たちがどんな意思を持っているかを予測することができたら？

代理意思決定者がどれくらい正確に患者意思を推測できるかは疑問だし、living willとかACPとかが広く普及しているとは言えないし、医療者が客観的に情報提供をできているわけでもない。現状に明らかに問題があるのだから、AIの時代になったら今よりも良くなるのではないか？
でももしその予測が不正確だったら？

むむむ。
という僕の感想と同じ感想をeditorも持ったようで、すっごく短いeditor's noteを書いている。
"We published this Viewpoint because it is very interesting, somewhat scary, and probably inevitable."

さて、inevitableな未来ってどんな未来だろう？

待機的手術前に術後肺合併症のリスクを推定するモデル

NIHR Global Health Research Unit on Global Surgery; STARSurg Collaborative.
A prognostic model for use before elective surgery to estimate the risk of postoperative pulmonary complications (GSU-Pulmonary Score): a development and validation study in three international cohorts.
Lancet Digit Health. 2024 Jul;6(7):e507-e519. PMID: 38906616.

思ったこと３つ。
・1158病院で86000例のデータを集めても、発生頻度が2%程度のアウトカムはinternal validationでAUC 0.786程度の精度しか出せない。
・External validationだとAUCは0.716まで下がる。
・それでも"can accurately stratify patients’ risk of postoperative pulmonary complications"と書きたくなってしまう。

同じことの繰り返しになるけど、一般論にすると、
・発生頻度が低いアウトカムはどんなにNを大きくしても予測は難しい。Under- / Over-sampleingなどで感度とAUROCを高くすることはできるが、そうするとキャリブレーションがおかしくなりがち。
・異なるデータベースを使用すると特徴量の分布が異なるので必ず精度は下がる。それなら自分の施設のデータを使って自分のためだけに予測した方が、Nは小さくなるけど精度は高かったりする。
・AUROCが0.7台では実際に利用しても大して有益じゃない。でも「有益だ」と言いたくなってしまう悲しさ。それは実際に使っていないから。使うとすぐに気が付くのに。

それでも多施設で大きなNだとLancetの姉妹雑誌（最新のimpact factorは23.8）に載ってしまう。
上手く言えないが、「もうそっちに行っても仕方ないのでは」という気分になったので、紹介してみた。