JAMAにAI関連のRCTが掲載された。
僕の今年の最後の文献紹介としては相応しいと思うので、ちょっと長めに紹介。
Jabbour S, Fouhey D, Shepard S, et al.
Measuring the Impact of AI in the Diagnosis of Hospitalized Patients: A Randomized Clinical Vignette Survey Study.
JAMA. 2023 Dec 19;330(23):2275-2284. PMID: 38112814.
呼吸不全の診断を普段からしている418人の医療者(医師、NP、PA)に、9例の呼吸不全患者の情報(既往歴、現病歴、身体所見、検査所見、胸部レントゲン)を見せて、肺炎か心不全かCOPDなのかを診断させた。詳細は省くけど、情報提供の方法をいろいろ工夫して、下記の比較ができるようにした。
・自分だけで診断する
・AIの診断が見られる
・AIの診断と、その診断をした画像所見の説明も見られる
・バイアスのかかったAIの診断が見られる
・バイアスのかかったAIの診断と、その診断をした画像所見の説明も見られる
・コンサルトした人の診断も見られる(実際は100%正解)
その結果、自分だけで診断した正解率は73%で、情報提供により、
・AI:+2.9%
・AI+説明:+4.4%
・バイアスAI:-11.3%
・バイアスAI+説明:-9.1%
・コンサルト:+8.1%
と正解率が変化した。
面白い。
もちろん、誰が何を診断するか、どのようなAIの情報提供が行われたかによって、影響の程度は異なるのだろうけど、少なくともこの環境では、
・AIによって少し診断率が向上
・バイアスのかかったAIによって大きく診断率が悪化
・AIの診断根拠を提示されても影響は少ない(正しい情報に自信が持てたり、間違った情報を見破ったりはあまりできない)
という結果になったと。
自治さいたまでは、僕が作ったAIによる患者予測を毎日ICUの医療従事者に提供しているので、少し怖くなりました。できる限り正確な情報を提供しないといけないわ。
ということで、今年はおしまい。
また来年、よろしくお願いしまーす。
タイトル:「ICUのお正月」
ちゃんと注文を出せばもっとマシな絵を描いてくれるのだろうけど、なんかバカっぽくて笑えるので一発採用。
僕の今年の最後の文献紹介としては相応しいと思うので、ちょっと長めに紹介。
Jabbour S, Fouhey D, Shepard S, et al.
Measuring the Impact of AI in the Diagnosis of Hospitalized Patients: A Randomized Clinical Vignette Survey Study.
JAMA. 2023 Dec 19;330(23):2275-2284. PMID: 38112814.
呼吸不全の診断を普段からしている418人の医療者(医師、NP、PA)に、9例の呼吸不全患者の情報(既往歴、現病歴、身体所見、検査所見、胸部レントゲン)を見せて、肺炎か心不全かCOPDなのかを診断させた。詳細は省くけど、情報提供の方法をいろいろ工夫して、下記の比較ができるようにした。
・自分だけで診断する
・AIの診断が見られる
・AIの診断と、その診断をした画像所見の説明も見られる
・バイアスのかかったAIの診断が見られる
・バイアスのかかったAIの診断と、その診断をした画像所見の説明も見られる
・コンサルトした人の診断も見られる(実際は100%正解)
その結果、自分だけで診断した正解率は73%で、情報提供により、
・AI:+2.9%
・AI+説明:+4.4%
・バイアスAI:-11.3%
・バイアスAI+説明:-9.1%
・コンサルト:+8.1%
と正解率が変化した。
面白い。
もちろん、誰が何を診断するか、どのようなAIの情報提供が行われたかによって、影響の程度は異なるのだろうけど、少なくともこの環境では、
・AIによって少し診断率が向上
・バイアスのかかったAIによって大きく診断率が悪化
・AIの診断根拠を提示されても影響は少ない(正しい情報に自信が持てたり、間違った情報を見破ったりはあまりできない)
という結果になったと。
自治さいたまでは、僕が作ったAIによる患者予測を毎日ICUの医療従事者に提供しているので、少し怖くなりました。できる限り正確な情報を提供しないといけないわ。
ということで、今年はおしまい。
また来年、よろしくお願いしまーす。
タイトル:「ICUのお正月」
ちゃんと注文を出せばもっとマシな絵を描いてくれるのだろうけど、なんかバカっぽくて笑えるので一発採用。