皮膚科における画像診断支援AI技術の普及に伴い，説明可能AI（XAI）の提示が常に正確な意思決定を促すとは限らず，時に誤った判断への過信を招くという課題が浮上している。米国を中心とする研究グループは，利用者の背景によってXAIの影響がどのように変化するかを解明するため，AIによる診断結果の提示や根拠説明が人間の判定プロセスに及ぼす効果を検証し，その知見をNature Medicineにて報告した。
研究では，一般市民623人とプライマリケア医153人を対象に，皮膚画像を用いた判定実験を行った。AIの診断結果と予測の確信度のみを提示する場合と，画像所見などの診断根拠を説明する場合とを比較した。メラノーマと母斑の判定において，AI支援により一般市民の正確性は69.7％から75.8％に向上した。一方で，大規模言語モデル（LLM）による説明を加えると，AIが正しい場合には判定の正確性が向上したが，AIが誤っている場合には正確性が低下した。特に一般市民では，AIの判断に追従する自動化バイアスが生じ，説明された画像所見に判断が引きずられる傾向も見られた。これに対し，プライマリケア医ではこうした影響は小さく，AIの説明から利益を得る傾向が示された。すなわち，AIによる説明は判定を補助する一方で，その効果は利用者の特性によって異なることが示された。
本研究は，XAIが提示する論理的根拠が必ずしも意思決定の質を保証するものではないという実態を明らかにした。研究グループは，AIによる補足説明が人間の意思決定プロセスを補完し得る一方で，AIの誤謬に対しても追従してしまう「諸刃の剣」となる可能性を指摘している。臨床現場におけるAI活用が診断精度に与える長期的影響のさらなる検証に加え，個々のユーザーの特性や最適な情報提示手法を考慮した，より高度なシステム設計の重要性が示唆される。

【参照論文】
Divergent impacts of explainable AI for dermatological diagnosis on clinicians versus lay people