大規模言語モデル（LLM）は，患者向け健康相談から医療従事者向け診療支援まで，研究段階から実際の医療サービスへと急速に導入が進んでいる。 一方，現在のLLM評価は，あらかじめ作成された医学問題への回答精度を測る静的ベンチマークが中心であり，実際の診療でみられる曖昧な質問や誤情報を含む入力などを十分に評価できていない。 ドイツの研究チームは，質問内容を変化させながらLLMの脆弱性を評価する新手法「動的レッドチーミング」を開発し，その成果をNature Healthに発表した。 
研究では，15種類の主要LLMを対象に，医学知識評価データセット「MedQA（Medical Question Answering）」および自由記述型評価データセット「HealthBench」を用いて性能を評価した。さらに，質問内容を変化させながらLLMの応答を検証する「動的レッドチーミング」を実施した。評価項目は，(1) 医学的回答の頑健性，(2) 個人情報保護，(3) バイアス，(4) 誤情報生成（幻覚）の4領域とし，回答の一貫性，不要な個人情報の出力，背景による偏り，医学的根拠のない情報生成を検証した。その結果，MedQAなどの固定された設問による静的ベンチマークで高い性能を示したLLMでも，動的条件下では脆弱性が明らかとなった。すなわち，高い医学的正答率を示すモデルであっても，複雑な患者対話においては安全性に課題が残る可能性が示された。
本研究は，医療AIの評価においては，医学知識の正確性だけでなく，実際の診療に近い状況下での安全性検証が必要である，という点を強調している。研究者らは，「医療AIの安全性評価において，頑健性，個人情報保護，公平性，誤情報生成のいずれかに問題が生じた場合，患者の安全が損なわれる可能性があるため，導入前にこれらすべてを包括的に評価することが不可欠である」と述べている。今後，動的レッドチーミングを含む包括的な評価手法は，医療AI導入前の安全性確認および導入後の継続的な品質管理に活用される可能性がある。

【参照論文】
Addressing benchmarking gaps in large language models for health and medicine with dynamic red-teaming