「賢いAI」と「助けられた人」のあいだ ── ベンチマークが測れないもの

3行でわかる要点

• 事前登録RCT(n=1,298)では、LLM単独は医療シナリオの病態を 94.9% 特定できたのに、同じLLMを使った一般参加者は 34.5%以下 にとどまり、自分で選んだ情報源で調べた対照群を上回りませんでした [1]。
• 医師にGPT-4を渡したRCTでも診断推論スコアは 76% vs 74%(P=.60) で変わらず [2]、臨床LLM研究4,609件のうち前向きの無作為化試験は 19件 にすぎません [3]。
• ベンチマークの高得点は、人が助けられることを保証しない。成果を分けるのは、モデルの賢さではなく 「使われ方の設計」 です。

---

AI単独は94.9%、AIを使った人は34.5%以下 ── 事前登録RCTの結果

Nature Medicine に2026年に掲載された事前登録RCTは、英国の一般参加者1,298名に10の医療シナリオを提示し、GPT-4o・Llama 3・Command R+ のいずれかを使う群と、自分で選んだ情報源で調べる対照群を比較しました [1]。

結果は対照的でした。LLMにシナリオを直接読ませた場合、関連する病態の特定は94.9%(モデルによる範囲 90.8〜99.2%)、受診すべきかどうかの判断は56.3%(範囲 48.8〜64.7%)でした。ところが、同じLLMを道具として渡された参加者は、病態特定が34.5%以下、受診すべきかどうかの判断も44.2%以下にとどまり、対照群を上回りませんでした。なお同論文の結果節は、関連する病態を1つ以上特定できた割合について、LLM利用群が対照群より有意に低かった(3モデルすべてで P<0.001)とも報告しています。

著者らが原因として挙げるのは、双方向の伝達不全です。参加者は判断に必要な情報をAIにうまく渡せず、返ってきた回答に良い助言と悪い助言が混在していても見分けられませんでした。著者らは、医療知識ベンチマークや模擬患者テストの成績は実際の人間との対話での失敗を予測しないとして、公開前に系統的な人間ユーザーテストを行うことを提唱しています [1]。

医師にGPT-4を渡しても、成績は変わらなかった

「使う側が専門家なら違うのでは」という仮説も、単純には成り立ちませんでした。JAMA Network Open に掲載された単盲検RCTでは、米国の医師50名(指導医26名・研修医24名)が、60分で最大6件の臨床ビネット(模擬症例)を診断しました [2]。

GPT-4と従来資料を使えた群の診断推論スコアの中央値は76%、従来資料のみの群は74%。調整差は2ポイント(95%CI −4〜8、P=.60)で、有意差はありませんでした。1症例あたりの所要時間にも有意差はありません(519秒 vs 565秒、P=.20)。模擬症例での小規模(n=50)な検証という限定はありますが、良い道具を渡すだけでは人の成績は変わらなかった、という結果です。

4,609研究のうち前向きRCTは19件 ── 検証の現在地

では、「実際に人を助けたか」の検証はどれくらい行われているのでしょうか。Nature Medicine の系統的レビューは、2022年1月から2025年9月までの査読済み臨床LLM評価研究4,609件(約3.2本/日のペース)を分類しました [3]。

実際の患者データを使った研究は1,048件。前向きの無作為化試験は、わずか19件です。大半は模擬シナリオ(1,857件)か試験問題形式(1,704件)で、少なくとも25%の研究はサンプルサイズが30未満でした。「AIが試験に受かった」という報告が毎日積み上がる一方で、実際の場面で人を助けたかを厳密に検証した研究は、まだ例外的な存在です。

知識は実践に移らない ── エージェント成功率69.67%の読み方

助言だけでなく、タスクの遂行でも同じギャップが観察されています。スタンフォード大学の研究チームは、FHIR準拠の対話型の仮想電子カルテ環境に、医師が作成した300件の臨床タスク(10カテゴリ、患者プロファイル100名分・70万超のデータ要素)を用意し、LLMエージェントに遂行させました [4]。最高性能のモデル(Claude 3.5 Sonnet v2)でも成功率は69.67%にとどまり、タスクカテゴリ間の性能差も大きいと報告されています。

これは仮想環境での評価であり、実運用での実用可能性や安全性を示すものではありません。読み取るべきはむしろ逆で、知識テストで高得点を取るモデルでも、実践的なタスクでは約3割失敗する、ということです。臨床LLMの39ベンチマークを対象にした系統的レビューは、この現象を「knowledge-practice performance gap(知識と実践のギャップ)」として整理し、MedAgentBench の成功率69.67%(95%CI 64.2〜74.6%)を実践側の代表値として引用しています [5]。

研究の限定 ── ベンチマークではなく「使われ方」を設計する

まとめる前に、限定を確認します。冒頭のRCTの参加者は英国の一般市民で、判断の対象は仮想シナリオであり、実際の受診行動ではありません [1]。医師の試験も模擬症例・50名の小規模です [2]。エージェントの評価は仮想環境で行われました [4]。系統的レビュー自体もLLM支援でスクリーニングされています [3]。そしていずれも医療の文脈での研究であり、ここから特定の医療効果を主張することはできません。

それでも、複数の独立した研究が同じ方向を指しています。モデル単独の性能と、人がAIと組んだときの成果は、別のものです。ベンチマークが測っているのは前者だけで、後者を決めるのは、必要な情報がAIに届き、出力が適切に受け取られ、行動につながるまでの「使われ方の設計」でした。

行動変容も、同じ構造にあると私たちは考えています。良い助言が返ってくることと、日々の行動が実際に変わることのあいだには、距離がある。私たちがAIエージェントによる健康支援で、助言の生成だけでなく、施策が実行される仕組みまでを含めて設計することを原則にしているのは、この構造を踏まえてのことです。

考え方の全体像は /ai をご覧ください。