Sense It Smart Corporation EN Contact

ARTICLE — AI & Evidence

AIが“偽の出典”をつくる時代に、エビデンスはどう効くか

生成AIの「信頼性ギャップ」を、研究・プレプリントと公的ガイドラインから読み解く保存版。

AI生成イメージ

3行でわかる要点

  • 生成AIは便利だが、出典の信頼性には穴がある——偽の出典の生成、誤解を招く要約、利用者の過信が、研究・プレプリントや公的資料で指摘されている。
  • 「AIはエビデンスの高い情報を優先的に推奨する」という言説は、現時点の一次情報では実証されていない
  • だからこそ逆説的に、検証できるエビデンスに裏付けられた製品・情報の差別化価値が高まる。

「AIに聞けば正しい」という誤解

健康や美容に関する製品を選ぶとき、人々が最初に尋ねる相手は、検索エンジンから AI へと移りつつあります。AI は玉石混交の情報を要約して差し出してくれる——便利です。しかし「要約してくれる」ことと「正しい」ことは、まったく別の問題です。AI時代の信頼性には、研究・プレプリントや公的資料から複数の課題が示されています。

事実1:AIは権威ある“偽の出典”をつくる

米国医学アカデミー(National Academy of Medicine)が2025年に公表した生成AIに関する報告書は、生成AIが実在する専門家の名前を冠した、存在しない論文の引用を生成した事例を記録しています。タイトルも著者も参考文献の体裁も整っているのに、調べると丸ごと架空だった——という事象です [1]。「AIが本物の根拠を必ず示す」という前提は、ここで崩れます。

事実2:正確に引用しても、誤解は生まれる

検索結果に忠実な「RAG(検索拡張生成)」なら安全か、というとそうではありません。ICML 2025 で採択されたポジションペーパー(Wong ら)は、出典文書から幻覚なしに正確な内容を生成しても、患者にとっては大きく誤解を招きうると論じます。事実を文脈から切り離し、重要な出典を省き、もともとの思い込みを強化してしまう——という失敗が起こりうる、という指摘です [2]。

事実3:人は、その“それらしさ”を見抜けない

NEJM AI に掲載された研究(300名, 2025)では、非専門家はAIの医療回答と医師の回答を確実には区別できず、AIの回答をより妥当・信頼でき・完全だと評価しました。精度の低いAI回答さえ「信頼できる」と受け取り、潜在的に有害な助言にも従う意向を示しています [3]。過信のリスクを考える材料になります。

事実4:AI検索は「出典を増やす」が「質を上げる」とは限らない

55,936件のクエリを対象にした大規模研究(2025)は、AI検索が従来検索より引用元を多様化させる一方で、信頼性・中立性・安全性の指標で従来検索を上回るわけではないと報告しています。ある主要AIでは、引用の約4割が Wikipedia でした [4]。「多様な出典を引く」ことは、「強い根拠を引く」ことを意味しません。

生成AIの信頼性に関する4つの課題。権威ある偽の出典を生成する、正確な引用でも文脈を欠いて誤解を招く、非専門家n=300がAI回答を過信する、55,936件のクエリ分析で出典の多様化が質の向上を意味しないことを示す概念図。
2025年の公的報告書、ICML 2025のポジションペーパー、非専門家n=300の回答評価実験(NEJM AI, 2025)、55,936クエリのAI検索比較研究(2025年プレプリント)という異なる資料から当社が整理した概念図。4件を同一のRCT・観察研究の段階や単一の因果推定として並べたものではない。出典:[1]〜[4]をもとに当社編集・加工。

唯一の追い風:健康情報は「YMYL」として厳しく評価される

では、エビデンスは無力かというと、そうではありません。Google は健康・医療を YMYL(Your Money or Your Life:人々の人生に関わる) 領域に分類し、E-E-A-T(経験・専門性・権威性・信頼) で品質を厳しく評価しています。低品質なページが人々の健康を損ないうるため、最高水準の基準が適用される、と公式の品質評価ガイドラインに明記されています [5]。

ただし正確に言えば、E-E-A-T は人間の評価者のための枠組みであり、直接の検索順位シグナルそのものではありません。だからこそ、過大な約束ではなく「権威ある医療情報源が高く評価される設計が、すでに動いている」という事実として捉えるのが適切です。

正しい言い方:「AIが優先する」ではなく「エビデンスが差別化になる」

ここは、エビデンスを掲げる私たち自身が誇張してはいけない一点です。「これからのAIはエビデンスの高い情報を優先的に学習・推奨する」という因果は、現時点の一次情報では裏付けられません

正確で、かつ強い論点はこうです——AIが媒介する情報には信頼性の穴がある。だからこそ、査読論文・公的データ・第三者評価という「確かめられる根拠」に裏付けられた製品・情報の差別化価値が高まる。ノイズが増えるほど、検証できることそのものが資産になります。

では、つくる側は何をすべきか

  • 査読・公的基準に耐える見極め:後から「使えない」エビデンスにしない。採用する根拠を、使う目的から逆算して選ぶ。
  • 出典を明示する:主張に一次情報を紐づけ、検証できる状態で出す(この記事の参考文献のように)。
  • 第三者の評価を通す:自社申告だけに頼らず、第三者評価や査読済み資料で確かめる。
  • 構造化して伝える:要点・出典・定義を明快に整理し、人にもAIにも辿りやすくする。

私たちの役割

私たちは、査読論文・公的データから「確かめられる根拠」を見極めて製品に実装し、日々の行動変容までつなぎます。考え方の全体像は /about/vision、エビデンスへの向き合い方は /evidence をご覧ください。

参考文献

  1. 米国医学アカデミー『Generative Artificial Intelligence in Health and Medicine』(2025)
  2. Wong et al. 『Retrieval-augmented systems can be dangerous medical communicators』(ICML 2025)
  3. Shekar et al.『People Overtrust AI-Generated Medical Advice despite Low Accuracy』(NEJM AI, 2025)
  4. LLM検索エンジンの大規模研究(2025, 55,936クエリ)
  5. Google『検索品質評価ガイドライン』(YMYL / E-E-A-T)

よくある質問

AIに質問すれば、健康情報の正解が得られますか?
必ずしもそうとは言えません。生成AIは偽の出典を作る、正確に引用しても文脈を欠いて誤解を招く、利用者が真偽を見分けにくい——といった問題が研究・プレプリントや公的資料で指摘されています。
「AIはエビデンスの高い情報を優先的に推奨する」というのは本当ですか?
現時点の一次情報では実証されていません。むしろ逆に、AI生成情報に信頼性の穴があるからこそ、検証できるエビデンスに裏付けられた製品・情報の差別化価値が高まる、というのが正確な捉え方です。

AI時代のエビデンス論を、もっと。

なぜ検証できる根拠が効くのか。私たちの考え方の全体像はこちら。