Column
ハルシネーション検出を全部パスした回答が、実は別の薬の話だったら——臨床RAGの「欺瞞的グラウンディング」
引用は実在する。忠実度も高い。ハルシネーションもゼロ。それでも、薬剤Xについて聞いたのに返ってきたのは薬剤Yの臨床証拠だった——。この失敗は既存の評価指標では見えません。13モデルの検証では敵対的条件下でDG率が8〜87%、ドメイン特化モデルでは86.7%に達しました。エンティティ帰属検証という新しい監査レイヤーを、ファーマコビジランスや医療情報部門でどう試すかを考えます。
こんにちは。Affectosphere Group の三浦です。
社内RAGを運用している方に、ちょっと嫌な想像をしてもらいます。
薬剤Xの副作用について質問した。返ってきた回答には、ちゃんと引用が付いている。引用先の文献は実在する。書かれている内容も、その文献に忠実。ハルシネーション検出ツールを通しても、警告はゼロ。全チェック緑。
でも、その証拠は薬剤Yのものでした。
arXiv に公開された研究（Caruzzo, Yoo & Kim, arXiv:2607.09349）は、この失敗モードに「欺瞞的グラウンディング（Deceptive Grounding, DG）」という名前を付けました。恐ろしいのは、既存の評価指標がこれを一切検出できない点です。
今日はビジネス応用の視点から、この研究を自社の監査パイプラインにどう落とし込めるかを考えてみます。医療に限らず、RAGを社内導入しているすべての会社に効く話だと思っています。
今日の3点
- RAGの評価は「主張が検索文書に根拠づけられているか」は見るが、「その証拠が正しいエンティティに帰属しているか」は見ていない。だから薬剤Yの証拠が薬剤Xの証拠として提示されても、ハルシネーションゼロ・高忠実度・実在引用のチェックを素通りする。
- 13モデルにわたる制御ベンチマークで、敵対的条件下のDG率は8〜87%。ドメイン特化モデルでは86.7%という結果も出た。医療向けにチューニングされたモデルほど安全とは限らない。
- 一方で、エンティティ帰属検証によって精度97.0%・再現率98.7%で検出できることも示された。つまり「検出可能な失敗」であり、監査レイヤーとして実装する価値がある。
① 「根拠がある」と「正しい相手の根拠である」は別物
まず、この問題の構造を整理します。
いまのRAG評価が見ているのは、だいたい次の3つです。モデルの主張が検索文書に事実として書かれているか（忠実度）。存在しない文献をでっち上げていないか（引用の実在性）。文書にない内容を勝手に足していないか（ハルシネーション）。
どれも大事なチェックです。でも、よく見ると全部「文書と回答の間」しか見ていません。「その文書が、ユーザーの聞いたエンティティについてのものか」は誰も検証していない。
ここに穴があります。薬剤Yについて書かれた本物の臨床データを持ってきて、薬剤Xの回答として提示する。文書は実在するし、内容も文書に忠実だし、捏造はしていない。全チェックをパスする。でも中身は完全に間違っている。
だから「欺瞞的（deceptive）」なんですね。嘘をついているのではなく、正しい情報を間違った相手に貼り付けている。しかも、その貼り替えを検知する仕組みが評価パイプラインのどこにもない。
私がこれを読んで一番ゾッとしたのは、この失敗が「検出されないこと」自体が仕様になっている点です。ハルシネーション対策を頑張れば頑張るほど、「全部緑だから大丈夫」という誤った安心感が積み上がっていく。
② 8〜87%という幅が意味すること
論文では、13モデルにわたる制御ベンチマークが組まれています。敵対的条件下でのDG率は8〜87%。
この幅の広さがまず不気味です。モデルによって、ほとんど引っかからないものから、9割近く間違えるものまである。つまり「どのモデルを選ぶか」が、そのまま薬剤取り違えリスクの大小に直結してしまう。しかも既存の評価指標では、その差が見えない。
さらに引っかかるのが、ドメイン特化モデルで86.7%という結果です。医療ドメインに特化して訓練されたモデルが、高いDG率を示した。直感的には「医療特化なんだから安全だろう」と思いたくなります。でも、そうとは限らない。
ここは推測になりますが、ドメイン特化モデルは医療テキストの言い回しに強く適応している分、検索されてきた臨床証拠を「もっともらしく」統合する能力も高い。その滑らかさが、エンティティのズレを埋めてしまう方向に働いた可能性はあるんじゃないかと思っています。
なんにせよ、実務的な含意はシンプルです。「医療特化モデルだから安心」というベンダー選定基準は、この論文の前では成立しません。エンティティ帰属を明示的に測らない限り、どのモデルがどれだけ危ないかは分からない。
③ 現場でどう試すか：エンティティ帰属検証レイヤー、部署とKPI
では、これを自社でどう扱うか。ここからは私なりの導入提案です。
やることは一つ。既存のRAG監査パイプラインに、エンティティ帰属検証レイヤーを一段追加することです。
いまの多くの社内RAGは、こういう構成になっているはずです。検索 → 生成 → ハルシネーション検出 → 出力。ここに、ハルシネーション検出と並ぶ形で「この回答が引いてきた証拠は、ユーザーが照会したエンティティのものか」を照合する工程を挟む。論文では、この検証によって精度97.0%・再現率98.7%での検出が可能だと示されています。監査レイヤーとして実装するには十分な水準だと思います。
想定する部署はこうです。まずファーマコビジランス部門。副作用情報の照会に社内RAGを使っている場合、薬剤取り違えは直接的な患者安全インシデントにつながります。次に医薬品安全性評価部門と医療情報部門。医療従事者からの問い合わせに医薬品情報を返す窓口業務では、証拠の帰属先を機械的に担保できる意味は大きい。そして病院情報システム部門。院内の医薬品情報RAGを運用するなら、この検証レイヤーは実質的に必須になっていくはずです。
KPIは、導入効果を数字で語れるように次を提案します。第一に、誤薬情報提供率、つまりDG率そのもの。導入前後で自社パイプラインのDG率がどれだけ下がったかを測る。第二に、安全監査の自動化率（人手レビューに回さず機械が一次判定できた割合）。第三に、規制当局への報告精度と、患者安全インシデント件数。特に一つ目は、この論文のベンチマーク手法をそのまま社内評価に持ち込めば、導入前のベースラインが取れます。
そして、ここが本題なんですが、これは医療だけの話ではありません。
金融で「A社の決算数値」を聞いたのに、返ってきたのがB社の数値だったら。法務で「契約書Cの条項」を聞いたのに、契約書Dの条項が引かれていたら。人事で「規程Eの適用範囲」を聞いたのに、規程Fの範囲が出てきたら。どれもハルシネーション検出は通ります。文書は実在するし、内容も文書に忠実だからです。
RAGを入れている会社は、まず自社の監査項目を見直してみてほしいと思います。「ハルシネーション検出をパスした」は「正しいエンティティの証拠だった」を意味しません。この二つは別のチェックです。
「全部緑」がいちばん危ないこともある
この研究を読んで私が感じたのは、評価指標というのは「測れるものしか守らない」ということです。
ハルシネーションを測れば、ハルシネーションは減る。でも測っていないものは、静かに残る。しかも全チェックが緑になる分、かえって気づきにくくなる。この論文は、その死角に名前を付けて、ちゃんと測れることまで示した。名前が付いた失敗は、対策できる失敗になります。
ちなみに、この「正しい相手に帰属しているか」という問いは、私たちが取り組む感情AIとも地続きです。誰の感情なのか、どの文脈の感情なのか——帰属先を取り違えた感情推定は、内容がどれだけ妥当でも意味を持ちません。帰属の検証は、感情AIでも避けて通れない論点だと感じています。
自社のRAGの監査項目、一度眺めてみてください。全部緑でも、聞いた相手の話とは限りません。
では！
参考論文
- Caruzzo, Cedric, Yoo, Donggeun, & Kim, Tae Soo (2026). Deceptive Grounding: Entity Attribution Failure in Clinical Retrieval-Augmented Generation. arXiv preprint. https://arxiv.org/abs/2607.09349
※ 本記事は一部 AI により執筆されており、間違った情報が含まれる恐れがあります。