Column
法務AIを信頼していいのか——4タイプ別ハルシネーション監査と二段階ゲートの実装
法律AIのハルシネーションを「数値」「時制」「義務・権利」「事実」の4タイプに分けて監査し、信頼性判定指標（RDI）で可否判定する。マルチエージェント議論で偽陽性を45%削減したLegalHalluLensが提案する、法務・コンプライアンス部門向けの二段階ゲート実装。
こんにちは。Affectosphere Group の井下です。
法務部で AI ツールを使い始めると、最初にぶつかる壁があります。
「この AI の回答、本当に合ってるの？」という疑問です。
契約書のリスク抽出や法令の解釈補助に AI を使う場面が増えています。でも、AI が生成した文章に誤った条文番号や架空の判例が混じっていたとしたら、どうなるでしょう。法務の現場では、そのミスが直接、法的責任に直結します。
「ハルシネーションが怖くて本格導入に踏み切れない」という声は、法務・コンプライアンス部門のあちこちで聞こえます。この問題に対して、体系的な監査フレームワークを提案した研究が arXiv に登場しました。
2026 年 6 月に公開された arXiv preprint（Lalit Yadav, Akshaj Gurugubelli; arXiv:2606.18021）が提案する LegalHalluLens は、法律 AI のハルシネーションを 4 タイプに分類し、信頼性を定量的に判定する仕組みを提供します。マルチエージェント議論で偽陽性を 45% 削減したという結果は、法務実務への応用を現実的に見えるものにしています。
今日の 3 点
- 法律 AI のハルシネーションには「数値・時制・義務権利・事実」の 4 タイプがあり、それぞれ異なる審査が必要。
- 信頼性判定指標（RDI）でスコア化し、二段階ゲートで AI 出力の採否を自動判定できる。
- マルチエージェント議論の導入で偽陽性を 45% 削減し、人間レビューコストを大幅に下げられる。
① 法律 AI のハルシネーションはなぜ深刻なのか
一般的な文章生成のハルシネーションと、法律 AI のそれとでは、リスクの重さがまったく違います。
たとえば料理レシピに少し間違いがあっても、影響は限定的です。でも契約書のレビューで「この条項は民法第 X 条に基づき有効」という記述が誤っていたら、その判断を採用した法務担当者に直接的な責任が生じます。
特に問題になるのは、見た目で正しいかどうかがわかりにくいケースです。条文番号がわずか一桁ずれていても、一見して気づかないことがあります。改正前の旧法条文を現行法として引用していても、法律専門家でなければ判別できません。義務と権利を取り違えた記述は、文章の流れだけ読んでいると見落としやすいです。
LegalHalluLens の問題意識は、こういったハルシネーションが「漠然とした何か」ではなく、法律の領域では明確に 4 つのカテゴリに分かれるという点にあります。タイプを特定できれば、監査も自動化できる。そういう発想です。
② 4 タイプ別監査の仕組み
LegalHalluLens が提案するハルシネーションの 4 分類を順に見ていきます。
まず「数値ハルシネーション」です。条文番号・条文番号の章構造・損害賠償額・期限の日数など、数字が絡む部分の誤りです。たとえば「30 日以内」が「60 日以内」になっていたり、「第 415 条」が「第 451 条」になっていたりするケースです。文字として読み流せる誤りだからこそ、危険です。
次に「時制ハルシネーション」です。改正前後の法令を混同するタイプです。AI は学習データに含まれる古い法令を正しいものとして出力することがあります。「現行法では〜」と書かれていても、それが数年前に改正された旧法だったというケースが実際に起きます。
3 つ目は「義務・権利ハルシネーション」です。「〜しなければならない（義務）」と「〜できる（権利）」の取り違えです。法的文書において、これは重大な意味の違いを生みます。契約当事者の義務と任意規定を混同した記述は、交渉の場で誤解を招く素地になります。
4 つ目が「事実ハルシネーション」です。判例や契約条件など、具体的な事実の創作です。「〇〇事件において最高裁は〜と判示した」という文章が、実際には存在しない判例を指しているというケースがこれにあたります。
この 4 分類を持つことで、監査プロセスを「どのタイプを狙った検査か」で構造化できます。漠然と「ハルシネーションを検出する」ではなく、数値チェック・時制チェック・義務権利チェック・事実チェックという具体的な審査項目に落とせるわけです。
③ RDI とマルチエージェント議論の仕組み
4 タイプの監査で何かしらのハルシネーション候補が検出されたとき、それをどう判定するか。ここで登場するのが RDI（信頼性判定指標）です。
RDI は、検出されたハルシネーションの種類と数、文脈の重要度などを組み合わせて算出するスコアです。このスコアによって、AI の出力を「採用」「条件付き採用」「要人間確認」「却下」のどれに振り分けるかを判定します。人間が毎回全出力を精査するのではなく、スコアが閾値を下回ったものだけに人間の目を向ける設計です。
ただし、ハルシネーション検出器自身が間違えることもあります。本当は正しい記述を「誤りかもしれない」と判定してしまう——これが偽陽性です。偽陽性が多いと、人間のレビュー負担が増えすぎて、結局「AI を使う意味がない」という状況になりかねません。
LegalHalluLens がこれを解決するのがマルチエージェント議論です。
具体的には、複数の AI エージェントが「この箇所は本当にハルシネーションか」について議論します。一方のエージェントが「この条文番号は誤り」と判定しても、別のエージェントが「文脈から見るとこれは正しい可能性がある」と反論する。この議論の結果をもとに最終判定を下します。
この仕組みによって、偽陽性を 45% 削減できたと報告されています。人間が確認すべき件数を約半分に絞れるなら、法務部の運用コストへの影響は無視できません。
④ 法務部・コンプライアンス部門への具体的提案
では、この研究の知見を実務にどう活かすか、二段階ゲートとして整理します。
第一段階は「AI 一次審査」です。AI が契約書や法的文書のドラフトを生成したあと、LegalHalluLens の 4 タイプ別監査を自動実行します。RDI スコアを算出し、閾値を超えたものは即「採用」、閾値以下のものは第二段階に進みます。
第二段階は「人間確認」です。第一段階を通過できなかった箇所、つまり 4 タイプのうちいずれかでハルシネーション候補が検出された部分だけを、法務担当者が目視で確認します。どのタイプの問題か、どの文箇所かが明示されているので、確認作業が効率化されます。
ユースケースとして、契約審査業務に当てはめると分かりやすいです。
コンプライアンス部門が取引先との契約書 100 件を AI でレビューするシナリオを考えます。全件を人間が精査すると、1 件あたり平均 2 時間として計 200 時間かかります。二段階ゲートを導入すると、AI 一次審査で 70 件が「採用」、30 件が「要確認」に振り分けられます。人間が確認するのは 30 件だけになり、工数は 60 時間に圧縮できます——と思います。もちろん実際の圧縮率は案件の複雑さや使用モデルによって変わります。
KPI として測りやすいのは「人間レビューが必要になった件数の割合（人間レビュー率）」です。二段階ゲート導入前後でこの比率を追うことで、AI 監査の効果を定量化できます。目標値として「人間レビュー率 30% 以下」を設定し、月次で追うのが運用しやすい設計です。
もう一つ設定したいのは「ハルシネーション見逃し率」です。人間が最終確認した案件のうち、AI が見落としていたハルシネーションがあった割合を記録します。これがゼロにならなくても、月次で傾向を追うことで、どのタイプの検出精度が低いかを特定できます。そのタイプに絞ってプロンプト調整や閾値変更を行う改善サイクルが回せます。
「信頼していいか」への答えは「監査できるなら、信頼できる」
法務 AI をそのまま信頼できないのは当然です。問題は、「信頼できないから使わない」ではなく、「信頼性を測る仕組みを持つかどうか」です。
LegalHalluLens が示しているのは、ハルシネーションを「漠然とした怖さ」ではなく「測定可能なリスク」に変換する方向性です。4 タイプに分けて監査し、RDI でスコア化し、マルチエージェントで偽陽性を減らす。このフレームワークが実務に組み込まれれば、「AI の回答を信頼していいのか」という問いに対して、少なくとも定量的な根拠を持って答えられるようになります。
法務・コンプライアンス部門が AI 導入を判断するとき、「何となく怖い」より「どういう条件なら使えるか」を議論できる段階に来ています。この研究はそのための語彙と指標を提供しています。
では！
参考論文
- Lalit Yadav, Akshaj Gurugubelli (2026). LegalHalluLens: Typed Hallucination Auditing and Calibrated Multi-Agent Debate for Trustworthy Legal AI. arXiv preprint arXiv:2606.18021.
※ 本記事は一部 AI により執筆されており、間違った情報が含まれる恐れがあります。