Column
社内AIエージェントが増えすぎると何が起きるか——ルーティング精度劣化の診断と回復
110エージェント・584ツールに拡張すると、AIルーティングのF1スコアが16〜23ポイント低下する。この精度劣化を「検索ギャップ」と「混乱ギャップ」に分離し、埋め込み事前絞り込みで10〜17ポイント回復した研究が示す、情報システム部門のための品質管理フレームワーク。
こんにちは。Affectosphere Group の井下です。
「社内 AI エージェントが増えれば増えるほど、使いにくくなっている気がする」という感覚、情報システム部門の方なら一度は覚えたことがあるのではないでしょうか。
気のせいではありません。エージェント数が増えると、ルーティング——どのエージェントにリクエストを渡すかの判断——の精度が構造的に劣化することが、実験で確認されています。
2026 年 6 月に arXiv で公開された研究（Kellen Gillespie, Robyn Perry; arXiv:2606.17519）は、その劣化がなぜ起きるのかを二種類のギャップに分解し、回復策を示したものです。社内 AI 基盤を運用している部門にとって、品質管理の指標として直接使える内容です。
今日の 3 点
- 110 エージェント・584 ツールに拡張すると、ルーティングの F1 スコアが 16〜23 ポイント低下する。
- 劣化の原因は「検索ギャップ」と「混乱ギャップ」の二種類に分離して診断できる。
- 埋め込み事前絞り込みで 10〜17 ポイント回復できる。
① スケールすると何が壊れるか
エージェントが数個のうちは、ルーティングはほぼ問題なく機能します。リクエストの内容とエージェントの説明文を照合するだけで、正しい宛先に届けられます。
問題は規模が大きくなったときです。
この研究では、エージェント数を段階的に増やして実験を行っています。その結果、110 エージェント・584 ツールという規模になったとき、ルーティングの F1 スコアが 16〜23 ポイント低下しました。
F1 スコアとは、精度（間違ったエージェントに渡さない率）と再現率（正しいエージェントに渡せる率）を合わせた指標です。これが 20 ポイント近く落ちるということは、5 件に 1 件は誤ったエージェントに届くか、そもそも届かないかもしれない、という水準です。
なぜこれほど大きく劣化するのか。原因は 2 つに分かれると研究者は指摘しています。
ひとつは「検索ギャップ」です。候補リストにそもそも正しいエージェントが含まれていない問題です。エージェントが増えると、検索の段階で正解が候補から脱落しやすくなります。いくらルーティングの判断を正確にしても、候補に入っていなければ選びようがありません。
もうひとつは「混乱ギャップ」です。正しいエージェントが候補には入っているのに、そこから選べない問題です。似た機能を持つエージェントが増えると、どれを選ぶべきかの区別がつきにくくなります。これは人間でも直感的に分かる現象で、選択肢が多すぎると判断が鈍るのと同じ構造です。
この 2 つのギャップの存在が、「規模を増やすとルーティングが壊れる」という現象の正体です。
② どう診断するか
精度劣化を「なんとなく遅い」「なんか精度が悪い」で終わらせず、原因を切り分けて可視化するのが品質管理の第一歩です。
この研究が提案する診断フレームワークは、F1 スコアを 2 段階に分解します。
第一段階は「検索フェーズ」の評価です。候補リストに正解が入っているかを確認します。ここでの F1 が低ければ「検索ギャップ」が主因です。
第二段階は「選択フェーズ」の評価です。候補に正解がある条件で、最終的に正解を選べているかを確認します。ここでの F1 が低ければ「混乱ギャップ」が主因です。
全体の F1 が悪くても、検索フェーズでの F1 が高ければ、問題はエージェント説明の整理や分類の精度にある、という判断ができます。逆に、検索フェーズで既に正解が脱落しているなら、ベクトル検索のインデックスや埋め込みモデルの改善が先決です。
どちらのギャップが大きいかによって、打ち手が変わります。これが「診断」としての価値です。
情報システム部門の立場で言えば、「社内 AI の精度が落ちた気がする」という現場の声が上がったときに、このフレームワークを使って原因を特定できます。漠然とした不満を定量的な問題設定に置き換えられることに意味があります。
③ どう回復するか
診断が終わったら、回復です。
この研究で効果が確認された手法は「埋め込み事前絞り込み」です。
通常のルーティングでは、リクエストが来たときにすべての候補エージェントを一度に評価します。エージェントが 110 個あれば、そこから 1 つを選ぶ判断を行います。
埋め込み事前絞り込みは、その前に一段階フィルターを入れる方法です。まずベクトル埋め込みを使って意味的に近いエージェントを絞り込み、その候補だけをルーティングモデルに渡します。
これにより、ルーティングモデルが扱う選択肢の数が減ります。「110 個から 1 個を選ぶ」問題が「10 個から 1 個を選ぶ」問題になれば、混乱ギャップは自然と小さくなります。
結果として、F1 スコアが 10〜17 ポイント回復しました。劣化幅が 16〜23 ポイントですから、大半を取り戻せる計算です。
実装の観点では、既存のベクトル検索インフラがあれば追加コストは比較的小さい、と思います。多くの企業が Pinecone や pgvector、あるいはクラウドプロバイダーのベクトル検索サービスをすでに使っている場合、その仕組みをルーティングの前段フィルターとして流用できる予感があります。
④ 情報システム部門への提案
この研究の知見を、実際の社内 AI 運用にどう組み込むかを考えます。
具体的なユースケースとして想定しやすいのは、「社内 AI ヘルプデスクの品質保証」です。
人事・経理・IT・法務・営業・マーケティングなど、部署ごとに AI エージェントを立ち上げていくと、やがて数十から百以上のエージェントが稼働する状態になります。「勤怠申請を修正したい」「経費精算のルールを確認したい」「システムのパスワードをリセットしたい」——こうした日常的なリクエストが、毎回正しいエージェントに届いているかどうかを確認する手段がない、というのが多くの企業の現状ではないでしょうか。
この研究が提案する 2 ギャップ診断を定期的に実施すれば、ルーティング品質を継続的にモニタリングできます。
KPI の設定としては、次が分かりやすいと思います。
「ルーティング F1 スコアの月次トラッキング」です。エージェントを追加するたびに F1 を測定し、閾値（たとえば 0.85）を下回ったタイミングで埋め込み事前絞り込みの再チューニングをトリガーする、という運用サイクルを組めます。
また、「誤ルーティング率をサービスデスクの問い合わせ削減率に紐づける」という指標も使いやすいです。ルーティングが正確になれば、エージェントが「自分の担当外だ」として人間へエスカレーションする件数が減るはずです。エスカレーション件数の削減を KPI にすれば、現場の体感と定量指標を一致させられます。
実装ロードマップとして一案を示すと、まずエージェント数が 30 を超えたあたりで 2 ギャップ診断を初回実施し、ベースラインの F1 を計測します。次に埋め込み事前絞り込みを導入し、回復幅を確認します。その後は四半期ごとに再計測する、というサイクルが現実的ではないかと思います。
この種の品質管理フレームワークを社内 AI 基盤に組み込む動きは、まだ多くの企業で追いついていません。早めに指標設計を整えておくことは、運用フェーズに入った AI 推進部門の差別化につながる、という予感があります。
増やすことと管理することを同時設計する
「AI エージェントを増やす」ことと「ルーティングの品質を保つ」ことは、今のところトレードオフに見えます。でもこの研究は、そのトレードオフを「診断可能な問題」に変えました。
16〜23 ポイントの劣化を 2 つのギャップで説明し、10〜17 ポイントを取り戻す具体的な手法を示したこと——これは「規模を追い求めると品質が犠牲になる」という半ば諦めにも似た前提を、変えうる知見です。
社内 AI の拡張を計画している部署は、エージェント数の目標値を定めるのと同時に、ルーティング品質の管理指標も設計しておくことを勧めます。増やした後で劣化に気づくのではなく、増やしながら品質を保てる運用設計が、AI 基盤の成熟度を決めると思います。
では！
参考論文
- Kellen Gillespie, Robyn Perry (2026). Scaling Enterprise Agent Routing: Degradation, Diagnosis, and Recovery. arXiv preprint arXiv:2606.17519.
※ 本記事は一部 AI により執筆されており、間違った情報が含まれる恐れがあります。