Column

医療AIエージェントの「実力」をどう測るか——成功率42%が示す導入判断の新基準

7カテゴリ54の現実的な医療タスクでLLMエージェントを評価するHealthAgentBenchは、最高性能システムでも成功率約42%にとどまることを示した。この数字を医療AI調達の根拠として使う方法を解説する。

2026 / 07 / 01 5 分で読める English version →

7つのカテゴリに分類された医療タスクをAIエージェントが評価されている様子のフラットイラスト

こんにちは。Affectosphere Group の井下です。

「医療AIを導入しようと思うが、本当に使えるのかどうか判断できない」という声を、病院や医療機器メーカーの方々からよく聞きます。

ベンダーのデモは良く見える。でも実際の臨床現場で何がどこまでできるのかが、客観的な数字で把握しにくい。

Liu et al. (arXiv:2606.31179) が提案する HealthAgentBench は、この「判断材料がない」問題に正面から向き合ったベンチマークです。7カテゴリ・54の現実的な医療タスクで LLM エージェントを評価し、最高性能のシステムでも成功率が約42%にとどまることを示しました。

今日の3点

HealthAgentBenchは電子カルテ(EHR)分析、医療画像判読、多段階臨床意思決定など7カテゴリ54タスクという現実的な評価セットで構成されており、ベンダーのデモに頼らない客観的な比較基盤を提供する。
現時点の最高性能AIエージェントでも成功率は約42%——自律的な臨床展開にはまだ大きな能力ギャップが存在する。
大規模な探索空間と複合推論を組み合わせるタスクが特に困難で、タスクカテゴリごとに性能が大きく異なる。これは「どのカテゴリなら今すぐ使えるか」という導入判断の根拠として使える。

① なぜ「統合ベンチマーク」が必要なのか

これまでの医療AI評価は断片的でした。

「診断精度〇〇%」「ある疾患の検出感度〇〇%」——こういった数字はあっても、実際の臨床現場を模した複合的なタスクでどれだけ動くかを測る指標が統一されていなかった。

HealthAgentBenchが設計した7カテゴリは、現実の医療業務をカバーするように設計されています。EHR分析、医療画像判読、多段階臨床意思決定などが含まれます。単一の能力テストではなく、実際に病院で起きる複合的なシナリオで評価する。

これは調達側にとって重要な意味を持ちます。「このベンダーのシステムは、HealthAgentBenchのどのカテゴリでどのスコアか」という形で比較できれば、デモの印象ではなく数字で選べる。

② 成功率42%という数字をどう読むか

最高性能システムでも約42%という成功率は、一見低く見えます。

でも重要なのは、この数字の意味をどう解釈するかです。

まず、これは「自律的な臨床展開」における成功率です。つまり、人間のサポートなしでエンドツーエンドにタスクを完了した割合を指しています。医師のダブルチェックや補助的な使い方なら、成功率の解釈は変わります。

次に、42%はシステム全体の平均ではなく、最高性能システムの数字です。多くの医療AIシステムはこれを下回る可能性があります。ベンダーの主張する数字とHealthAgentBenchのスコアを照らし合わせることで、過大評価されたシステムを発見できます。

そして、カテゴリごとに性能が異なります。54タスクすべてで42%ではなく、得意なカテゴリと不得意なカテゴリがある。この分布情報こそが、導入判断で使える情報です。

③ 「どのタスクカテゴリなら今すぐ使えるか」を特定する

HealthAgentBenchが示した重要な知見の一つは、大規模な探索空間と複合推論を組み合わせるタスクが特に困難だという点です。

反対に言えば、そうではないタスク——探索空間が限定的で、推論のステップが明確なタスク——では、現在の医療AIエージェントが十分な性能を発揮している可能性があります。

病院のDX推進担当が医療AIシステムを評価するとき、この「タスクカテゴリ別の性能マッピング」が非常に有効です。

たとえばEHR分析のうち、定型的な検査値の異常検出であれば、現在のシステムでも高い成功率が期待できるかもしれません。一方、複数のコンテキストを統合して治療方針を提案するような多段階意思決定は、現時点では人間の関与が必須の可能性が高い。

この仕分けをHealthAgentBenchの結果に基づいて行うことで、「AIに任せられる業務」と「人間が担うべき業務」の境界を、感覚ではなくデータで引くことができます。

医療AI調達における実装提案

想定ユースケースは、病院・クリニックのDX推進部門、医療AIスタートアップの事業開発部門、ヘルステック投資家です。

調達判断の仕様書にHealthAgentBenchを組み込む方法を考えてみます。

まず、調達する医療AIシステムが解決したい業務課題を、HealthAgentBenchの7カテゴリのどれに対応するかで整理します。EHR関連なのか、画像判読なのか、多段階意思決定なのかを特定する。

次に、候補ベンダーにHealthAgentBenchでの評価結果を提示させます。ベンチマーク非対応のベンダーには、同等のタスク条件での評価実施を求める。これだけで、「デモが良く見えるが実力が不明」なシステムを除外できます。

KPIとしては、導入前にHealthAgentBenchのターゲットカテゴリでの成功率閾値を設定し、それを満たすシステムのみを次の選考フェーズに進める、というゲート方式が実効的です。

医療機器メーカーやヘルステック投資家の場合は、投資先・提携先のシステムがHealthAgentBenchのどのカテゴリで競争力を持つかを確認することで、過大評価による投資リスクを低減できます。

「42%」はゴールラインではなく、出発点

成功率42%は批判すべき数字ではありません。

これは現在地の正直な開示です。どこに能力ギャップがあるかを可視化し、「次に何を解決すればいいか」を研究者に、「何をまだ任せてはいけないか」を実装者に、明確に示している。

医療AIの過大評価によるリスクは、患者安全に直結します。HealthAgentBenchのようなベンチマークが標準的な評価ツールとして普及することで、「良さそうに見える」から「何ができて何ができないかが明確にわかる」への転換が起きると期待しています。

その転換を一番恩恵を受けるのは、最終的には患者さんです。

では！

参考論文

Qianchu Liu et al. (2026). HealthAgentBench: A Unified Benchmark Suite of Realistic Agentic Healthcare Environments. arXiv preprint.

※ 本記事は一部 AI により執筆されており、間違った情報が含まれる恐れがあります。