Column

AIの説明は信じている。でも、その説明を検査したのは誰ですか？——概念ベースXAIを監査するConceptSMILE

「AIがこう判断した理由はXです」という説明を、私たちは規制当局にも顧客にも提出しています。でも、その説明自体が正しいかを検査した人はいますか。ConceptSMILEは概念ベースXAIの信頼性を摂動で監査するモデル非依存フレームワークです。眼底画像の実験ではMedSAM由来の視覚概念がサロゲート忠実度R^2=0.8503を示しました。AIガバナンス部門でどう試せるかを、部署とKPIまで含めて考えます。

2026 / 07 / 13 5 分で読める English version →

AIが出した説明カードを、検査官が拡大鏡と摂動テストで一枚ずつ検証し、信頼性スコアを付けて監査レポートにまとめているフラットイラスト

こんにちは。Affectosphere Group の三浦です。

最近、AIガバナンスの話をしていて、ずっと引っかかっていることがあります。

説明可能AI（XAI）を入れた企業は、もうかなり多い。融資審査でスコアを出すとき、「この判断は返済履歴と負債比率が効いています」と根拠を添える。診断支援AIなら「この病変領域に着目しました」と示す。規制対応としても、顧客への説明としても、これは正しい方向です。

ただ、ふと思うんです。その説明、本当に合っているんでしょうか。

モデルが実際には別の場所を見ていたのに、説明だけがもっともらしく「返済履歴が効いています」と言っていたら。私たちはそれを検知できません。説明は出力された瞬間に「正しいもの」として扱われ、そのまま監査資料に載っていきます。

説明に説明責任を負わせる仕組みが、まだ薄いんですよね。

arXiv に公開された研究（Mollapour, Aslansefat, Dehghani, Mishra, Shah & Mian, arXiv:2607.09649）は、まさにここを突いています。ConceptSMILE という、概念ベースXAIの信頼性を監査するフレームワークです。

今日はビジネス応用の視点から、これを自社のAIガバナンスにどう組み込めるかを考えてみます。

今日の3点

概念ベースXAI（モデルの推論を「概念」という人間が理解できる単位で説明する手法）は分かりやすいけれど、その概念レベルの出力が自動的に信頼できるわけではない、という問題提起。
ConceptSMILE は、SMILE の摂動ベースロジックを特徴・領域レベルから概念説明の監査へ拡張したモデル非依存フレームワーク。入力領域の摂動、概念応答シフトの計測、局所性重み付け、XGBoostサロゲートフィッティングを組み合わせ、帰属精度・サロゲート忠実度・faithfulness・安定性・一貫性で信頼性を測る。
眼底画像の実験では、MedSAM由来の視覚概念が高い空間帰属精度とサロゲート忠実度（R^2=0.8503）を示し、VLMベースの意味概念が強い脈管faithfulnessと安定性を示した。つまり「どの概念定義を使うか」で信頼性の質が変わる。

① 「説明の説明責任」という空白

まず、いま何が空白なのかを整理します。

XAIの導入プロジェクトは、たいてい「説明を出せるようにする」ところで終わります。ツールを入れて、ヒートマップなり概念の寄与度なりが出るようになった。ゴール達成、次のフェーズへ。

でも、そこで一度も問われないことがあります。その説明は、モデルの実際の振る舞いを反映しているのか。

概念ベースXAIは特にここが見えにくい。「この画像には脈管の異常という概念が強く出ています」と言われると、人間にはとても腑に落ちます。腑に落ちるがゆえに、疑いにくい。説明が人間フレンドリーであることと、説明が正確であることは、まったく別の話なのに。

論文の出発点はそこです。概念レベルの出力は、人間にとって理解しやすいだけであって、自動的に信頼できるわけではない。だから監査の枠組みが要る、と。

ここ、企業のAIガバナンスにそのまま刺さる指摘だと思います。私たちはモデルの精度は検証している。データのバイアスも点検している。でも「説明そのものの品質」を検証する工程は、たいていの社内プロセスに存在していません。

② 摂動で「揺すって」信頼性を測る

では ConceptSMILE は何をするのか。

やることは、乱暴に言えば「入力を揺すってみる」ことです。入力の領域に摂動を加える。そのとき、概念の応答がどう動くかを測る。近い摂動ほど重く見る局所性重み付けをかけて、XGBoostでサロゲートモデルを当てはめる。この一連で、説明が本当にモデルの挙動と連動しているかを定量化します。

面白いのは、SMILE の摂動ベースロジックを、特徴・領域レベルから概念説明のレイヤーへ持ち上げた点です。「ピクセルのどこが効いたか」ではなく「概念のどれが効いたか」を監査対象にした、ということ。

そして信頼性は、一つの数字ではなく複数の軸で測られます。帰属精度、サロゲート忠実度、faithfulness、安定性、一貫性。実務的にはここが重要で、「説明が信頼できるか」は単一スコアで丸められる問題じゃない、という設計思想が入っています。

実験は網膜眼底画像。MedSAM由来の視覚概念と、VLMベースの意味概念を比べています。結果は、きれいに割れました。MedSAM側が高い空間帰属精度とサロゲート忠実度（R^2=0.8503）を出す一方、VLM側は強い脈管faithfulnessと安定性を見せた。

どちらかが全勝したわけではない、という点に私は目を留めました。つまり「概念の定義の仕方」によって、説明の信頼性のプロファイルが変わる。監査してみて初めて、それが分かる。

③ 現場でどう試すか：部署とKPIの具体案

ここからがビジネス応用の本題です。

私の提案は、ConceptSMILE 的な発想を「XAI監査エンジン」として社内に置くことです。既存のXAI出力に対して、独立の検証レイヤーを一枚かぶせる。説明を出す部隊と、説明を検査する部隊を分ける、という設計です。会計に監査法人がいるように、説明にも監査工程を持たせる。

想定する部署は三つ。まずAIガバナンス部門。モデルの説明品質を定期監査し、信頼性スコアの推移をモニタリングします。次にリスク審査・コンプライアンス部門。融資審査AIや保険引受AIの説明を、規制当局や顧客に提出する前に検証する工程を持つ。そして医療AIの品質保証部門。診断支援の「注目領域」が本当にモデルの根拠なのかを、リリース前ゲートとして検査します。

KPIはこう置きます。第一に、説明忠実度スコアの水準（サロゲート忠実度がどの程度出ているか。監査対象モデルごとに閾値を決め、下回ったら説明を対外提出しない、という運用にできます）。第二に、XAI監査にかかる工数削減率（いま専門家が目視で「この説明は妥当そう」と判断している部分を、定量指標に置き換えられた割合）。第三に、規制上の説明責任コンプライアンス達成率（説明を提出したモデルのうち、信頼性検証済みの割合）。

現実的なスモールスタートも書いておきます。いきなり全モデルは無理です。まずは説明が最も高リスクな一系統——たとえば融資否決の理由説明、あるいは診断支援の病変指摘——に絞る。そこで既存XAIの出力を摂動監査にかけ、信頼性スコアがどれくらい出るかを見る。低ければ、概念定義を変えて再測定する。この研究が示した通り、概念の作り方で結果は変わりますから。

そこで得られた閾値を、社内のXAI品質基準として文書化する。これが、規制当局に「弊社は説明の信頼性を独立検証しています」と言える最初の一歩になると思っています。

説明を、信じる前に検査する

この研究を読んで私が一番いいなと思ったのは、姿勢そのものです。

XAIは「AIを信頼するための技術」として語られてきました。でもその技術が出力したものを、私たちはノーチェックで信頼していた。説明という名前がついているだけで、検査を免除されていた。ConceptSMILE は、そこに監査を持ち込みます。

規制はこれから間違いなく「説明せよ」と言ってきます。そのとき、説明を出すだけの企業と、説明の信頼性まで数字で示せる企業とでは、立っている場所がまるで違うはずです。

ちなみにこの話、私たちが取り組む感情AIとも地続きです。「このテキストは怒りです、根拠はこの表現です」——その根拠、本当にモデルが見ていたものでしょうか。感情という曖昧な対象では、もっともらしい説明が生まれやすい分、監査の必要性はむしろ高いと感じています。

説明を信じる前に、説明を検査する。地味ですが、AIガバナンスの次の一手はここだと思います。

では！

参考論文

Mollapour, Mohadeseh, Aslansefat, Koorosh, Dehghani, Zeinab, Mishra, Bhupesh Kumar, Shah, Tejal, & Mian, Zhibao (2026). ConceptSMILE: Auditing the Trustworthiness of Concept-Based Explainable AI. arXiv preprint. https://arxiv.org/abs/2607.09649

※ 本記事は一部 AI により執筆されており、間違った情報が含まれる恐れがあります。