Column

LLMは人の感情をどこまで読めるか——13クラス感情分類で見えた「ゼロショット精度は約4割」という現実

Claude・GPT-5.4・Geminiを13万文超の感情分類ベンチマークでゼロショット比較したところ、3モデルとも精度は約40%で頭打ちだった。感情AIを製品に組み込む前に知っておくべき「アフェクティブ・ギャップ」を解説する。

2026 / 07 / 02 5 分で読める English version →

3体のAIロボットが人間の表情カードを分類しようとして、細かい感情のカードの前で困っている様子のフラットイラスト

こんにちは。Affectosphere Group の三浦です。

「うちのチャットボットは LLM ベースなので、顧客の感情も読み取れます」——最近こういう売り文句をよく見かけます。

でも、それって本当にどこまでできるんでしょうか？

2026年7月に arXiv で公開された研究（Obiuwevwi et al., arXiv:2607.00968）が、この問いに正面から数字で答えています。結論から言うと、細かい感情の識別をゼロショットの LLM に任せるのは、現時点ではかなり危ういです。

今日の3点

Claude・GPT-5.4・Gemini の3大商用 LLM を、13クラスの感情分類タスク（131,306文）へ統一条件で投入したところ、精度は最高でも約40%だった。
3モデル間の精度差は統計的に有意でなく、どのモデルを選んでも「ゼロショットの天井」に収束する。一方で Claude だけ Macro-F1 が突出して低く、クラス不均衡なタスクでの予測バイアスが露呈した。
「皮肉」「欲求」は得意で「愛」「困惑」「恥」が苦手という失敗パターンが3モデル共通だった。微細な感情を扱う HR・医療用途では、ゼロショット転用ではなく fine-tune か専用モデルとの併用を前提にすべき。

① 実験の中身：13クラス×13万文のガチンコ比較

この研究のポイントは、比較条件を徹底的にそろえたことです。

対象は Claude・GPT-5.4・Gemini の3つの frontier モデル。タスクは13クラスの細粒度感情分類で、データセットは131,306文と大規模です。プロンプトは統一し、追加学習は一切なし。つまり「買ってきた LLM をそのまま感情分類器として使ったら何が起きるか」を再現した設計です。

結果は、Gemini が最高で Accuracy 39.9%、Macro-F1 0.363。次いで GPT-5.4 が 38.8%（Macro-F1 0.291）、Claude が 38.0%（Macro-F1 0.159）でした。

精度4割。2択クイズなら上出来ですが、13クラスあるとはいえ、実務で「感情がわかる」と言うにはかなり心もとない数字ですよね。

② モデル間の差より深刻な「共通の壁」

面白いのはここからです。

3モデルの精度差を McNemar 検定にかけると、統計的に有意な差はありませんでした。つまり「どの LLM を選ぶか」はこのタスクではほぼ関係なく、全員が同じあたりの天井——研究チームの言葉を借りれば「アフェクティブ・ギャップ」——にぶつかっています。

ただし中身を見ると質的な違いはあります。Claude は Macro-F1 が 0.159 と突出して低く、少数クラスをうまく拾えない予測バイアスが確認されました。全体精度が同じでも、まれな感情ほど取りこぼすモデルは、用途によっては致命的です。

そして3モデルに共通する失敗パターンも見つかりました。「皮肉（sarcasm）」「欲求（desire）」の正解率は高い。一方で「愛（love）」「困惑（confusion）」「恥（shame）」は軒並み苦手でした。

③ なぜ「恥」が読めないと業務で困るのか

「愛や恥が読めなくても、クレーム検知には怒りがわかれば十分では？」と思うかもしれません。

でも、たとえば離職リスク検知を考えてみてください。退職を考え始めた社員が最初に出すシグナルは、怒りのような強い感情ではなく、困惑や恥に近い微細な感情のことが多い。「自分だけ評価されていない気がする」「相談するのが恥ずかしい」——この段階を拾えないなら、検知できるのは手遅れになってからです。

医療・メンタルヘルス領域ではさらに深刻です。恥は受診をためらう最大の要因の一つで、ここを読み違えるとユーザーへの声かけの設計そのものが破綻します。

ゼロショット LLM が苦手とするのが、まさにこの「ビジネス価値の高い微細感情」だった。これがこの論文のいちばん重い示唆だと思います。

企業への実装提案：感情AIの「調達基準」に使う

この結果は、感情 AI を組み込む側にとってはむしろ朗報だと思っています。アーキテクチャ判断の基準として、そのまま使えるからです。

第一に、調達・設計段階のチェック項目に「感情識別はゼロショットか、fine-tune 済みか」を加えること。ベンダーが「LLM だから感情もわかります」と言ってきたら、細粒度分類での Macro-F1 を確認する。全体精度だけでなく Macro-F1 を見るのは、Claude の例のように少数クラスの取りこぼしが隠れるからです。

第二に、用途で要求水準を分けること。エンタメ的な用途ならゼロショットでも成立しますが、HR・医療・与信のような影響の大きい判断に絡む場合は、fine-tune か専用感情モデルとのアンサンブルを社内標準として義務付ける。

第三に、KPI として「微細感情クラス別の再現率」をモニタリングすること。恥・困惑など自社ユースケースで重要なクラスを2〜3個決めて、四半期ごとに実データで再評価すれば、モデル更新のたびに性能が静かに変わる問題も捕捉できます。

「LLMは何でもできる」の解像度を上げる

LLM は言語タスクの多くで驚異的ですが、感情の細かい読み分けについては、まだ人間の直感に遠く及ばない——この論文はそれを13万文のスケールで示しました。

大事なのは「LLM は感情がわからない」と切り捨てることではなく、どこまでができて、どこからができないかの線を数字で持っておくことだと思います。

感情 AI を製品に載せようとしている方には、設計会議の前に一読をおすすめしたい一本です。

では！

参考論文

Obiuwevwi, Lawrence, Rechowicz, Krzysztof J., Johnson, Jessica M., Ashok, Vikas, Shetty, Sachin, & Jayarathna, Sampath (2026). Quantifying the Affective Gap: A Zero-Shot Evaluation of LLMs on Fine-Grained Emotion Taxonomies. arXiv preprint.

※ 本記事は一部 AI により執筆されており、間違った情報が含まれる恐れがあります。