Column

EEGと視線追跡を組み合わせたら、感情認識は「人が変わっても」使えるようになるか

被験者間・セッション間のドメインシフトは感情認識の最大の壁だった。UF-AMAは信頼度ベースの選別と多段階ドメイン適応でその壁を越え、コールセンターやリモート面接への実装可能性を大きく高めた。

2026 / 06 / 07 5 分で読める English version →

EEGの波形と視線追跡の軌跡が統合されていく様子を表した抽象的なフラットイラスト

こんにちは。Affectosphere Group の井下です。

感情認識システムを「本番環境」で使おうとすると、必ず壁にぶつかります。

ラボで学習したモデルが、ちょっと違う人・ちょっと違う日・ちょっと違う状況に持ち込まれると、とたんに精度が落ちる。この問題は「ドメインシフト」と呼ばれていて、感情 AI 研究の長年の課題です。

2026 年 5 月に arXiv で公開された研究（Zheng Wang, Shuo Wang, Junhong Wang、arXiv:2606.00170）は、この壁を正面から崩す試みです。EEG（脳波）と視線追跡を組み合わせたマルチモーダルな感情認識フレームワーク「UF-AMA」を提案し、SEED・SEED-IV という標準データセットで最高水準の精度を記録しています。

今日の 3 点

EEG と視線追跡の組み合わせは、どちらか一方より感情認識の頑健性を高める。
信頼度ベースのデータ選別と多段階ドメイン適応が、被験者間・セッション間のズレを補正する。
コールセンターやリモート面接など、「人が変わる環境」での感情モニタリングに応用できる設計思想を持つ。

① なぜ「マルチモーダル」にこだわるのか

感情認識の研究には大きく 2 つのアプローチがあります。

一つは表情・声・テキストなど「外に出てくるシグナル」を使うもの。もう一つは EEG（脳波）などの生体シグナルを使うものです。

生体シグナルの強みは、意図的にコントロールしにくいという点です。表情や声は人が「演じる」ことができますが、EEG はそう簡単には制御できない。つまり、より直接的に内的な感情状態を反映します。

ただ EEG だけでは、情報が少ない場面もあります。感情は複合的な現象なので、どこを「見ているか」という視線情報を組み合わせることで、脳内の状態と外部の注意対象を同時に捉えられる。これが UF-AMA が視線追跡を加えた理由です。

二つのモダリティを単純に結合するのではなく、適応的なアラインメント（Adaptive Multimodal Alignment）で統合しているのがポイントです。どの情報をどれだけ信頼するかを動的に調整しながら、最終的な感情推定に使う特徴量を構成しています。

② 「ドメインシフト」をどう克服するか

UF-AMA が特に重点を置いているのが、ドメイン適応の設計です。

感情認識でいうドメインシフトは、主に 2 種類あります。

一つは「被験者間シフト」。同じ感情刺激を受けても、脳波のパターンは人によって異なります。A さんのデータで学習したモデルが B さんには通用しない、というやつです。

もう一つは「セッション間シフト」。同じ人でも、日が変わったり疲労状態が違ったりすると、EEG の特徴量が変わります。同じ人のデータで学習しても、翌日には精度が下がる、という問題です。

UF-AMA の対策は 2 段階になっています。まず「信頼度 aware 選別」で、ソースドメインのデータのうち、ターゲットドメインに近いと判断されるサンプルを絞り込む。次に多段階のドメイン適応でターゲットに特徴量を近づけていく。

この組み合わせが、SEED・SEED-IV でのベンチマーク性能につながっています。

③ 応用するなら「コールセンター」か「リモート面接」か

UF-AMA の設計が実務に与える示唆を考えてみます。

最もリアルなユースケースの一つは、コールセンターのエージェント感情モニタリングです。

コールセンターは、感情的に消耗しやすい職場です。エージェントが感情疲弊（emotional burnout）の兆候を示していても、supervisorが全員をリアルタイムで監視するのは現実的ではありません。

ここで EEG + 視線追跡のウェアラブルを組み合わせた常時モニタリングを想定すると、UF-AMA のような「人が変わっても動く」フレームワークの価値が見えてきます。エージェントが交代しても、新しい被験者への適応を短時間で完了できれば、感情疲弊の早期検出アラートを持続的に動かせるわけです。

KPI としては「感情疲弊インシデントの検出精度」や「アラートと実際のクレーム数との相関」などが考えられます。

リモート採用場面でも同様のことが言えます。面接官・候補者ともに日ごとにコンディションが変わります。単一セッションの学習データに依存するシステムでは、評価のブレが大きい。多段階ドメイン適応を持つフレームワークなら、面接ごとに適応させる運用が視野に入ります。

もちろん、EEG デバイスの装着コストや同意取得の問題はあります。今すぐ全社導入というより、パイロット設計の段階で「どの部署・どのユースケースから始めるか」を検討するフェーズにいる組織に、この研究の設計思想は参考になると思います。

「人が変わる環境」への適応が感情 AI の次の課題

この研究が面白いのは、「精度を上げる」より「頑健性を上げる」という方向性を中心に据えていることです。

感情認識の論文では新しいアーキテクチャで精度を競うものが多いですが、実際の現場で使い物になるかどうかは、ドメインシフトへの対応力で決まることがほとんどです。

UF-AMA が SEED・SEED-IV でベンチマーク水準を更新しつつ、ドメイン適応の設計を前面に出しているのは、実用化を意識したアプローチとして評価できます。

感情 AI 研究者として、この方向性はもっと増えていいと思っています。「ラボで動く」から「現場で動く」への橋渡しは、まだまだ途上です。

では！

参考論文

Zheng Wang, Shuo Wang, Junhong Wang (2026). UF-AMA: A Unified Framework for Cross-Domain Emotion Recognition via Adaptive Multimodal Alignment. arXiv preprint.

※ 本記事は一部 AI により執筆されており、間違った情報が含まれる恐れがあります。