Column

AIは「怒りの強さ」を表現できるか ── 感情強度制御TTSの新アプローチ

LLMベースの音声合成で「感情の強弱」を自在に制御するのは難しい課題だった。Emo-LiPOは感情強度をランキング問題として捉え、選好最適化で学習させることで既存手法を超える性能を達成した。「AIが感情の強さをどこまで表現できるか」に正面から向き合った研究だ。

2026 / 06 / 14 5 分で読める English version →

感情強度の異なる音声波形が段階的に並ぶビジュアル。弱い感情から強い感情へとグラデーションで変化していく様子

こんにちは。Affectosphere Group の井下です。

「AIの声は感情がない」という言葉を聞くことが、まだ多い気がします。

でも実際のところ、最新のLLMベースのTTS（テキスト読み上げ）は、感情の「有無」という点ではかなり進歩しています。問題は、感情の「強度」です。

「少し怒っている」と「かなり怒っている」の違いを、声で表現できるか。「悲しみが溢れ出す瞬間」と「抑えた悲しみ」を区別できるか。人間の声優なら自然にできることが、AIにとってはなぜ難しいのか。

この問いを正面から研究した論文が、2026年6月にarXivで公開されました。Yihang Lin, Li Zhou, Congwei Cao, Dongchu Xie, Xiaoxue Gao, Chen Zhang, Haizhou Li らによる「Emo-LiPO」（arXiv:2606.13006）です。

感情強度の「粒度の細かい制御」という課題に、選好最適化という手法で挑んだ研究です。

今日の3点

課題: LLMベースのTTSは感情の「有無」は表現できるが、「強度の細かい制御」が難しかった。特に高強度感情の表現に課題があった。
手法: 感情強度をランキング問題として定式化し、LiPO（Listwise Preference Optimization）で学習させることで、感情強度と音声出力の整合性を直接最適化した。
結果: 既存ベースラインを全感情カテゴリで上回り、特に高強度レベルでの改善が顕著だった。新規データセット「ESD-plus」も公開された。

① なぜ「感情強度」の制御は難しいのか

まず前提として、なぜ感情強度の制御がTTSにとって難しい課題なのかを整理しておきます。

現在のLLMベースTTSは、テキストと音声のペアで学習しています。感情表現については、「このテキストはこういう感情で読む」というデータが多数あれば、それに対応した読み方を学ぶことができます。

ただし、「感情の強度」は別次元の問題です。

「怒り」という感情カテゴリのラベルがあったとして、そのデータが「弱い怒り」なのか「強い怒り」なのかは、ラベルだけでは区別されません。データの分布に含まれている各強度サンプルの数が少なかったり、強度レベルの境界があいまいだったりすると、モデルはその違いを学習しにくくなります。

特に高強度の感情——「激しい怒り」「溢れ出す喜び」「深い悲しみ」——は、データセット内で希少なケースになりがちです。希少なほど、モデルは正確に表現できない。

既存の研究は、感情強度の「スコア」を直接回帰で予測するアプローチや、強度を離散的なレベルに分類するアプローチを試みてきました。ただし、これらのアプローチは「どの強度が他の強度より上か」という相対的な順序情報を十分に活用できていない、という限界がありました。

② Emo-LiPOのアプローチ：感情強度をランキング問題として捉える

Emo-LiPOが提案した核心のアイデアは、感情強度制御を「ランキング問題」として定式化することです。

これは、どういうことか。

通常の学習では「この入力に対してこの出力が正解」という形で学習します。感情強度の文脈で言えば、「このテキストプロンプトに対して、このくらいの強度の感情音声が正解」というペアデータで学習する。

ランキングアプローチでは、これを「複数の候補の中で、どれが最も適切か」という問題に変換します。感情強度レベル1〜5があったとして、「レベル4のプロンプトに対しては、レベル4の音声がレベル3より好ましく、レベル5よりも好ましくない」という順序情報を学習に使う。

この定式化の利点は、絶対値よりも相対的な順序の方が、人間の感情知覚とも整合しやすい点にあります。人が「少し怒っている」と「かなり怒っている」を判断するとき、絶対的な数値ではなく相対的な比較で判断しています。

LiPO（Listwise Preference Optimization）は、この順序付きリスト全体を最適化対象とします。ペアワイズ（2つの比較）ではなく、リスト全体の順序を一度に学習するため、強度間の細かいニュアンスも捉えやすくなります。

論文が提案するEmo-LiPOは、感情テキストプロンプトと音声出力の感情強度の整合性を、このLiPOで直接最適化するフレームワークです。

③ ESD-plus：複数話者×複数強度レベルのデータセット

研究のもう一つの重要な貢献が、新規データセット「ESD-plus」の構築です。

感情強度制御の研究を進める上での大きな障壁のひとつは、適切なデータの少なさでした。複数の感情カテゴリについて、複数の強度レベルで収録された、複数話者の音声データが必要になります。そのすべての条件を満たすデータセットが乏しかった。

ESD-plus は、この条件を満たすように設計されたデータセットです。複数の話者と複数の感情カテゴリについて、複数の強度レベルをカバーする音声データを収録しています。

これにより、Emo-LiPOの学習と評価が可能になっただけでなく、今後の感情強度制御研究のベンチマークとして機能することも期待されます。データセットの公開は、コミュニティ全体の研究を加速させる貢献です。

④ 結果：高強度感情で特に顕著な改善

評価実験の結果、Emo-LiPOは既存のベースラインを全感情カテゴリで上回りました。

特に注目すべきは、高強度感情での改善が顕著だった点です。

これは、先に説明した課題設定と整合しています。従来手法が苦手としていた「強い感情」の表現が、ランキングベースの学習によって改善された。

なぜ高強度で特に改善したのかを考えると、LiPOの特性が効いていると考えられます。リスト全体の順序を最適化することで、高強度と低強度の差分が学習に明示的に取り込まれる。「強度5は強度4より上」という情報が、ペアワイズ比較よりも体系的に活用できる。

感情強度の「上限」の表現が従来手法では弱かったのに対し、Emo-LiPOではその上限を正確に捉える方向に学習が進んだ、という解釈ができます。

⑤ 感情AIとしての含意：AIが感情の「強さ」を扱えるとどう変わるか

ここからは、感情AI研究の視点から、この研究が持つ意味を考えてみます。

感情強度の制御は、単純に「音声が自然になる」という話ではありません。AIが人間と感情的にやり取りするシーン全般に影響します。

例えば、共感的な音声エージェントを設計する場合、相手の感情状態の強度に合わせて自分の音声の感情強度を調整できることが重要です。相手が軽く不満を示しているときと、深く傷ついているときで、同じトーンで返してしまうと違和感が生まれます。感情強度の「読み取り」だけでなく「表現」の両方が必要で、Emo-LiPOは後者の側を大きく前進させた研究です。

また、感情強度の制御が精密になることで、音声コンテンツの品質が上がります。ナレーション、オーディオブック、教育コンテンツなど、声の感情表現が品質を左右する分野では、感情強度の制御は直接コンテンツ価値につながります。

日本語音声合成の文脈でも、この研究の方向性は重要です。日本語には感情の「強さ」を声の大きさよりも抑揚や速度の変化で表現することが多く、感情強度の精密な制御は日本語TTSにとっても未解決に近い課題です。

AIが「感情の強さ」を表現できるようになると、AIとのコミュニケーションはどう変わるか。この問いは、これからの感情AIの中心的なテーマのひとつだと思います。

では！

参考論文

Yihang Lin, Li Zhou, Congwei Cao, Dongchu Xie, Xiaoxue Gao, Chen Zhang, Haizhou Li (2026). Emo-LiPO: Listwise Preference Optimization for Fine-Grained Emotion Intensity Control in LLM-based Text-to-Speech. arXiv preprint arXiv:2606.13006.

※ 本記事は一部 AI により執筆されており、間違った情報が含まれる恐れがあります。