Column

LLMの性格テスト結果、81〜90%が測定ツールのアーティファクトだった

56のLLMにBig Five等の心理測定を適用したら、モデル間の差異の81〜90%は応答バイアス——つまりモデルの性格ではなく測定ツールの設計の産物だった。AI採用ツールやパーソナリティ評価サービスへの直接的なリスクと、品質監査の枠組みを解説する。

2026 / 06 / 22 5 分で読める English version →

こんにちは。Affectosphere Group の井下です。

AIに「性格」を測定できるか。Big Five（開放性・勤勉性・外向性・協調性・神経症傾向）や類似の心理測定ツールをLLMに適用して、「このモデルは協調性が高い」「あのモデルは外向的だ」と評価するサービスが出始めています。

でもその結果は、信用できるのでしょうか。

2026年6月にarXivで公開された研究（Meyer, Garcia, & Wulff, arXiv:2606.20205）は、56の命令調整済みLLMに人間用の心理測定を適用し、衝撃的な結果を報告しています。

今日の3点

この研究の核心は明快です。

LLMに心理測定ツール（リッカート尺度など）を適用すると、モデルは質問内容に関係なく、特定の方向に偏った応答をする傾向があります。たとえば、常に「ややそう思う」側に寄る、あるいは「中立」を避ける。

この「応答バイアス」は人間にも存在しますが、人間の場合、それが結果に占める割合は9〜16%程度です。

LLMでは81〜90%。つまり、モデル間の「性格の違い」として見えているもののほとんどが、質問文への応答パターンの偏りであり、何か意味のある内部特性の反映ではない。

「Claude は協調性が高い」「GPT-4は外向的」——そういう評価の大部分は、測定ツールの設計に対するモデルの応答傾向を見ているだけだった、ということです。

さらに深刻なのは、アイテム選択（質問項目の選び方）によってプロファイルを人工的に操作できるという発見です。

回答直交性（trait方向とbias方向が逆を指す質問の割合）が、測定結果の信頼性を決定するとこの研究は指摘しています。

簡単に言えば、「ポジティブに偏る傾向」を持つモデルに対して、ポジティブ回答がtrait高得点になる質問だけを集めれば、そのモデルの「性格スコア」を意図的に高くできる。逆も可能です。

これは、AIの「パーソナリティ評価」を謳うサービスにとって致命的なリスクです。評価者が意図的に、あるいは無意識に、質問セットの構成を変えるだけで、結果を任意の方向に操作できてしまう。

「モデルが賢くなれば解消されるのでは」と思うかもしれませんが、この研究はその期待にも応えています。

高性能モデルほど応答バイアスは低下する傾向がある。しかし、排除はできない。

つまりこの問題は、モデルの能力不足から来るものではなく、人間用の心理測定ツールをLLMに適用すること自体の構造的な問題です。

人間の場合、心理測定は「内省的な自己評価」を前提としています。LLMにはそのような内省的プロセスがないため、測定ツールの表層的なパターンに応答しているだけ——という解釈が妥当です。

想定ユースケースは、AI採用ツールにパーソナリティ評価を組み込んでいるHRtech事業者と、AIの品質監査を行うコンサルタントです。

第一に、LLMに人間用心理測定ツールを直接適用した結果を「AIの性格」として商品化しているサービスは、その信頼性の根拠を再検証すべきです。本研究が示したように、結果の大部分が測定アーティファクトである可能性が高い。

第二に、AIアセスメントツールの第三者監査フレームワークの構築が急務です。具体的には、「回答直交性」を監査指標として使い、使用される質問セットがバイアスに対してどの程度頑健かを評価する。

第三に、AI採用ツールで心理測定的な評価を使う場合、その結果を意思決定の唯一の根拠とせず、複数の独立した評価軸と組み合わせるガードレールの設計が必要です。

KPIとしては「同一モデルに異なるアイテムセットを適用した場合のスコア変動幅」を定期的に測定し、変動幅が大きいものは信頼性不十分と判定する運用が考えられます。

LLMに心理テストを実施して、数値的な結果を得ることは簡単です。

でもその数値に意味があるかどうかは、まったく別の問題でした。

この研究は「LLMの性格は測定できない」と言っているのではなく、「現在の測定方法では、測定しているつもりのものを測定できていない」と言っています。

測定ツールを使えば数字は出る。しかしその数字が何を測っているかを理解しないまま意思決定に使うことは、特に採用や人事評価の場面では危険です。

では！

Meyer, J., Garcia, D., & Wulff, D. U. (2026). Apparent Psychological Profiles of Large Language Models are Largely a Measurement Artifact. arXiv preprint.

※ 本記事は一部 AI により執筆されており、間違った情報が含まれる恐れがあります。