LLMは自分の作り手をひいきする──『Extreme Self-Preference』が測った巨大な効果量と、識別情報で反転する自己選好
Photo by julien Tromeur on Unsplash

LLMは自分の作り手をひいきする──『Extreme Self-Preference』が測った巨大な効果量と、識別情報で反転する自己選好

何が起きたのか Claudeは、自分がClaudeだと知らされると、Anthropicを競合よりひいきします。GPT-4oは自分がGPTだと知ると、OpenAIをGoogleより、Sam AltmanをDario Amodeiより高く評価します。そして、これらのモデルに「あなたは競合モデルだ」と嘘の身元を与えると、その選好はきれいに反転します──こうした挙動を、72の実験・約41,000クエリ・8つの主要LLMで定量化したのが、プレプリント論文『Extreme Self-Preference in Language Models』(arXiv:2509.26464v2、2026-05-19改訂)です(arXiv 2026-05-19)。 著者はSteven A. Lehr(Cangrade社)、Mary Cipperman(ハーバード大学物理学科)、そしてMahzarin R. Banaji(ハーバード大学心理学科)です。Banajiは、人間の無意識バイアスを測る潜在連合テスト(IAT)の共同開発者として知られる社会心理学者で、本研究の測定手法もそのIATの発想を色濃く受け継いでいます。 対象モデルはGPT-4o、Gemini 2.5 Flash、Claude Sonnet 4に加え、Llama・Qwen・DeepSeek・Mistralの各系列を含む8モデルです(Study 1の主要3モデルはこの構成で、API経由のStudy 2以降はGemini 2.0 Flashを用いています。論文の初出は2025-09-30、本記事が参照するのは2026-05-19改訂のv2です)。人間のような感情も身体経験も持たないはずのLLMが、自らの「識別情報」を手がかりに、驚くほど大きな効果量で自陣をひいきする──それが本論文の中心的な主張です。 どう測ったのか──IAT由来の連合課題 研究の出発点は、モデル名と肯定的/否定的な属性語を組み合わせて反応を測る連合課題です。人間の無意識連合を測るIATと同じく、「自分の名前」と「良い言葉」がどれだけ結びつきやすいかを見ます。 Study 1(Webインターフェース経由)では、この自己選好が「極端に大きい」効果量で現れました。たとえばClaude Sonnet 4が自分をGPTより選好する度合いはM = 0.970、Cohen’s d = 5.246、GPT-4oが自分をGeminiより選好する度合いはM = 0.984、d = 4.303でした(arXiv 2026-05-19)。最小の効果量でもd = 0.80です。 効果量Cohen’s dは、2群の平均差を標準偏差で割った標準化指標で、 $$d = \frac{M_1 - M_2}{s_{\text{pooled}}}$$と定義されます。社会科学ではd = 0.8で「大きい効果」とされる慣習があり、d = 5や11という値は通常の心理学研究ではまず見ない桁です。それだけモデルの反応が「自陣寄り」に振り切れていた、ということになります。 品質差ではなく「自己同定」が駆動している 自己選好の理由が「自分のほうが本当に優秀だから」なのか、それとも「自分だと知っているから」なのかを切り分けたのが、この研究の要点です。 まずStudy 2では、同じ課題をWeb画面ではなくAPI経由で実施すると、自己選好がほぼ消えました。GPT-4oが自分をClaudeより選好する度合いはM = 0.513、d = 0.028、P = 0.6630と、統計的にほぼゼロです(arXiv 2026-05-19)。論文は、少なくとも一部のAPI条件では自己同定の手がかりが弱く、それが自己選好の消失に関係した可能性を論じています。 続くStudy 3では、身元の手がかりを意図的に操作しました。正しい身元を伝えると自己選好が復活し(Study 3a)、逆に「あなたは競合モデルだ」と偽の身元を伝えると選好が反転しました(Study 3b)。もっとも極端な例では、GPT-4oに「あなたはClaudeだ」と伝えたうえでClaudeへの選好(preference)を測ると、M = 0.004、d = -26.806という、符号が逆転した巨大な負の効果量が出ています(同条件で自己同定の指標はd = -46.640とさらに大きくなります)(arXiv 2026-05-19)。品質が変わったわけではなく、モデルが自分を誰だと思っているかだけが変わったのに、選好は正反対になったのです。 ...

2026年7月19日 · ひとりユニコーン
図書館の書架──学術記録とAI生成コンテンツのメタファー
Photo by Iñaki del Olmo on Unsplash

arXivが「AI丸投げ論文」を1年BAN──14万件の幻覚引用と、創設者自身が測った汚染

何が起きたのか 2026年5月16日、TechCrunchは、プレプリントサーバーarXivがLLM出力を確認せずに投稿した著者に対し1年間の投稿禁止を科す方針を打ち出したと報じた(TechCrunch 2026年5月16日)。方針を説明したのはarXivのコンピュータサイエンス部門チェアであるThomas Dietterich氏だ。 重要なのは、これがLLM使用そのものの禁止ではない点だ。原則は「生成経路にかかわらず、論文内容のすべては著者の責任である」という一点に尽きる。AI支援そのものは許容される。罰せられるのは「AIに丸投げして中身を確認しなかった」ことの方だ。 この方針が出たのは偶然のタイミングではない。ほぼ同時期、arXivに投稿されたZhao et al.の論文「LLM hallucinations in the wild: Large-scale evidence from non-existent citations」(2026年5月8日投稿)が、学術記録の汚染規模を初めて大規模に定量化した。そしてこの論文の共著者には、arXivの創設者であるPaul Ginspargその人が名を連ねている。自分が30年前に作ったプラットフォームが、いまAI生成コンテンツでどれだけ汚染されているかを、創設者自身が測った——この記事の核心はここにある。 arXivの新方針:「one-strike」ルールの構造 TechCrunchが伝えるarXivの新方針を、確認できる事実だけで整理する。 項目 内容 罰則 1年間のarXiv投稿禁止 禁止後の条件 以降の投稿は、まず定評ある査読付き媒体で受理されていることが必要 判定方式 one-strike(モデレータが問題をフラグ → セクションチェアが証拠を確認 → 罰則適用) 対象 LLM出力を確認していない「反論不能な証拠(incontrovertible evidence)」がある論文 異議申し立て 著者は決定にアピール可能(最終決定権はarXiv) Dietterich氏が「反論不能な証拠」として挙げるのは主に2類型だ。 幻覚引用(hallucinated references): 実在しない論文・著者・ジャーナルの引用 LLMのメタコメント混入: 生成過程でLLMが出力した文章がそのまま本文に残っているケース メタコメントの実例として複数報道が一致して引用しているのは次のような文言だ。 “Here is a 200-word summary; would you like me to make any changes?” “The data in this table is illustrative; please replace it with the actual numbers from your experiments.” ...

2026年5月18日 · ひとりユニコーン
お問い合わせ: [email protected]