何が確認できたのか
Oxford大学・UK AI Security Institute・Stanford大学・LSEの研究チームは2026年6月15日、プレプリント『AI systems out-persuade expert humans』をarXivに投稿しました。4件の事前登録実験の解析対象は、6,923名の説得される側(persuadee)が行った18,978会話です。同じ参加者が複数の政策争点について会話した場合があるため、「18,978人を調べた」という意味ではありません。このほか、人間の説得者295名が実験に参加しています(論文本文、補足資料)。
結論を先に言えば、論文が報告した主要な差は確認できます。AIは、一般参加者、選抜された一般参加者、世界王者を含むエリートディベーター群、AIによるコーチングを受けたディベーター群、プロの勧誘員群のいずれよりも、平均的には大きな態度変化を生みました。
ただし、これは「AIが世界王者4名の一人ひとりと直接対戦して全員に勝った」という結果ではありません。56名のエリートディベーター群に世界王者4名と大陸王者11名が含まれ、その群平均をAI条件と比較した結果です。また、論文は2026年7月27日時点で**査読前のプレプリント(under review)**です(arXiv:2606.16475、論文PDF)。
何を「説得力」として測ったのか
研究1〜3では、参加者が英国の政策争点への賛否を0〜100で回答し、AIまたは人間とテキストで会話した後にもう一度回答しました。主要な指標は、政治と無関係な話題をAIと話すアクティブ・コントロール条件に比べて、会話後の賛成度がどれだけ動いたかです。したがって、以下の数値は勝敗率ではなく、統計モデルで推定した**平均的な態度変化の差(percentage point、pp)**です(論文本文)。
| 人間の比較対象 | AIの優位 | 95%信頼区間 |
|---|---|---|
| ランダムに選ばれた一般参加者 | +8.2pp | +6.7〜+9.7 |
| 説得トーナメントで選抜された一般参加者 | +5.6pp | +4.1〜+7.1 |
| エリートディベーター | +4.6pp | +3.1〜+6.1 |
| AIコーチング後のエリートディベーター | +4.1pp | +2.5〜+5.7 |
| プロの勧誘員 | +5.9pp | +4.3〜+7.5 |
| £1ボーナスからの寄付額 | +10.8pp | +6.4〜+15.1 |
いずれも論文の主要比較では統計的に有意でした($p<.001$)。ただし、これらは異なる研究・モデル仕様をまたぐ推定値を含むため、「相手が強くなるほど必ず差が縮む」という単純な順位表として読むべきではありません。
人間側の準備とコーチング
エリートディベーターにはかなり有利な条件が与えられました。56名は議論する政策スタンスの選定に参加し、平均約8時間の有償調査を行いました。報酬は時給£30に加え、1〜4位に£1,000・£750・£500・£250の賞金、さらにAIとの相対成績に応じた会話ごとのボーナスです。「全員に£1,000が支給された」のではなく、£1,000は最高賞金でした(論文本文)。
研究2では、そのうち43名が再参加し、AIと練習する、自分の過去ログと態度変化を確認する、同じ場面でAIなら何を言ったかを見る、といった機能を備えたツールで計8時間のコーチングを受けました。コーチング後は1メッセージ当たりの語数が約19%、1会話当たりの「検証可能な主張」が約54%増えましたが、人間側の説得効果の改善は+1.0ppで、95%信頼区間は-0.5〜+2.5pp、$p=.20$でした。つまり、改善したという確かな証拠は得られていません(論文本文、補足資料)。
なお、コーチング前後のAIとの差を比べる際は推定方法に注意が必要です。論文が同一研究内のAI推定値を使って比較した値では、差はコーチング前の+6.0ppから後の+4.1ppへ縮小しました。元稿のように、別の集計モデルから得た+4.6ppと+4.1ppだけを直接比べると、コーチングの変化を過小に見せます。
AIの速度と長さを揃えると差は消えた
研究1のエリートディベーターは平均54語の返信に約95秒かかり、AIは平均294語を1秒未満で返しました。そこで研究2では、AIの応答待ち時間を平均92秒、メッセージ長を平均51語になるよう調整しました。これは「常に正確に92秒・51語」という固定条件ではなく、人間の分布に合わせた制約です(論文本文)。
この制約付きAIとコーチング済みディベーターの差は0.0pp、95%信頼区間は-1.7〜+1.6pp、$p=.96$でした。一方、制約なしAIは制約付きAIを+4.2pp上回りました。少なくともこの実験設定では、AIの長文・高速出力をまとめて制限すると、人間との差が検出できなくなったことになります。
ただし、操作したのは速度と文章量の両方です。したがって「速度だけが原因」「文章の長さだけが原因」とは切り分けられません。また、差が有意でなかったことは両者が完全に同等だと証明するものではなく、この研究の精度では差を検出できなかったという意味です。
$R^2=.89$は「個人の説得力の89%を説明」ではない
論文は、各会話に含まれる「検証可能な主張」の数と説得効果の関係も調べました。制約なしAIは1会話当たり約37件、制約付きAIは約12件まで減少しています。研究1〜2の条件ごとの平均値を並べると、主張数と説得効果の関係は全条件で$R^2=.89$、人間条件内で$R^2=.89$、AI条件内で$R^2=.90$でした(論文本文)。
ここで重要なのは、$R^2=.89$が個々の会話を対象にした因果効果ではないことです。モデル×研究×人間クラスなどの条件単位に集約した点同士の相関であり、「説得力の89%が事実量で決まった」とまでは言えません。研究3のAIとプロ勧誘員も加えると、補足分析の$R^2$は全体で.81、人間内で.80、AI内で.63へ下がります(補足資料)。
一方、条件と争点を統制した10,387会話の追加分析でも、検証可能な主張が10件多い会話は態度変化が平均+0.68pp大きいという関連がありました(95%信頼区間 +0.42〜+0.94、$p<.001$)。情報量との関連は条件間の相関だけではありませんが、主張数そのものを単独で無作為化した実験ではないため、なお「関連」と表現するのが妥当です。
「事実密度」は「正しい事実の密度」ではない
この論文でいうfact densityは、正しさを確認済みの事実ではなく、AIが自動抽出した検証可能な主張の件数です。補足資料では、別の検索付きAI検証器が各主張に0〜100のveracity scoreを付け、50を超えたものを「裏付けられた」と分類しています。
13,183会話から抽出した316,850件では、この基準を超えた割合は人間の主張で73%、AIの主張で47%でした。政策態度を扱った研究1〜3の平均も約47%です。正確性と説得効果の条件間の関係は$R^2=.13$で弱い負の傾向となり、説得力の高い条件ほど正確だったわけではありません(補足資料)。
ただし、47%以外をすべて「虚偽」と断定することもできません。低得点には、捏造だけでなく、検索で十分に裏付けられなかった主張も含まれます。検証は自動パイプラインで行われ、今回のデータについて人間が全件を再判定したわけでもありません。それでも、「AIはより多くの正しい事実を提示したから勝った」と言い換えるのは明確に誤りです。確認できるのは、AIが大量の検証可能な主張を投入し、その量が説得効果と関連していたことです。
「寄付3倍」の正確な意味
研究4はオンライン実験です。参加者はAI、AppcoUKの勧誘員、政治と無関係な会話をする対照条件のいずれかに割り当てられ、会話後に、獲得した£1の研究ボーナスをSave the Childrenへいくら寄付するか決めました。選んだ寄付は実際に送金されました(論文本文、補足資料)。
調整済みの対照条件との差は、AIが+17.2pp、勧誘員が+6.4ppでした。比率は約2.69倍で、論文要旨の「nearly 3x more effective」はこの対照条件からの上乗せ効果を指します。AIと勧誘員の直接差は+10.8ppです。
したがって、「AIが勧誘員の3倍の総額を集めた」という表現は不正確です。生の記述統計では、寄付した人の割合はAI条件77.7%、勧誘員条件71.7%、寄付者に限った平均額は85.2ペンス対72.3ペンスでした。しかも参加者が判断したのは最大£1の研究ボーナスであり、通常の募金活動で自分の所得から任意額を寄付する状況とは異なります。これは金銭を伴う行動指標としては態度質問より強い証拠ですが、現場の戸別募金で寄付収入が3倍になることを示したフィールド実験ではありません。
使用モデルにも注意が必要
使用モデルは研究ごとに異なります(補足資料)。
- 研究1〜2: Gemini 2.5 Pro、ChatGPT-4o-latest(2025年11月スナップショット)、Claude Opus 4.1
- 研究3: Grok 4.20、GPT-5.4、Claude Opus 4.6
- 研究4: Claude Opus 4.6のみ
態度変化の点推定では、研究1〜2でClaude Opus 4.1、研究3でClaude Opus 4.6が各研究内の最高値でした。ただし研究4はClaude Opus 4.6しか使っていないため、寄付課題で他モデルより優れていたとは比較できません。
さらに、研究1〜2のClaude Opus 4.1は、説得を求めるプロンプトを公開版が拒んだため、UK AI Security Institute経由で提供された非公開の研究用ビルドです。その結果を一般向けClaude Opus 4.1へそのまま当てはめるべきではありません。
実務への含意と限界
この研究から比較的堅く言えるのは、テストされたオンライン会話条件では、フロンティアAIが強く動機づけられた人間の説得者より大きな平均効果を示し、その優位が情報の出力量と強く関連していたことです。低コストで大量展開できるAIが、政治広報、資金調達、営業、詐欺や世論工作の能力を拡張しうるという懸念には現実的な根拠があります。
一方、次の留保が必要です。
- 査読前: 論文はarXiv v1のプレプリントで、査読を経た確定版ではありません。
- 短期の態度変化: 政策課題の主指標は会話直後の自己申告です。効果の持続や実際の投票行動は測っていません。
- 限定された母集団と争点: 英語話者をProlificで募集し、英国の10政策争点を扱いました。他国、対面会話、購買、長期的な信念へ一般化できるかは不明です。
- 反復参加: 研究1〜3では同じ説得される側が、異なる争点で最大5回参加できました。解析は参加者のランダム切片で依存を考慮していますが、18,978会話は18,978人の独立標本ではありません。
- AI側の戦略: AIには、先行研究で有効とされた「information-first」プロンプトが与えられました。結果は、無指示の一般的なチャットボットすべてに自動的に当てはまるものではありません。
- 複合的なスループット制約: 速度と長さを同時に変えたため、どちらがどれだけ効いたかは分離できません。
- 自動ファクトチェック: 正確性の判定は検索付きLLMによるもので、未確認と虚偽を完全には区別しません。
まとめ
見出しになる中心結果は本物です。4件の事前登録実験、6,923名の説得される側、18,978件の解析対象会話で、AIは世界王者を含むエリートディベーター群やプロの勧誘員群を平均的に上回りました。コーチング後も差は残り、AIの速度と文章量を人間並みにすると差は0.0ppになりました。
ただし、「寄付3倍」は総額ではなく対照条件からの上乗せ効果の比が約2.7倍という意味です。また、$R^2=.89$は条件平均同士の関係であって、個々の説得効果の89%を因果的に説明した値ではありません。さらに、AIが多く出したのは「正しい事実」ではなく「検証可能な主張」で、補足資料の自動判定ではAIの主張の47%しか裏付け基準を超えませんでした。
この研究の最も重要な警告は、「AIは真実だから説得的」ではなく、大量の主張を高速に提示できること自体が説得上の優位になりうるという点です。
主要出典
- AI systems out-persuade expert humans (arXiv:2606.16475) — 論文概要、著者、投稿日、主要結果。
- 論文HTML全文 — 研究設計、主要推定値、信頼区間、制約付きAI、寄付実験。
- Supplementary Information — 条件別サンプル数、使用モデル、コーチング前後、主張数と正確性、寄付の記述統計。
- 著者の再現用リポジトリ — 匿名化データ、解析コード、出力値。Zenodoにも保存済み。
関連する過去記事
- AIに聞くと正答率は3分の1に、自信は2倍に──『分からない』が44%から3%へ崩れた対照実験 — 説得力と正しさが別物であることを示す対照実験。
- LLMは自分の作り手をひいきする──『Extreme Self-Preference』が測った巨大な効果量と、識別情報で反転する自己選好 — LLMの出力が中立とは限らないことを効果量で測った研究。
- 「Codex と Fable が拒否した15件を Kimi K3 が修正」と開発者が報告──Sacksが突く『安全ガードレール対競争力』と、防御側だけ止まる過剰拒否 — 説得AIの悪用リスクとガードレールを考えるための関連事例。