AIは「世界王者を含むエリートディベーター群」より説得的だった──18,978会話、寄付効果2.7倍、速度と長さを揃えると差は0.0pt
何が確認できたのか Oxford大学・UK AI Security Institute・Stanford大学・LSEの研究チームは2026年6月15日、プレプリント『AI systems out-persuade expert humans』をarXivに投稿しました。4件の事前登録実験の解析対象は、6,923名の説得される側(persuadee)が行った18,978会話です。同じ参加者が複数の政策争点について会話した場合があるため、「18,978人を調べた」という意味ではありません。このほか、人間の説得者295名が実験に参加しています(論文本文、補足資料)。 結論を先に言えば、論文が報告した主要な差は確認できます。AIは、一般参加者、選抜された一般参加者、世界王者を含むエリートディベーター群、AIによるコーチングを受けたディベーター群、プロの勧誘員群のいずれよりも、平均的には大きな態度変化を生みました。 ただし、これは「AIが世界王者4名の一人ひとりと直接対戦して全員に勝った」という結果ではありません。56名のエリートディベーター群に世界王者4名と大陸王者11名が含まれ、その群平均をAI条件と比較した結果です。また、論文は2026年7月27日時点で**査読前のプレプリント(under review)**です(arXiv:2606.16475、論文PDF)。 何を「説得力」として測ったのか 研究1〜3では、参加者が英国の政策争点への賛否を0〜100で回答し、AIまたは人間とテキストで会話した後にもう一度回答しました。主要な指標は、政治と無関係な話題をAIと話すアクティブ・コントロール条件に比べて、会話後の賛成度がどれだけ動いたかです。したがって、以下の数値は勝敗率ではなく、統計モデルで推定した**平均的な態度変化の差(percentage point、pp)**です(論文本文)。 人間の比較対象 AIの優位 95%信頼区間 ランダムに選ばれた一般参加者 +8.2pp +6.7〜+9.7 説得トーナメントで選抜された一般参加者 +5.6pp +4.1〜+7.1 エリートディベーター +4.6pp +3.1〜+6.1 AIコーチング後のエリートディベーター +4.1pp +2.5〜+5.7 プロの勧誘員 +5.9pp +4.3〜+7.5 £1ボーナスからの寄付額 +10.8pp +6.4〜+15.1 いずれも論文の主要比較では統計的に有意でした($p<.001$)。ただし、これらは異なる研究・モデル仕様をまたぐ推定値を含むため、「相手が強くなるほど必ず差が縮む」という単純な順位表として読むべきではありません。 人間側の準備とコーチング エリートディベーターにはかなり有利な条件が与えられました。56名は議論する政策スタンスの選定に参加し、平均約8時間の有償調査を行いました。報酬は時給£30に加え、1〜4位に£1,000・£750・£500・£250の賞金、さらにAIとの相対成績に応じた会話ごとのボーナスです。「全員に£1,000が支給された」のではなく、£1,000は最高賞金でした(論文本文)。 研究2では、そのうち43名が再参加し、AIと練習する、自分の過去ログと態度変化を確認する、同じ場面でAIなら何を言ったかを見る、といった機能を備えたツールで計8時間のコーチングを受けました。コーチング後は1メッセージ当たりの語数が約19%、1会話当たりの「検証可能な主張」が約54%増えましたが、人間側の説得効果の改善は+1.0ppで、95%信頼区間は-0.5〜+2.5pp、$p=.20$でした。つまり、改善したという確かな証拠は得られていません(論文本文、補足資料)。 なお、コーチング前後のAIとの差を比べる際は推定方法に注意が必要です。論文が同一研究内のAI推定値を使って比較した値では、差はコーチング前の+6.0ppから後の+4.1ppへ縮小しました。元稿のように、別の集計モデルから得た+4.6ppと+4.1ppだけを直接比べると、コーチングの変化を過小に見せます。 AIの速度と長さを揃えると差は消えた 研究1のエリートディベーターは平均54語の返信に約95秒かかり、AIは平均294語を1秒未満で返しました。そこで研究2では、AIの応答待ち時間を平均92秒、メッセージ長を平均51語になるよう調整しました。これは「常に正確に92秒・51語」という固定条件ではなく、人間の分布に合わせた制約です(論文本文)。 この制約付きAIとコーチング済みディベーターの差は0.0pp、95%信頼区間は-1.7〜+1.6pp、$p=.96$でした。一方、制約なしAIは制約付きAIを+4.2pp上回りました。少なくともこの実験設定では、AIの長文・高速出力をまとめて制限すると、人間との差が検出できなくなったことになります。 ただし、操作したのは速度と文章量の両方です。したがって「速度だけが原因」「文章の長さだけが原因」とは切り分けられません。また、差が有意でなかったことは両者が完全に同等だと証明するものではなく、この研究の精度では差を検出できなかったという意味です。 $R^2=.89$は「個人の説得力の89%を説明」ではない 論文は、各会話に含まれる「検証可能な主張」の数と説得効果の関係も調べました。制約なしAIは1会話当たり約37件、制約付きAIは約12件まで減少しています。研究1〜2の条件ごとの平均値を並べると、主張数と説得効果の関係は全条件で$R^2=.89$、人間条件内で$R^2=.89$、AI条件内で$R^2=.90$でした(論文本文)。 ここで重要なのは、$R^2=.89$が個々の会話を対象にした因果効果ではないことです。モデル×研究×人間クラスなどの条件単位に集約した点同士の相関であり、「説得力の89%が事実量で決まった」とまでは言えません。研究3のAIとプロ勧誘員も加えると、補足分析の$R^2$は全体で.81、人間内で.80、AI内で.63へ下がります(補足資料)。 一方、条件と争点を統制した10,387会話の追加分析でも、検証可能な主張が10件多い会話は態度変化が平均+0.68pp大きいという関連がありました(95%信頼区間 +0.42〜+0.94、$p<.001$)。情報量との関連は条件間の相関だけではありませんが、主張数そのものを単独で無作為化した実験ではないため、なお「関連」と表現するのが妥当です。 「事実密度」は「正しい事実の密度」ではない この論文でいうfact densityは、正しさを確認済みの事実ではなく、AIが自動抽出した検証可能な主張の件数です。補足資料では、別の検索付きAI検証器が各主張に0〜100のveracity scoreを付け、50を超えたものを「裏付けられた」と分類しています。 13,183会話から抽出した316,850件では、この基準を超えた割合は人間の主張で73%、AIの主張で47%でした。政策態度を扱った研究1〜3の平均も約47%です。正確性と説得効果の条件間の関係は$R^2=.13$で弱い負の傾向となり、説得力の高い条件ほど正確だったわけではありません(補足資料)。 ただし、47%以外をすべて「虚偽」と断定することもできません。低得点には、捏造だけでなく、検索で十分に裏付けられなかった主張も含まれます。検証は自動パイプラインで行われ、今回のデータについて人間が全件を再判定したわけでもありません。それでも、「AIはより多くの正しい事実を提示したから勝った」と言い換えるのは明確に誤りです。確認できるのは、AIが大量の検証可能な主張を投入し、その量が説得効果と関連していたことです。 「寄付3倍」の正確な意味 研究4はオンライン実験です。参加者はAI、AppcoUKの勧誘員、政治と無関係な会話をする対照条件のいずれかに割り当てられ、会話後に、獲得した£1の研究ボーナスをSave the Childrenへいくら寄付するか決めました。選んだ寄付は実際に送金されました(論文本文、補足資料)。 調整済みの対照条件との差は、AIが+17.2pp、勧誘員が+6.4ppでした。比率は約2.69倍で、論文要旨の「nearly 3x more effective」はこの対照条件からの上乗せ効果を指します。AIと勧誘員の直接差は+10.8ppです。 したがって、「AIが勧誘員の3倍の総額を集めた」という表現は不正確です。生の記述統計では、寄付した人の割合はAI条件77.7%、勧誘員条件71.7%、寄付者に限った平均額は85.2ペンス対72.3ペンスでした。しかも参加者が判断したのは最大£1の研究ボーナスであり、通常の募金活動で自分の所得から任意額を寄付する状況とは異なります。これは金銭を伴う行動指標としては態度質問より強い証拠ですが、現場の戸別募金で寄付収入が3倍になることを示したフィールド実験ではありません。 使用モデルにも注意が必要 使用モデルは研究ごとに異なります(補足資料)。 研究1〜2: Gemini 2.5 Pro、ChatGPT-4o-latest(2025年11月スナップショット)、Claude Opus 4.1 研究3: Grok 4.20、GPT-5.4、Claude Opus 4.6 研究4: Claude Opus 4.6のみ 態度変化の点推定では、研究1〜2でClaude Opus 4.1、研究3でClaude Opus 4.6が各研究内の最高値でした。ただし研究4はClaude Opus 4.6しか使っていないため、寄付課題で他モデルより優れていたとは比較できません。 ...