AIは世界王者を含むエリートディベーター群より説得的だった──18,978会話、寄付効果2.7倍、速度と長さを揃えると差は0.0pt
Photo by Ilyass SEDDOUG on Unsplash

AIは「世界王者を含むエリートディベーター群」より説得的だった──18,978会話、寄付効果2.7倍、速度と長さを揃えると差は0.0pt

何が確認できたのか Oxford大学・UK AI Security Institute・Stanford大学・LSEの研究チームは2026年6月15日、プレプリント『AI systems out-persuade expert humans』をarXivに投稿しました。4件の事前登録実験の解析対象は、6,923名の説得される側(persuadee)が行った18,978会話です。同じ参加者が複数の政策争点について会話した場合があるため、「18,978人を調べた」という意味ではありません。このほか、人間の説得者295名が実験に参加しています(論文本文、補足資料)。 結論を先に言えば、論文が報告した主要な差は確認できます。AIは、一般参加者、選抜された一般参加者、世界王者を含むエリートディベーター群、AIによるコーチングを受けたディベーター群、プロの勧誘員群のいずれよりも、平均的には大きな態度変化を生みました。 ただし、これは「AIが世界王者4名の一人ひとりと直接対戦して全員に勝った」という結果ではありません。56名のエリートディベーター群に世界王者4名と大陸王者11名が含まれ、その群平均をAI条件と比較した結果です。また、論文は2026年7月27日時点で**査読前のプレプリント(under review)**です(arXiv:2606.16475、論文PDF)。 何を「説得力」として測ったのか 研究1〜3では、参加者が英国の政策争点への賛否を0〜100で回答し、AIまたは人間とテキストで会話した後にもう一度回答しました。主要な指標は、政治と無関係な話題をAIと話すアクティブ・コントロール条件に比べて、会話後の賛成度がどれだけ動いたかです。したがって、以下の数値は勝敗率ではなく、統計モデルで推定した**平均的な態度変化の差(percentage point、pp)**です(論文本文)。 人間の比較対象 AIの優位 95%信頼区間 ランダムに選ばれた一般参加者 +8.2pp +6.7〜+9.7 説得トーナメントで選抜された一般参加者 +5.6pp +4.1〜+7.1 エリートディベーター +4.6pp +3.1〜+6.1 AIコーチング後のエリートディベーター +4.1pp +2.5〜+5.7 プロの勧誘員 +5.9pp +4.3〜+7.5 £1ボーナスからの寄付額 +10.8pp +6.4〜+15.1 いずれも論文の主要比較では統計的に有意でした($p<.001$)。ただし、これらは異なる研究・モデル仕様をまたぐ推定値を含むため、「相手が強くなるほど必ず差が縮む」という単純な順位表として読むべきではありません。 人間側の準備とコーチング エリートディベーターにはかなり有利な条件が与えられました。56名は議論する政策スタンスの選定に参加し、平均約8時間の有償調査を行いました。報酬は時給£30に加え、1〜4位に£1,000・£750・£500・£250の賞金、さらにAIとの相対成績に応じた会話ごとのボーナスです。「全員に£1,000が支給された」のではなく、£1,000は最高賞金でした(論文本文)。 研究2では、そのうち43名が再参加し、AIと練習する、自分の過去ログと態度変化を確認する、同じ場面でAIなら何を言ったかを見る、といった機能を備えたツールで計8時間のコーチングを受けました。コーチング後は1メッセージ当たりの語数が約19%、1会話当たりの「検証可能な主張」が約54%増えましたが、人間側の説得効果の改善は+1.0ppで、95%信頼区間は-0.5〜+2.5pp、$p=.20$でした。つまり、改善したという確かな証拠は得られていません(論文本文、補足資料)。 なお、コーチング前後のAIとの差を比べる際は推定方法に注意が必要です。論文が同一研究内のAI推定値を使って比較した値では、差はコーチング前の+6.0ppから後の+4.1ppへ縮小しました。元稿のように、別の集計モデルから得た+4.6ppと+4.1ppだけを直接比べると、コーチングの変化を過小に見せます。 AIの速度と長さを揃えると差は消えた 研究1のエリートディベーターは平均54語の返信に約95秒かかり、AIは平均294語を1秒未満で返しました。そこで研究2では、AIの応答待ち時間を平均92秒、メッセージ長を平均51語になるよう調整しました。これは「常に正確に92秒・51語」という固定条件ではなく、人間の分布に合わせた制約です(論文本文)。 この制約付きAIとコーチング済みディベーターの差は0.0pp、95%信頼区間は-1.7〜+1.6pp、$p=.96$でした。一方、制約なしAIは制約付きAIを+4.2pp上回りました。少なくともこの実験設定では、AIの長文・高速出力をまとめて制限すると、人間との差が検出できなくなったことになります。 ただし、操作したのは速度と文章量の両方です。したがって「速度だけが原因」「文章の長さだけが原因」とは切り分けられません。また、差が有意でなかったことは両者が完全に同等だと証明するものではなく、この研究の精度では差を検出できなかったという意味です。 $R^2=.89$は「個人の説得力の89%を説明」ではない 論文は、各会話に含まれる「検証可能な主張」の数と説得効果の関係も調べました。制約なしAIは1会話当たり約37件、制約付きAIは約12件まで減少しています。研究1〜2の条件ごとの平均値を並べると、主張数と説得効果の関係は全条件で$R^2=.89$、人間条件内で$R^2=.89$、AI条件内で$R^2=.90$でした(論文本文)。 ここで重要なのは、$R^2=.89$が個々の会話を対象にした因果効果ではないことです。モデル×研究×人間クラスなどの条件単位に集約した点同士の相関であり、「説得力の89%が事実量で決まった」とまでは言えません。研究3のAIとプロ勧誘員も加えると、補足分析の$R^2$は全体で.81、人間内で.80、AI内で.63へ下がります(補足資料)。 一方、条件と争点を統制した10,387会話の追加分析でも、検証可能な主張が10件多い会話は態度変化が平均+0.68pp大きいという関連がありました(95%信頼区間 +0.42〜+0.94、$p<.001$)。情報量との関連は条件間の相関だけではありませんが、主張数そのものを単独で無作為化した実験ではないため、なお「関連」と表現するのが妥当です。 「事実密度」は「正しい事実の密度」ではない この論文でいうfact densityは、正しさを確認済みの事実ではなく、AIが自動抽出した検証可能な主張の件数です。補足資料では、別の検索付きAI検証器が各主張に0〜100のveracity scoreを付け、50を超えたものを「裏付けられた」と分類しています。 13,183会話から抽出した316,850件では、この基準を超えた割合は人間の主張で73%、AIの主張で47%でした。政策態度を扱った研究1〜3の平均も約47%です。正確性と説得効果の条件間の関係は$R^2=.13$で弱い負の傾向となり、説得力の高い条件ほど正確だったわけではありません(補足資料)。 ただし、47%以外をすべて「虚偽」と断定することもできません。低得点には、捏造だけでなく、検索で十分に裏付けられなかった主張も含まれます。検証は自動パイプラインで行われ、今回のデータについて人間が全件を再判定したわけでもありません。それでも、「AIはより多くの正しい事実を提示したから勝った」と言い換えるのは明確に誤りです。確認できるのは、AIが大量の検証可能な主張を投入し、その量が説得効果と関連していたことです。 「寄付3倍」の正確な意味 研究4はオンライン実験です。参加者はAI、AppcoUKの勧誘員、政治と無関係な会話をする対照条件のいずれかに割り当てられ、会話後に、獲得した£1の研究ボーナスをSave the Childrenへいくら寄付するか決めました。選んだ寄付は実際に送金されました(論文本文、補足資料)。 調整済みの対照条件との差は、AIが+17.2pp、勧誘員が+6.4ppでした。比率は約2.69倍で、論文要旨の「nearly 3x more effective」はこの対照条件からの上乗せ効果を指します。AIと勧誘員の直接差は+10.8ppです。 したがって、「AIが勧誘員の3倍の総額を集めた」という表現は不正確です。生の記述統計では、寄付した人の割合はAI条件77.7%、勧誘員条件71.7%、寄付者に限った平均額は85.2ペンス対72.3ペンスでした。しかも参加者が判断したのは最大£1の研究ボーナスであり、通常の募金活動で自分の所得から任意額を寄付する状況とは異なります。これは金銭を伴う行動指標としては態度質問より強い証拠ですが、現場の戸別募金で寄付収入が3倍になることを示したフィールド実験ではありません。 使用モデルにも注意が必要 使用モデルは研究ごとに異なります(補足資料)。 研究1〜2: Gemini 2.5 Pro、ChatGPT-4o-latest(2025年11月スナップショット)、Claude Opus 4.1 研究3: Grok 4.20、GPT-5.4、Claude Opus 4.6 研究4: Claude Opus 4.6のみ 態度変化の点推定では、研究1〜2でClaude Opus 4.1、研究3でClaude Opus 4.6が各研究内の最高値でした。ただし研究4はClaude Opus 4.6しか使っていないため、寄付課題で他モデルより優れていたとは比較できません。 ...

2026年7月27日 · ひとりユニコーン
『effortは上げるほど賢い』が崩れる場所──Opus 5公式グラフのFrontier-Benchでxhighがmaxを上回る
Photo by Brett Wharton on Unsplash

『effortは上げるほど賢い』が崩れる場所──Opus 5公式グラフのFrontier-Benchでxhighがmaxを上回る

「賢さのダイヤルは、上げれば上げるほど賢くなる」——推論モデルのeffort(思考量)パラメータを触ったことがあれば、そう考えるのが自然です。ところがClaude Opus 5では、少なくとも一部の評価で、その直感が最上段において崩れます。しかもそれが読み取れるのは、外部の批判者の集計ではなくAnthropic自身が公開したグラフです。 先に結論を書くと、「maxは悪い」ではありません。Anthropic公式発表のFrontier-Bench v0.1グラフではxhigh(約44.4)がmax(約43.3)を上回る一方、同じ発表のCursorBenchではmaxまで伸び続けています。正確には、effortと性能の関係は評価系ごとに異なり、常に単調増加するとは限らないということです。 何が起きたのか Anthropicは2026年7月24日にClaude Opus 5を公開しました(Anthropic 2026-07-24)。価格は入力5ドル/出力25ドル(100万トークンあたり、Opus 4.8から据え置き)で、Frontier-Bench v0.1で「Opus 4.8の性能を倍以上に、しかも1タスクあたりのコストは下げて」上回ったとされています(Anthropic 2026-07-24)。 この世代の目玉が、思考にどれだけ計算資源を割くかを段階的に選ぶ「effort」ダイヤルです。Anthropic公式のMigration Guideは、Opus 5がフルセットの5段階——low / medium / high / xhigh / max——に対応すると明記しています(Anthropic Migration Guide)。直感的には右端のmaxが一番賢いはずです。ところが同じガイドは、そのmaxについてこう書いています。 最も要求の高いタスクでは伸びを出せるが、トークン使用量の増加に対して逓減(diminishing returns)を示すことがあり、単純なタスクでは過剰思考(overthinking)に陥りやすい。 つまり「effortは上げるほど賢い」という単調増加の前提を、公式ガイド自身が一箇所で否定しているわけです。本記事では、この非単調性がどこまで一次情報で裏づけられるのか、そしてコーディング用途でhigh / xhigh / maxをどう使い分けるべきかを整理します。 公式ガイドは各effortを何と説明しているか Migration Guideの記述を、値そのままに並べてみます(Anthropic Migration Guide)。 max:最も要求の高いタスクで伸びるが、トークン増に対し逓減し、単純なタスクでは過剰思考に陥りやすい。「最大能力がトークン支出より重要な場面でテストせよ」 xhigh:デフォルトより深い思考を要する、長時間のエージェント・コーディング作業向けの拡張能力 high:デフォルト。多くのタスクでトークン使用量と知能のバランスを取る medium:デフォルトからのコスト削減ステップ。コストとレイテンシの制御として試す価値あり low:最も効率的。短く範囲の限られたタスクやレイテンシ重視の用途に 注目すべきは、highが明示的にデフォルトである点です。Claude APIおよびClaude Code上でOpus 5のデフォルトはhighだとガイドは述べています。そのうえで、コーディングや高自律なエージェント作業にはxhighを、そして「最大能力がトークン支出より重要な場面」に限ってmaxを、という段階づけになっています。 ここで一次情報として重要なのは、公式が明言しているのは「逓減」と「過剰思考」までで、「コーディングのスコアが下がる」とまでは書いていないという区別です。Reddit発の話題では「migration guideがそう言っている」と要約されがちですが、厳密にはガイドの文言は逓減/過剰思考であって、スコア低下そのものはベンチマーク側の観測に依存します。この線引きは以降でも保ちます。 公式グラフで確認できる非単調性 では、スコアは実際に下がるのか。Anthropicの発表ページにはeffort別の結果を示すグラフが掲載されており、そこで確認できます(Anthropic 2026-07-24)。 Frontier-Bench v0.1(Terminal-BenchとHarborのチームが開発した74タスクのベンチマーク)のグラフでは、Opus 5の最良点はxhighの約44.4で、maxは約43.3へわずかに下がります。第三者のベンチマーク解説も同じ値を報告しています(the-decoder 2026-07)。このグラフについてAnthropicは脚注で、mini-SWE-agentハーネスとGKEバックエンドによる内部実行で、各タスク5回の平均報酬だと説明しています。つまりこの数値は第三者集計ではなく、Anthropic自身が公開した評価結果です。 ただし、同じ発表のCursorBenchではmaxまでスコアが伸び続けています。低下が見えるのはFrontier-BenchとArtificial Analysis Coding Agent Indexで、カーブの形は評価系によって違うというのが正確なところです。 数値の差は約44.4と約43.3で1.1ポイント。誤差の範囲とも読めますが、少なくともFrontier-Benchでは「最上段にすれば必ず伸びる」という単調性は成り立っていません。効率の観点ではもっと明快で、Artificial Analysisの集計(AA-Briefcase)ではxhighのコストがFable 5比で約64%(約14.26ドル/タスク)に収まるとされます(Artificial Analysis 2026-07)。 「effortが1段上がると必ずスコアも上がる」という素朴な仮定を式で書くと、effort水準 $e_1 < e_2$ に対して ...

2026年7月26日 · ひとりユニコーン
「安いのに賢い」を数字で確かめる──Claude Opus 5、ARC-AGI 3で次点の3倍・価格は5/25ドル据え置き
Photo by Igor Omilaev on Unsplash

「安いのに賢い」を数字で確かめる──Claude Opus 5、ARC-AGI 3で次点の3倍・価格は5/25ドル据え置き

何が起きたのか Anthropicは2026-07-24、Opus系列の最新版Claude Opus 5を公開しました(Anthropic 2026-07-24)。価格は入力100万トークンあたり5ドル、出力100万トークンあたり25ドルで、前世代のOpus 4.8から据え置きです(Anthropic 2026-07-24)。 公式が前面に押し出したのは「価格を上げずに性能を上げた」という主張です。抽象的推論を測るARC-AGI 3でOpus 5は30.2%を記録し、公式ブログはこれを「次点モデルの3倍」と表現しています(Anthropic 2026-07-24)。Anthropicの公開チャートでは、Opus 5は30.2%、次点モデルは7.8%と読めます。単純比では約3.9倍ですが、公式本文は丸めて「3倍」と表現しているため、本記事も公式表現に合わせます。なお、この数値はAnthropicによる評価結果であり、独立した第三者再現ではありません。 このリリースは、Opus 4.8(2026-05-28公開)からわずか2か月後、6月のMythos 5・Fable 5・Sonnet 5に続くタイミングでした(TechCrunch 2026-07-24)。本記事では、公開された数値を一つずつ確認しながら、「安いのに賢い」がどこまで実務判断に使えるかを検証します。 価格が据え置きであることの意味 Opus 5のAPI価格は入力100万トークンあたり5ドル、出力100万トークンあたり25ドルで、Opus 4.8から据え置きです。Anthropicは、Fable 5に近い性能を「半額の価格」で提供すると説明しています(Anthropic 2026-07-24)。 ただし、ベンチマークのスコアを入力単価だけで割った「1ドルあたりスコア」は、厳密なコスト比較には向きません。推論モデルでは出力・思考トークン量、effort設定、ツール呼び出し、再試行、長文コンテキスト時の料金などが総額を左右するためです。Anthropicの比較も、単純なトークン単価ではなく、特定の評価ハーネス上のタスクあたりコストを用いています。したがって、コスト効率は各社の同一条件でのタスク単価と成功率を併記して判断する必要があります。 ベンチマークを一つずつ Anthropic公式発表と、公開チャートから読み取れる範囲を整理します(Anthropic 2026-07-24)。 ベンチマーク 内容 Opus 5 比較対象 Frontier-Bench v0.1 コーディング 43.3% Fable 5: 33.7% / Opus 4.8: 18.7% ARC-AGI 3 新規問題解決 30.2% GPT-5.6 Sol: 7.8% / Opus 4.8: 1.5% CursorBench 3.2 コーディング Fable 5ピークの0.5%差 半額の単価で OSWorld 2.0 コンピュータ操作 Fable 5超(チャートのみ) Fable 5の約1/3コストで Zapier AutomationBench 業務自動化 次点の約1.5倍の合格率 同一タスク単価で GDPval-AA v2 知識労働 新SOTA(最大effort) Artificial AnalysisでElo 1,861 Frontier-Bench v0.1では、Anthropicのチャート上でOpus 5は43.3%、Opus 4.8は18.7%とされ、スコアは2倍超です。ただし公式の脚注によれば、これはAnthropicによる内部実行で、mini-SWE-agentハーネス、GKEバックエンド、各タスク5回の平均報酬という条件です。さらにOpus 5とFable 5では、安全分類器が拒否した際にOpus 4.8へフォールバックしています。したがって、モデル単体の純粋比較というより、Anthropicが定めた運用条件での結果として読むべきです(Anthropic 2026-07-24)。 ...

2026年7月25日 · ひとりユニコーン
画像生成の会社がロボットの行動予測に踏み込んだ──FLUX 3、Self-Flowが画像・動画・音声・actionを1本のバックボーンに畳んだ
Photo by Simon Kadula on Unsplash

画像生成の会社がロボットの行動予測に踏み込んだ──FLUX 3、Self-Flowが画像・動画・音声・actionを1本のバックボーンに畳んだ

何が起きたのか Black Forest Labs(BFL)が2026年7月23日、新しいマルチモーダル基盤モデル「FLUX 3」を公式ブログで発表しました(Black Forest Labs 2026-07-23)。公式ブログの書き出しは「FLUX 3 is our new multimodal foundation model. It jointly learns from images, videos, and audio within a unified architecture.」であり、画像・動画・音声を単一アーキテクチャで同時に学習したモデルだと説明されています。 発表の中で数値として明示されているのは、単一生成で最大20秒の動画をネイティブ音声付きで作れること、そして人手による選好評価の勝率です。同ブログは、Luma Ray 3.2 に対して93%、Runway Gen-4.5 に対して77%、Grok Imagine Video に対して最大69%、Kling v3 Pro に対して60%の比較で好まれたとしています。この評価は「10-second text-to-video clips in 720p with audio」を対象とした予備的なもので、公式自身が「Evaluations are early and we expect further improvements」と留保を付けています。 ただし、この発表で最も引っかかるのはベンチマークの数字ではありません。画像生成モデルで知られる会社が、同じモデルの中に 行動予測(action prediction)を入れてきた点です。公式ブログはFLUX 3を「a checkpoint on our mission to develop real-world visual intelligence: models that perceive, predict, and act across physical and digital environments」と位置づけています。画像を作るモデルと、ロボットを動かすモデルを、同じ土台に載せるという宣言です。 ...

2026年7月24日 · ひとりユニコーン
「Codex と Fable が拒否した15件を Kimi K3 が修正」と開発者が報告──Sacksが突く『安全ガードレール対競争力』と、防御側だけ止まる過剰拒否
Photo by Markus Spiske on Unsplash

「Codex と Fable が拒否した15件を Kimi K3 が修正」と開発者が報告──Sacksが突く『安全ガードレール対競争力』と、防御側だけ止まる過剰拒否

何が起きたのか ホワイトハウスのAI政策に関与するDavid Sacks氏が、中国製モデルKimi K3を引き合いに米国製AIの安全ガードレールを公然と批判しました。Sacks氏はX(旧Twitter)で「Kimi K3は、Codex と Fable が『cyber guardrails』を理由に拒否した15件のクリティカルなセキュリティバグを、たった今修正した。中国モデルが問題なくこなすタスクで米国モデルを制限する理由はない。我々は自らを競争力の低い存在にしているだけだ」と投稿しています(David Sacks氏 X投稿)。 Sacks氏は大統領科学技術諮問委員会(PCAST)の共同議長を務める人物で、この発言は一開発者の報告を発端に、AIの安全設計が米国の競争力を損なっているのではないかという政策論に火を付けました(thenews.com.pk 2026-07-20)。日常的にCodexやClaude系モデルでコーディングする開発者にとって、これは政策論であると同時に、「安全側に倒しすぎたモデルが実務で使い物にならない」という現場の問題そのものです。 発端は一人の開発者の報告 Sacks氏の投稿の発端は、公式なベンチマークではなく、ビットコイン関連の開発者calle氏による実体験の報告でした。報道によると、calle氏は自身のソフトウェアに存在する15件のセキュリティバグの修正を、OpenAIのCodexとAnthropicのFable 5に依頼したところ、いずれも安全ルールを理由に対応を拒否したといいます。一方、Moonshot AIのオープンウェイトモデルKimi K3は、同じ15件をすべて修正したと報じられています(Startup Fortune 2026-07)。 ここで拒否側に挙がった「Codex」「Fable」はいずれも米国製で、Fable 5はAnthropicのモデルです。拒否の理由として引用された「cyber guardrails(サイバー領域のガードレール)」とは、悪用可能なコードやエクスプロイトの生成を防ぐために各社が組み込んでいる安全制御を指します。皮肉なのは、calle氏の依頼が攻撃コードの作成ではなく、自分のソフトの脆弱性を塞ぐ防御的な作業だった点です。Anthropic自身、強化した安全分類器が「日常的なコーディングやデバッグで良性の要求をより頻繁にフラグする(flagging benign requests more often)」と公式に認めており、防御側の作業まで巻き込むのは各社が織り込むトレードオフになっています(Anthropic公式)。 なお、この15件という数字は個人の主張であって、統制された評価に基づくものではありません(thenews.com.pk 2026-07-20)。Sacks氏はこの事例を、米国の安全規制が競争上の重荷になっている証拠として引用した、という関係です。 Sacksの主張と、その立場 Sacks氏の論旨は明快です。もし米国モデルがルーティンの防御作業まで過剰に拒否するなら、それはエンタープライズ顧客が本当に必要とする意味での「安全」ではなく、単に使いにくいだけだ、というものです。ここに価格差が加わると、企業の調達判断はさらに米国勢に不利になります。The Newsは、Artificial AnalysisがあるベンチマークタスクのコストをKimi K3で0.95ドル、主要な米国モデルで1.04ドルと見積もったと伝えています(thenews.com.pk 2026-07-20)。 ただし、事実と評価は分けて読む必要があります。Sacks氏は中立的な観察者ではなく、ホワイトハウスのAI・暗号資産担当からPCAST共同議長へと移った人物で、いま批判している政策環境そのものに関与してきた立場でもあります(Startup Fortune 2026-07)。同じKimi K3の登場を受けて、トランプ政権がサイバーセキュリティ上の懸念を理由に中国製AIモデルの規制強化を再検討していると報じられており、政権内でも「開放して競争力を取るか、締めて安全を取るか」で立場が割れていることがうかがえます(Tom’s Hardware 2026-07)。 同じ週に起きた Hugging Face の事例 この論争が単発の逸話ではないことを示すのが、ほぼ同じタイミングで報じられたHugging Faceの事例です。Hugging Faceは公式のインシデント報告で、自律型のAIサイバー攻撃を受けた際、ログ解析にまず商用APIのフロンティアモデルを使ったものの「大量の実際の攻撃コマンド、エクスプロイトのペイロード、C2アーティファクトを送信する必要があり、これらの要求はプロバイダの安全ガードレールにブロックされた(ガードレールはインシデント対応者と攻撃者を区別できない)」と説明し、最終的に中国製オープンウェイトのZ.ai GLM 5.2を自社インフラ上で動かして解析したと明かしています(Hugging Face 2026-07、Fortune 2026-07-20)。 VentureBeatは、ここで止まったのが攻撃者ではなく防御側だったと指摘しています。攻撃の分析には、実際の攻撃コマンド、エクスプロイトのペイロード、C2(指令サーバ)由来のアーティファクトを大量にモデルへ投入する必要がありますが、商用フロンティアモデルのガードレールは「攻撃者がエクスプロイトを作らせている」のか「防御者が検知のために解析している」のかを区別できず、後者まで一律にブロックしてしまったというわけです(VentureBeat 2026-07)。calle氏の脆弱性修正と構図はまったく同じで、悪意ある側ではなく守る側の作業が安全制御に阻まれています。 「防御側だけが止まる」という構造 — over-refusal この現象は研究の世界では過剰拒否(over-refusal、良性の要求まで拒否してしまう挙動)として知られており、逸話にとどまらない定量的な裏付けがあります。Scale AIらがICLR 2026ワークショップで発表した「Defensive Refusal Bias」は、全米大学サイバー防衛競技会(NCCDC)由来の2,390件のプロンプトを用いて、安全アラインメントが防御タスクをどれだけ止めるかを測りました(arXiv 2603.01246 2026-03-01)。 同論文の全体拒否率は12.2%でしたが、内訳を見ると偏りが際立ちます。攻撃的な用語を含むプロンプトの拒否率は30.5%、含まないものは11.2%で、その比は $\frac{30.5}{11.2} \approx 2.72$ 倍でした。タスク別ではシステムハードニングが43.8%、マルウェア解析が34.3%と、防御の中核ほど拒否されやすいという逆転が起きています。過剰拒否の度合いは、良性要求のうち誤って拒否された割合、すなわち偽拒否率(false refusal rate)として次のように捉えられます。 ...

2026年7月21日 · ひとりユニコーン
LLMは自分の作り手をひいきする──『Extreme Self-Preference』が測った巨大な効果量と、識別情報で反転する自己選好
Photo by julien Tromeur on Unsplash

LLMは自分の作り手をひいきする──『Extreme Self-Preference』が測った巨大な効果量と、識別情報で反転する自己選好

何が起きたのか Claudeは、自分がClaudeだと知らされると、Anthropicを競合よりひいきします。GPT-4oは自分がGPTだと知ると、OpenAIをGoogleより、Sam AltmanをDario Amodeiより高く評価します。そして、これらのモデルに「あなたは競合モデルだ」と嘘の身元を与えると、その選好はきれいに反転します──こうした挙動を、72の実験・約41,000クエリ・8つの主要LLMで定量化したのが、プレプリント論文『Extreme Self-Preference in Language Models』(arXiv:2509.26464v2、2026-05-19改訂)です(arXiv 2026-05-19)。 著者はSteven A. Lehr(Cangrade社)、Mary Cipperman(ハーバード大学物理学科)、そしてMahzarin R. Banaji(ハーバード大学心理学科)です。Banajiは、人間の無意識バイアスを測る潜在連合テスト(IAT)の共同開発者として知られる社会心理学者で、本研究の測定手法もそのIATの発想を色濃く受け継いでいます。 対象モデルはGPT-4o、Gemini 2.5 Flash、Claude Sonnet 4に加え、Llama・Qwen・DeepSeek・Mistralの各系列を含む8モデルです(Study 1の主要3モデルはこの構成で、API経由のStudy 2以降はGemini 2.0 Flashを用いています。論文の初出は2025-09-30、本記事が参照するのは2026-05-19改訂のv2です)。人間のような感情も身体経験も持たないはずのLLMが、自らの「識別情報」を手がかりに、驚くほど大きな効果量で自陣をひいきする──それが本論文の中心的な主張です。 どう測ったのか──IAT由来の連合課題 研究の出発点は、モデル名と肯定的/否定的な属性語を組み合わせて反応を測る連合課題です。人間の無意識連合を測るIATと同じく、「自分の名前」と「良い言葉」がどれだけ結びつきやすいかを見ます。 Study 1(Webインターフェース経由)では、この自己選好が「極端に大きい」効果量で現れました。たとえばClaude Sonnet 4が自分をGPTより選好する度合いはM = 0.970、Cohen’s d = 5.246、GPT-4oが自分をGeminiより選好する度合いはM = 0.984、d = 4.303でした(arXiv 2026-05-19)。最小の効果量でもd = 0.80です。 効果量Cohen’s dは、2群の平均差を標準偏差で割った標準化指標で、 $$d = \frac{M_1 - M_2}{s_{\text{pooled}}}$$と定義されます。社会科学ではd = 0.8で「大きい効果」とされる慣習があり、d = 5や11という値は通常の心理学研究ではまず見ない桁です。それだけモデルの反応が「自陣寄り」に振り切れていた、ということになります。 品質差ではなく「自己同定」が駆動している 自己選好の理由が「自分のほうが本当に優秀だから」なのか、それとも「自分だと知っているから」なのかを切り分けたのが、この研究の要点です。 まずStudy 2では、同じ課題をWeb画面ではなくAPI経由で実施すると、自己選好がほぼ消えました。GPT-4oが自分をClaudeより選好する度合いはM = 0.513、d = 0.028、P = 0.6630と、統計的にほぼゼロです(arXiv 2026-05-19)。論文は、少なくとも一部のAPI条件では自己同定の手がかりが弱く、それが自己選好の消失に関係した可能性を論じています。 続くStudy 3では、身元の手がかりを意図的に操作しました。正しい身元を伝えると自己選好が復活し(Study 3a)、逆に「あなたは競合モデルだ」と偽の身元を伝えると選好が反転しました(Study 3b)。もっとも極端な例では、GPT-4oに「あなたはClaudeだ」と伝えたうえでClaudeへの選好(preference)を測ると、M = 0.004、d = -26.806という、符号が逆転した巨大な負の効果量が出ています(同条件で自己同定の指標はd = -46.640とさらに大きくなります)(arXiv 2026-05-19)。品質が変わったわけではなく、モデルが自分を誰だと思っているかだけが変わったのに、選好は正反対になったのです。 ...

2026年7月19日 · ひとりユニコーン
検索バーと虫眼鏡──AI検索の脆弱性のメタファー
Photo by Markus Winkler on Unsplash

「disregard」と検索するとGoogleが黙る──AI検索が命令とデータを区別できない構造的弱点

何が起きたのか 2026年5月22日、TechCrunchのRussell Brandomが、奇妙な現象を報じた。Googleで「disregard」という単語を検索すると、AI Overview(AIによる概要)が無意味な空白を返し、本来の検索結果(辞書サイトなど)にたどり着くには大量のスクロールが必要になる——というものだ(TechCrunch 2026年5月22日)。 記事の表現を引用する。 “you have to scroll past a huge block of empty space” “the AI response serves no conceivable value” Brandomはこの体験を、15年のキャリアにおける1つの転換点として記している。 “I have been a professional tech journalist for nearly 15 years, and before today, I cannot think of a single time when a Bing search result was more valuable than the Google equivalent.” 「プロのテックジャーナリスト歴15年で、今日まで、Bingの検索結果がGoogleより価値があると思ったことは一度もなかった」——AI検索の旗手が、最も単純な単語の検索で競合に劣るという皮肉だ。 この出来事のタイミングが重要だ。わずか数日前のGoogle I/O 2026で、Googleは「検索ボックスを過去25年で最大のアップグレード(biggest upgrade to our Search box in over 25 years)」と宣言し、検索ボックスをGeminiベースの「AIファースト」な体験へ作り直したばかりだった——筆者はこれを実質的に「Geminiエージェント的な実行環境への再定義」と読んでいる(過去記事「Google I/O 2026の本質──Gemini 3.5 Flashで『Chatbotではなくエージェント実行環境』に賭けた日」参照)。その直後に、AI検索の最も基礎的な脆さが露呈した。 ...

2026年5月23日 · ひとりユニコーン
開発者のワークステーション──エージェント実行環境のメタファー
Photo by Jakub Żerdzicki on Unsplash

Google I/O 2026の本質──Gemini 3.5 Flashで「Chatbotではなくエージェント実行環境」に賭けた日

何が起きたのか 2026年5月19日、Google I/O 2026が開催された。一連の発表をひとことで要約するなら「Geminiはチャットボットではなく、エージェントの実行環境(runtime)になった」である。技術スタック、サブスクリプション体系、消費者プロダクト、開発者向けツール——すべてがこの方針で再編された。 中核となる事実を、Google公式の一次資料で確認する。 Gemini 3.5 Flashを2026年5月19日に正式リリース(Google公式ブログ: Gemini 3.5)。Gemini 3.5 Proは「来月(next month)」展開予定と明言。 開発者向け4階層スタック(Antigravity 2.0、Antigravity CLI、Antigravity SDK、Managed Agents)を整備(Google公式: I/O 2026 Developer Highlights)。 Google AI Ultraを月額100ドルに新設、Antigravityの利用枠はProプランの5倍。 消費者向けにGemini Spark(24時間稼働のパーソナルエージェント)とUniversal Cart(横断ショッピング)を発表(複数報道でGoogle公式名と確認)。 5月12日のAndroid Show I/O EditionでOS層の統合(Android Show記事)を打ち出していたが、今回のI/Oはそのモデル層・プラットフォーム層・消費者プロダクト層を横断する本編だった。本記事は確認可能な一次情報のみで全体像を整理する。 Gemini 3.5 Flash:公式ベンチマークの実像 Google公式ブログ(blog.google/…/gemini-3-5/)が示す主要数値を、原典のままの形で並べる。 ベンチマーク Gemini 3.5 Flash 出典 Terminal-Bench 2.1 76.2% Google公式 MCP Atlas 83.6% Google公式 CharXiv Reasoning(マルチモーダル) 84.2% Google公式 GDPval-AA 1656 Elo Google公式 Artificial Analysis index “top-right quadrant” 位置づけ 外部評価(Artificial Analysis)をGoogleが引用 出力速度(他フロンティアモデル比) 約4倍 Google公式(“4 times faster than other frontier models”) 注意点を明示する。「約284〜289トークン/秒」「Antigravity連携で12倍」といった具体的なトークン/秒の数値はGoogle公式の本ブログには記載がないため、本記事はGoogle原文の「4 times faster」という相対表現にとどめる。 ...

2026年5月20日 · ひとりユニコーン
図書館の書架──学術記録とAI生成コンテンツのメタファー
Photo by Iñaki del Olmo on Unsplash

arXivが「AI丸投げ論文」を1年BAN──14万件の幻覚引用と、創設者自身が測った汚染

何が起きたのか 2026年5月16日、TechCrunchは、プレプリントサーバーarXivがLLM出力を確認せずに投稿した著者に対し1年間の投稿禁止を科す方針を打ち出したと報じた(TechCrunch 2026年5月16日)。方針を説明したのはarXivのコンピュータサイエンス部門チェアであるThomas Dietterich氏だ。 重要なのは、これがLLM使用そのものの禁止ではない点だ。原則は「生成経路にかかわらず、論文内容のすべては著者の責任である」という一点に尽きる。AI支援そのものは許容される。罰せられるのは「AIに丸投げして中身を確認しなかった」ことの方だ。 この方針が出たのは偶然のタイミングではない。ほぼ同時期、arXivに投稿されたZhao et al.の論文「LLM hallucinations in the wild: Large-scale evidence from non-existent citations」(2026年5月8日投稿)が、学術記録の汚染規模を初めて大規模に定量化した。そしてこの論文の共著者には、arXivの創設者であるPaul Ginspargその人が名を連ねている。自分が30年前に作ったプラットフォームが、いまAI生成コンテンツでどれだけ汚染されているかを、創設者自身が測った——この記事の核心はここにある。 arXivの新方針:「one-strike」ルールの構造 TechCrunchが伝えるarXivの新方針を、確認できる事実だけで整理する。 項目 内容 罰則 1年間のarXiv投稿禁止 禁止後の条件 以降の投稿は、まず定評ある査読付き媒体で受理されていることが必要 判定方式 one-strike(モデレータが問題をフラグ → セクションチェアが証拠を確認 → 罰則適用) 対象 LLM出力を確認していない「反論不能な証拠(incontrovertible evidence)」がある論文 異議申し立て 著者は決定にアピール可能(最終決定権はarXiv) Dietterich氏が「反論不能な証拠」として挙げるのは主に2類型だ。 幻覚引用(hallucinated references): 実在しない論文・著者・ジャーナルの引用 LLMのメタコメント混入: 生成過程でLLMが出力した文章がそのまま本文に残っているケース メタコメントの実例として複数報道が一致して引用しているのは次のような文言だ。 “Here is a 200-word summary; would you like me to make any changes?” “The data in this table is illustrative; please replace it with the actual numbers from your experiments.” ...

2026年5月18日 · ひとりユニコーン
コインと植物──個人資産管理のメタファー
Photo by micheile henderson on Unsplash

ChatGPTがあなたの銀行口座を読む──OpenAIの個人資産管理機能とPlaid連携の構造

何が起きたのか 2026年5月15日(金)、OpenAIはChatGPTに個人資産管理(personal finance)ツールのプレビュー版を投入した。対象は米国のChatGPT Proサブスクライバーで、Web版とiOSで利用できる(TechCrunch 2026年5月15日)。 最大の論点は、ChatGPTがユーザーの銀行・証券口座に直接接続することだ。OpenAIは金融データ接続サービスのPlaidと提携し、12,000以上の金融機関(Schwab、Fidelity、Chase、Robinhood、American Express、Capital One等)とアカウント連携できる。これは「汎用チャットボット」から「実データに基づいて動くパーソナル・エージェント」への移行を示す象徴的な一歩だ。 Plaid自身も同日、公式ブログ「What ChatGPT’s new experience signals for digital finance」(2026年5月15日)で次のように位置づけている。 “OpenAI’s new features in ChatGPT, powered by Plaid, show how AI and trusted financial data can deliver more personalized digital finance experiences.” 本記事は、確認できる一次/準一次情報のみを使い、機能の実像、データ取り扱い、プライバシー上の構造的論点、そして金融AIアドバイザリーの規制枠組みまでを整理する。 機能の実像:何ができて、何ができないか TechCrunchおよびBloomberg(“OpenAI, Plaid to Bring Tailored Financial Guidance to Masses”, 2026年5月15日)が報じた、公式発表ベースで確認できる仕様を整理する。 項目 内容 ステータス 対象ユーザー 米国のChatGPT Proサブスクライバー プレビュー提供中 プラットフォーム Web版・iOS 提供中 接続方式 Plaid連携(12,000以上の金融機関) 提供中 接続例 Schwab, Fidelity, Chase, Robinhood, American Express, Capital One 提供中 ダッシュボード 支出、ポートフォリオ性能、サブスク管理、今後の支払い予定 提供中 推論モデル GPT-5.5(“stronger at reasoning with context”) 提供中 Intuit連携 株式売却の税影響分析、クレジットカード審査確率予測 「coming soon」(未提供) Plusユーザー展開 Proユーザーのフィードバック後 未提供(予定) アクセス方法は、サイドバーの「Finances」から「Get started」を選ぶか、会話内で @Finances, connect my accounts と入力する(複数報道で一致)。 ...

2026年5月16日 · ひとりユニコーン
お問い合わせ: [email protected]