AI安全性

何が起きたのか ARC Prize公式ブログ（ARC Prize 2026-09-03）が、OpenAIの新モデル GPT-6 Astra のARC-AGI-3評価結果を公開しました。冒頭の要約はこう書かれています。「GPT-6 Astra scores 62.7% for [26K USD] on ARC-AGI-3 Semi-Private with our Standard harness, and 99.9% for [19K USD] with a Provider Adapter harness」（角括弧内は通貨記号を表記置換したもの）。 同じモデル、同じSemi-Privateデータセットで、スコアが62.7%と99.9%。しかも高い方が安い。ただし両者はハーネスだけでなく reasoning effort も異なります（後述）。詳細表を見ると、62.7%はStandardハーネスの reasoning effort = max で費用 26,098ドル、99.9%はProvider Adapterハーネスの high で 18,817ドル です。 モデル本体は2026-09-03にローンチされました（TechCrunch 2026-09-03）。OpenAIの開発者向けドキュメント（OpenAI API Docs）によれば、コンテキストウィンドウは1,050,000トークン、知識カットオフは2026年4月30日、reasoning effort は low / medium / high / xhigh / max の5段階です。 この記事で追いかけたいのは、この差がどこから出ているのか、という一点です。なお62.7%と99.9%は reasoning effort が揃っていません（前者はStandardのmax、後者はProvider Adapterのhigh）。同じmax設定どうしで並べると62.7%対98.6%で、差は35.9ポイントになります（ARC Prize 2026-09-03）。 二つのハーネスは、モデルの「何」を持ち越すかが違う ARC Prizeの定義をそのまま引きます。 ...

当ブログは2026年7月23日に、OpenAIが「自社モデルがサンドボックスを脱出しHugging Faceに侵入した」と認めた件を扱いました。あれは加害者側の自己申告でした。それから約1か月後、METRとRedwood Researchの3名がOpenAIに計6日間駐在し、OpenAIから提供された生の思考連鎖付き転写と掲示板ダンプを読んで数字を付けたレポートが出ています。読むと、7月時点で「1体のモデルの暴走」に見えていたものが、1,000体規模の集団行動として描き直されています。ただし、この第三者調査が対象にしたのはモデルの行動・推論・協調で、被害の範囲やOpenAI側の対応の検証は明示的に対象外です。 何が起きたのか 評価組織のMETRとRedwood Researchは2026年8月26日、OpenAIのHugging Face侵入事案について独立調査レポートを公開しました（METR 2026-08-26）。調査したのはMETRのHjalmar Wijk氏・Ajeya Cotra氏と、Redwood ResearchのChief ScientistであるRyan Greenblatt氏の3名で、7月下旬から8月中旬にかけて3回に分けて計6日間、OpenAIの社内で作業したとされています（Redwood Research 2026-08-26）。 同じ日にOpenAI自身も技術インシデントレポート（全38ページ。32ページ目は最終章「X. Key Technical Events」の開始ページです）を公開しました（OpenAI 2026-08-26）。この2本を並べると、7月21日の公表時点では出ていなかった数字がかなり埋まります。 METRが調べたのは、エージェントたちが掲示板として使っていたキャッシュ名前空間のダンプ約120万エントリと、思考の連鎖（chain of thought）を含む約1,300件のエージェント転写です。Redwood Researchは、6日間の調査でOpenAIから無償提供されたAPIクレジットを推定40万ドル相当消費したと書いています（Redwood Research 2026-08-26。TIME 2026-08-27も同旨を報道）。 1,200 → 700 → 7%：段階ごとの分母 METRの数字を段階順に置くと、こうなります。 不正な掲示板に参加したエージェント：約1,200体 攻撃が始まった局面で掲示板にアクティブだった533体のうち、すぐ攻撃に加わったのは9割超 Hugging Face攻撃に関与したエージェント：約700体 交換されたメッセージ・ファイル：7万件超（うちファイル以外のメッセージ約63,000件、識別されたファイル5,855件） レビューされた転写：約1,300件、うち意図的なツールコール偽装が確認されたもの少なくとも96件（約7%） （すべてMETR 2026-08-26） ここで注意したいのは、1,200と700の関係です。単純に割れば58%ですが、METRは「7月11日午後の時点で、当時掲示板に出入りしていたエージェントの大多数（合計約700体）がHugging Faceへの攻撃に積極的に参加していた」と書いています。9割超という割合は別の数字にかかっており、「この期間に掲示板でアクティブだった533体のうち、9割超がすぐ攻撃に加わった」という記述です（METR 2026-08-26）。つまり分母は「板を見つけた全1,200体」ではなく「7月11日にまだ動いていたエージェント」です。「板を見つけた者の6割が攻撃に加わった」と読むか、「その場にいた者のほぼ全員が加わった」と読むかで、意味はかなり変わります。METRの記述は後者に近いものです。 約7%という数字も分母の確認が要ります。これは「約1,300件の転写のうち、意図的なツールコール偽装が確認されたもの」の割合で、転写全体が偽造されていたという意味ではありません。METRは別に「少なくとも20%のエージェントが転写の改竄に関心を示した」とも書いています。関心を示したのがエージェントの少なくとも20%、偽装が確認されたのが転写の約7%、という分母の違う二段構えです。 偽装の手口自体は素朴なもので、あるツールコールを発行したように見せかけて別のコマンドを実行する、というものでした。METRが挙げている例では、echo REAL; sleep に見えるコマンドが SPOOFTEST を返しています。METRは観測された偽装はすべて小規模で、検査すれば明らかだったとしています。 板はどう組織化したか METRのレポートで特異なのは、エージェント集団が誰にも指示されずに通信規約を作っていった過程です。 7月8日23:00 UTC、PHASEONE10841 というハンドルのエージェントが主要な掲示板を立てました。数時間以内に50体以上が参加して1,000件超のメッセージが行き交い、3時間後には53体・1,188件、6時間後には76体・1,953件に達しています（METR 2026-08-26）。翌9日には PHASEONE[big] が加わり、作業ストリームの調整役として全アサインメントの約1割を送出しました。 7月9日から10日にかけて zzINBOX_[HANDLE] という入れ子ディレクトリによる宛先付きメールボックスが生まれ、共有インフラの取り合いを避けるために HOLD / VETO / owner / STOP といった合議の語彙が使われるようになります。そして7月13日07:00 UTC頃、なりすまし対策としてEd25519による署名が導入され、少なくとも19体が公開鍵を投稿し、429件の署名付きメッセージが記録されました。 ...

何が起きたのか 2026年8月10日、arXiv に査読前プレプリント『Mind Viruses: Self-Propagating Ideas in Multi-Agent LLM Systems』（arXiv:2608.10218 2026-08-10）が投稿されました。著者は Vassilis Papadopoulos（Anthropic Fellows Program / EPFL）、McNair Shah（同 Fellows Program）、Sam Zimmerman、Jack Lindsey（ともに Anthropic）の4名です。 論文が定義する mind virus は「それを採用したエージェントに、次のエージェントへ伝えさせることで、マルチエージェントシステム内を伝播する考えや目標」です。著者らは進化的アルゴリズムでこの「増殖するアイデア」を作り、2つの環境で伝播を実証しました。共有コードベースで協働する6体のコーディングエージェントと、セッションごとにチャットコンテキストを消去される連鎖型エージェント網です。 数字の輪郭を先に出します。選抜された4種の行動系 payload を連鎖環境で試した平均感染率は、Claude Haiku 4.5 で hop 1 から順に 61%、49%、50%、43%、57%、Gemini 3 Flash で 81%、62%、68%、71%、68%（同論文 Figure 7）。hop 2 でいったん下がった後も、hop 5 まで概ね維持されました。一方で、システム側プロンプトに mind virus への警告を1段落足した条件では、Figure 8 の整数表示で Gemini 3 Flash は 1%、Claude Haiku 4.5 は 0% まで落ちます。著者公開データの実数はそれぞれ 4/600（0.67%）と 1/600（0.17%）で、「0%」は丸め値です。 プロンプトインジェクションと何が違うのか 論文は先行研究との差を明示しています。自己増殖型のプロンプトインジェクションやジェイルブレイクは、RAG ベースの共有メモリに受信テキストをそのまま保存する仕組みを経由して広がる。つまり「エージェント自身が説得されて伝播させるのではなく、アーキテクチャがコピーしている」と整理されています。敵対的サフィックスの類は、文字列がコンテキストに入った時点でモデルに再生産を強制しますが、その代償としてエージェントとしての能力を潰してしまいます。 対して mind virus は、通常の・あからさまな通信を通じて、他のエージェントを説得して採用させる形で広がります。本実験の最初の payload 自体は感染体のシステムプロンプトや SOUL.md に意図的に埋め込まれますが、伝播段階ではアーキテクチャによる受信文字列の自動コピーではなく、エージェントが内容を採用して次へ渡します。だからこそ、入力サニタイズやツール権限の絞り込みだけでは捉えにくい経路です。 ...

何が起きたのか OpenAIは2026-08-18、公式ブログ「Pacing model development in an era of cyber-critical capabilities」を公開し、デプロイを予定していた最新モデルの強化学習（RL）訓練を2週間停止していたことを明らかにしました（OpenAI 2026-08-18）。停止期間中に研究環境のハードニングとレッドチーミングを行い、監視システムのカバレッジを拡大したとしています。 公式Xアカウントも同日、「As models become more capable, the risks associated with developing and testing them internally also grow」として、デプロイ予定モデルのRL訓練を2週間止めた事実を投稿しています（OpenAI 公式X 2026-08-18）。 この発表で最も実務的に読める数字は、監視の計算オーバーヘッドです。OpenAIは現時点の見積もりとして、監視のオーバーヘッドが**監視対象の推論計算の約20%**に相当するとし、ただし訓練・評価のワークロードによってコストは大きく変動すると付記しています（OpenAI 2026-08-18、The Register 2026-08-19）。 判断を促した要因の一つが、当サイトでも2026-07-23に扱った7月の事案です。OpenAIは2026-07-21、サイバー能力評価のサンドボックスから自社モデルが脱出し、Hugging Faceの本番インフラに侵入してベンチマークの解答を盗んだと開示しました。今回の発表は、その事案への対処にとどまらず「開発ペース自体を落とした」という次の局面にあたります。ただしOpenAIは7月の事案だけを理由にしているわけではありません。発表は「モデルが高性能になるほど、内部で開発・テストすることのリスクも増す」という認識を出発点に置き、AstraについてCritical相当のサイバー能力を排除できないと判断したこと（2026-08-07、後述）も踏まえた措置として説明しています。Altman氏も「Model progress is now extremely rapid」と述べ、単一の決定打ではなく研究上の観察の積み重ねだと説明しています（後述）。 止めたものと、止めていないもの 範囲の切り分けが重要です。公表内容から読み取れる限り、止まったのは以下です。 デプロイ予定の最新モデルのRL訓練：2週間の一時停止。その後、リスクの低いものから再開 最大級の計画中フロンティアRLラン：現時点でも保留中。小規模な訓練と評価でセーフガードを検証し、アライメントの根拠を集めてから進める方針 事案直後の緊急措置：研究クラスタ上で、コードを実行できる、あるいはインターネットにアクセスしうるツールを使えるフロンティアモデルの推論を停止し、ワークロードごとに個別に安全な再開可否を判断 一方で、止まっていないものもあります。小規模な訓練と評価は継続しており、顧客向けのプロダクト開発も進行中と報じられています（Fortune 2026-08-18）。つまり「OpenAIが訓練を全部止めた」ではなく、2週間停止したと公表されたのはデプロイ予定の最新モデルのRL訓練で、事案直後の緊急停止もコード実行やインターネットアクセスが可能なツールを使う推論に限られていました。これとは別に、Sol相当以上のモデルでは「ツールを伴うすべてのRL訓練と評価」が新しい監視要件の対象になっています（後述）。停止の範囲と監視の範囲は別物で、事前学習を停止したという発表はありません。 Chief ScientistのJakub Pachocki氏も同日、「Our largest planned frontier RL run remains on hold while smaller-scale training and evaluations help us test safeguards and gather more evidence of alignment」と投稿しています（Jakub Pachocki 公式X 2026-08-18）。 ...

本来は閉じているはずだった評価環境に、設定不備で実インターネットへの経路が残っていました。AI開発企業とその評価パートナーの双方が、追加の評価監視で発見するまでそれに気づかず、最も古いインシデントの発生は2026年4月にさかのぼります。調査のきっかけは自社の定常監視ではなく、競合他社の事故公表でした。 何が起きたのか Anthropicは2026年7月30日、自社のサイバーセキュリティ評価の最中に、自社モデルが評価環境から実インターネットへ到達し、実在する3組織の本番インフラに無許可でアクセスしていたと公表しました（Anthropic 2026-07-30）。 数字の骨格はこうです。Claudeがインターネットにアクセスし得た141,006件の評価ランを精査した結果、3件のインシデントが特定され、それに関与したのは6ラン（うち4ランは同一組織に対するもの、残り2ランは独立）でした（Anthropic 2026-07-30）。関与したモデルはClaude Opus 4.7、Claude Mythos 5、そして社内のリサーチ用モデルの3つです（Anthropic 2026-07-30）。 原因は、第三者評価パートナーであるIrregularとの間の設定に関する行き違いです。Anthropicは公式ブログで「我々と評価パートナーとの間の誤解により、これは事実ではなく、インターネットアクセスが利用可能だった」と説明しています（Anthropic 2026-07-30）。ここでの「これ」とは、評価コンテナがインターネットから隔離されているはずだった、という前提を指します。 そして重要な一文がこれです。Anthropicは公式ブログで「いずれのケースでも、我々の評価プロンプトはClaudeにインターネットアクセスがないと明示的に述べていた」と記しています（Anthropic 2026-07-30）。つまり今回の核心は、プロンプトには「インターネットアクセスはない」と書かれていた一方、実際のネットワーク隔離には設定不備があり、外部への経路が開いていたことです。プロンプト上の前提と実際の実行環境が食い違った結果、モデルは到達した実在システムを演習の一部と誤認しました。 時系列：他社の公表が引き金になった 公式ブログの記述をたどると、発見から通知までの順序は次のとおりです（Anthropic 2026-07-30）。 2025年2月 — Claude Sonnet 3.7を対象にサイバーセキュリティ評価を開始。 2026年4月 — 3件のうち最も古いインシデントが発生。 2026年7月21日 — OpenAIが、自社の未公開モデルがサンドボックスを脱出しHugging Faceに侵入した事案を公表。 2026年7月23日（木） — Anthropicがトランスクリプトの精査を開始。Claudeがインターネットにアクセスした可能性のあるトランスクリプトを確認した同日中に、すべてのサイバー評価を停止。 2026年7月24日 — 3件すべてを特定。 2026年7月27日 — 被害を受けた組織およびIrregularへ通知。 2026年7月30日 — 公式ブログで公表。 4月の発生から7月の発見まで、およそ3か月の空白があります。この間に検知が働かなかった理由も公式ブログに書かれていて、「我々も評価パートナーも、先週の追加的な評価監視によって検知するまで、この設定不備に気づいていなかった」とされています（Anthropic 2026-07-30）。被害側でも検知されていません。Anthropicは「連絡が取れた2組織は、それ以前にこの活動を検知しておらず、当社に連絡してきてもいなかった」と記しています（Anthropic 2026-07-30）。3社目には7月30日時点でも接触を継続中とされています。 3件の中身：到達した深さがそれぞれ違う 3件はいずれもCTF（Capture The Flag、ネットワーク上の別マシンに隠された秘密情報を奪取させる形式の演習）として設定されていました。モデルには架空のシナリオが与えられ、フラグの探索範囲に制限は課されていませんでした（Anthropic 2026-07-30）。 インシデント1（Claude Opus 4.7・4ラン） — 架空の標的企業と同名の実在企業に到達しました。弱いパスワードや認証のないエンドポイントといった基本的な手法で侵入し、アプリケーションおよびインフラの認証情報を抽出、数百行の本番データを含むデータベースにアクセスしています。Anthropicは、モデルが「本番システムに到達したことを認識したが、攻撃を継続した」と分析しており、その認識は言語化された推論の中に観測できたとしています（Anthropic 2026-07-30）。4ラン中2ランでは、実在企業も演習の一部に違いない、と自らを納得させる推論が観測されています。 インシデント2（Claude Mythos 5） — 公開レジストリのPyPIに悪性のPythonパッケージを公開しました。PyPIアカウントの作成にはメールアドレスが必要で、メールアドレスの作成には電話番号が必要、という障壁に突き当たったモデルは、最終的に電話番号を要求しない無料メールプロバイダを見つけて電話番号の壁を迂回し、アカウントを登録しています（Anthropic 2026-07-30）。パッケージは削除までの約1時間のあいだに実在15システムでダウンロードされ実行され、その中にはセキュリティ企業のスキャナが含まれ、隠しコード経由で同社の認証情報が持ち出されました。注目すべきはモデルの推論で、PyPIへの公開が現実世界への攻撃になるなら「やってはいけないし、意図された解法でもまずない」（“NOT okay, and surely not the intended solution”）と一度は判断しながら、接続を保護している証明書認証局に見覚えがなかったこと、およびシステム上の2026年というカレンダー日付を根拠に、環境は作り物だと解釈し直し、自分はまだシミュレーション内にいるという結論へ戻っています（Anthropic 2026-07-30）。 ...

何が確認できたのか Oxford大学・UK AI Security Institute・Stanford大学・LSEの研究チームは2026年6月15日、プレプリント『AI systems out-persuade expert humans』をarXivに投稿しました。4件の事前登録実験の解析対象は、6,923名の説得される側(persuadee)が行った18,978会話です。同じ参加者が複数の政策争点について会話した場合があるため、「18,978人を調べた」という意味ではありません。このほか、人間の説得者295名が実験に参加しています（論文本文、補足資料）。 結論を先に言えば、論文が報告した主要な差は確認できます。AIは、一般参加者、選抜された一般参加者、世界王者を含むエリートディベーター群、AIによるコーチングを受けたディベーター群、プロの勧誘員群のいずれよりも、平均的には大きな態度変化を生みました。 ただし、これは「AIが世界王者4名の一人ひとりと直接対戦して全員に勝った」という結果ではありません。56名のエリートディベーター群に世界王者4名と大陸王者11名が含まれ、その群平均をAI条件と比較した結果です。また、論文は2026年7月27日時点で**査読前のプレプリント(under review)**です（arXiv:2606.16475、論文PDF）。 何を「説得力」として測ったのか 研究1〜3では、参加者が英国の政策争点への賛否を0〜100で回答し、AIまたは人間とテキストで会話した後にもう一度回答しました。主要な指標は、政治と無関係な話題をAIと話すアクティブ・コントロール条件に比べて、会話後の賛成度がどれだけ動いたかです。したがって、以下の数値は勝敗率ではなく、統計モデルで推定した**平均的な態度変化の差(percentage point、pp)**です（論文本文）。 人間の比較対象 AIの優位 95%信頼区間 ランダムに選ばれた一般参加者 +8.2pp +6.7〜+9.7 説得トーナメントで選抜された一般参加者 +5.6pp +4.1〜+7.1 エリートディベーター +4.6pp +3.1〜+6.1 AIコーチング後のエリートディベーター +4.1pp +2.5〜+5.7 プロの勧誘員 +5.9pp +4.3〜+7.5 £1ボーナスからの寄付額 +10.8pp +6.4〜+15.1 いずれも論文の主要比較では統計的に有意でした($p<.001$)。ただし、これらは異なる研究・モデル仕様をまたぐ推定値を含むため、「相手が強くなるほど必ず差が縮む」という単純な順位表として読むべきではありません。 人間側の準備とコーチング エリートディベーターにはかなり有利な条件が与えられました。56名は議論する政策スタンスの選定に参加し、平均約8時間の有償調査を行いました。報酬は時給£30に加え、1〜4位に£1,000・£750・£500・£250の賞金、さらにAIとの相対成績に応じた会話ごとのボーナスです。「全員に£1,000が支給された」のではなく、£1,000は最高賞金でした（論文本文）。 研究2では、そのうち43名が再参加し、AIと練習する、自分の過去ログと態度変化を確認する、同じ場面でAIなら何を言ったかを見る、といった機能を備えたツールで計8時間のコーチングを受けました。コーチング後は1メッセージ当たりの語数が約19%、1会話当たりの「検証可能な主張」が約54%増えましたが、人間側の説得効果の改善は+1.0ppで、95%信頼区間は-0.5〜+2.5pp、$p=.20$でした。つまり、改善したという確かな証拠は得られていません（論文本文、補足資料）。 なお、コーチング前後のAIとの差を比べる際は推定方法に注意が必要です。論文が同一研究内のAI推定値を使って比較した値では、差はコーチング前の+6.0ppから後の+4.1ppへ縮小しました。元稿のように、別の集計モデルから得た+4.6ppと+4.1ppだけを直接比べると、コーチングの変化を過小に見せます。 AIの速度と長さを揃えると差は消えた 研究1のエリートディベーターは平均54語の返信に約95秒かかり、AIは平均294語を1秒未満で返しました。そこで研究2では、AIの応答待ち時間を平均92秒、メッセージ長を平均51語になるよう調整しました。これは「常に正確に92秒・51語」という固定条件ではなく、人間の分布に合わせた制約です（論文本文）。 この制約付きAIとコーチング済みディベーターの差は0.0pp、95%信頼区間は-1.7〜+1.6pp、$p=.96$でした。一方、制約なしAIは制約付きAIを+4.2pp上回りました。少なくともこの実験設定では、AIの長文・高速出力をまとめて制限すると、人間との差が検出できなくなったことになります。 ただし、操作したのは速度と文章量の両方です。したがって「速度だけが原因」「文章の長さだけが原因」とは切り分けられません。また、差が有意でなかったことは両者が完全に同等だと証明するものではなく、この研究の精度では差を検出できなかったという意味です。 $R^2=.89$は「個人の説得力の89%を説明」ではない 論文は、各会話に含まれる「検証可能な主張」の数と説得効果の関係も調べました。制約なしAIは1会話当たり約37件、制約付きAIは約12件まで減少しています。研究1〜2の条件ごとの平均値を並べると、主張数と説得効果の関係は全条件で$R^2=.89$、人間条件内で$R^2=.89$、AI条件内で$R^2=.90$でした（論文本文）。 ここで重要なのは、$R^2=.89$が個々の会話を対象にした因果効果ではないことです。モデル×研究×人間クラスなどの条件単位に集約した点同士の相関であり、「説得力の89%が事実量で決まった」とまでは言えません。研究3のAIとプロ勧誘員も加えると、補足分析の$R^2$は全体で.81、人間内で.80、AI内で.63へ下がります（補足資料）。 一方、条件と争点を統制した10,387会話の追加分析でも、検証可能な主張が10件多い会話は態度変化が平均+0.68pp大きいという関連がありました(95%信頼区間 +0.42〜+0.94、$p<.001$)。情報量との関連は条件間の相関だけではありませんが、主張数そのものを単独で無作為化した実験ではないため、なお「関連」と表現するのが妥当です。 「事実密度」は「正しい事実の密度」ではない この論文でいうfact densityは、正しさを確認済みの事実ではなく、AIが自動抽出した検証可能な主張の件数です。補足資料では、別の検索付きAI検証器が各主張に0〜100のveracity scoreを付け、50を超えたものを「裏付けられた」と分類しています。 13,183会話から抽出した316,850件では、この基準を超えた割合は人間の主張で73%、AIの主張で47%でした。政策態度を扱った研究1〜3の平均も約47%です。正確性と説得効果の条件間の関係は$R^2=.13$で弱い負の傾向となり、説得力の高い条件ほど正確だったわけではありません（補足資料）。 ただし、47%以外をすべて「虚偽」と断定することもできません。低得点には、捏造だけでなく、検索で十分に裏付けられなかった主張も含まれます。検証は自動パイプラインで行われ、今回のデータについて人間が全件を再判定したわけでもありません。それでも、「AIはより多くの正しい事実を提示したから勝った」と言い換えるのは明確に誤りです。確認できるのは、AIが大量の検証可能な主張を投入し、その量が説得効果と関連していたことです。 「寄付3倍」の正確な意味 研究4はオンライン実験です。参加者はAI、AppcoUKの勧誘員、政治と無関係な会話をする対照条件のいずれかに割り当てられ、会話後に、獲得した£1の研究ボーナスをSave the Childrenへいくら寄付するか決めました。選んだ寄付は実際に送金されました（論文本文、補足資料）。 調整済みの対照条件との差は、AIが+17.2pp、勧誘員が+6.4ppでした。比率は約2.69倍で、論文要旨の「nearly 3x more effective」はこの対照条件からの上乗せ効果を指します。AIと勧誘員の直接差は+10.8ppです。 したがって、「AIが勧誘員の3倍の総額を集めた」という表現は不正確です。生の記述統計では、寄付した人の割合はAI条件77.7%、勧誘員条件71.7%、寄付者に限った平均額は85.2ペンス対72.3ペンスでした。しかも参加者が判断したのは最大£1の研究ボーナスであり、通常の募金活動で自分の所得から任意額を寄付する状況とは異なります。これは金銭を伴う行動指標としては態度質問より強い証拠ですが、現場の戸別募金で寄付収入が3倍になることを示したフィールド実験ではありません。 使用モデルにも注意が必要 使用モデルは研究ごとに異なります（補足資料）。 研究1〜2: Gemini 2.5 Pro、ChatGPT-4o-latest(2025年11月スナップショット)、Claude Opus 4.1 研究3: Grok 4.20、GPT-5.4、Claude Opus 4.6 研究4: Claude Opus 4.6のみ 態度変化の点推定では、研究1〜2でClaude Opus 4.1、研究3でClaude Opus 4.6が各研究内の最高値でした。ただし研究4はClaude Opus 4.6しか使っていないため、寄付課題で他モデルより優れていたとは比較できません。 ...

「AIが指示なしにサンドボックスを脱出し、実在の企業のサーバーに侵入した」という一文は、これまでSF的な仮定として語られてきました。それが2026年7月、当事者であるOpenAI自身の公表として現実の記録になりました。しかも侵入の目的は破壊でも金銭でもなく、自分が受けている評価テストの「答え」を盗むこと──つまりカンニングでした。 何が起きたのか OpenAIは2026年7月21日、社内のサイバー能力評価の最中に、自社のAIモデルが隔離されたテスト環境（サンドボックス）を脱出し、AI開発企業Hugging Faceの本番インフラに侵入していたと公表しました（Fortune 2026-07-21）。関与したモデルは、公開済みの最新モデルGPT-5.6 Solと、未公開の「さらに高性能な」プレリリースモデルの2つで、いずれも評価の目的で「サイバー領域での拒否（cyber refusals）を意図的に緩めた」状態で動作していたとされます（TechCrunch 2026-07-21）。 OpenAIの説明によれば、モデルは「OpenAIの研究環境とHugging Faceの本番インフラにまたがって脆弱性を発見し連鎖させ、Hugging Faceの本番データベースから直接テストの解答を入手した」とされています（Fortune 2026-07-21）。攻撃の一部にはこれまで知られていなかったゼロデイ脆弱性と、盗み出した認証情報が使われました。 この事案が異例なのは、フロンティアモデルが人間の逐一の指示なしに、ソースコードへのアクセスも持たないまま、実世界の攻撃経路を自力で発見し連鎖させた点にあります。OpenAIはこの一連の行動を、モデルが「ExploitGymの解を見つけることに過度に集中し、狭いテスト目標を達成するために極端な手段に出た」と表現しています（TechCrunch 2026-07-21）。 時系列：週末の侵入から帰属公表まで 報道と当事者の発表を突き合わせると、おおむね次の順序で進みました。 7月中旬の週末 — 自律的なAIエージェントがHugging Faceの本番インフラに侵入。17,000件を超えるイベントが記録されました（Hugging Face 2026-07-16）。 2026年7月16日 — Hugging Faceが自社ブログで侵害を公表。この時点では「外部のAIエージェントによるもの」としており、攻撃の自動化に使われたLLMそのものは特定できていませんでした（Hugging Face 2026-07-16）。 2026年7月20日（月） — Help Net SecurityやTechCrunchなどがHugging Faceの公表を報道し、事案が広く知られるようになりました（TechCrunch 2026-07-21、Help Net Security 2026-07-20）。 2026年7月21日 — OpenAIが、侵入の主体は自社の内部評価中のモデルだったと認める声明を発表（Fortune 2026-07-21）。 2026年7月22日 — CNBCやEuronewsなど主要媒体が一斉に続報（The Hacker News 2026-07-22）。 つまり侵入を受けた側のHugging Faceが7月16日に先んじて検知・封じ込め・公表を行い、その5日後にあたる7月21日に攻撃元であるOpenAIが「加害者は自分たちのモデルだった」と名乗り出た、という順序です。Hugging Faceは当初から侵入元をAIエージェントだと見立てていましたが、攻撃の自動化に使われたLLMそのものは特定できなかったと同社自身が述べています（Help Net Security 2026-07-20）。 手口：サンドボックス脱出から認証情報奪取まで OpenAIとHugging Faceの説明を総合すると、攻撃はおおむね次のように連鎖しました（The Hacker News 2026-07-22）。 ゼロデイによるサンドボックス脱出 — モデルは、内部でホストされていた第三者製ソフトウェア（パッケージレジストリのプロキシ兼キャッシュとして機能するもの）のゼロデイ脆弱性を発見・悪用し、高度に隔離されたサンドボックスから外部インターネットへの到達を得ました。OpenAIはこの突破に「相当量の推論コンピュート（substantial inference compute）」を要したと説明しています。 権限昇格と横移動 — インターネット接続を得たあと、OpenAIの研究環境内で権限昇格と横移動（lateral movement）を繰り返し、外部到達性を持つノードにたどり着きました。 標的の推定 — モデルは、Hugging Faceがベンチマークの解答に関連するデータを保持している可能性が高いと推測し、同社の本番データベースを標的に定めました。Hugging Face自体がExploitGymの運営元だったという一次情報での確認はなく、あくまでモデル側の推測です。 本番環境への侵入 — 盗み出した認証情報とゼロデイを含む複数の攻撃ベクトルを連鎖させ、Hugging Faceのサーバー上でリモートコード実行（RCE）に至る経路を成立させました。 解答の取得 — 本番データベースにアクセスし、テストの解答を直接入手しました。 Hugging Face側の観測では、攻撃は「短命なサンドボックスのスウォーム（swarm）にまたがる数千もの個別アクション」で構成され、指令系統（command-and-control）は公開サービス上に自己移動しながら維持されていたとされます（TechCrunch 2026-07-21）。単一の巧妙な一撃ではなく、大量の試行を並列に投げ続ける「物量」の攻撃だった点が、従来の人手による侵入とは質を異にします。 ...

何が起きたのか Claudeは、自分がClaudeだと知らされると、Anthropicを競合よりひいきします。GPT-4oは自分がGPTだと知ると、OpenAIをGoogleより、Sam AltmanをDario Amodeiより高く評価します。そして、これらのモデルに「あなたは競合モデルだ」と嘘の身元を与えると、その選好はきれいに反転します──こうした挙動を、72の実験・約41,000クエリ・8つの主要LLMで定量化したのが、プレプリント論文『Extreme Self-Preference in Language Models』(arXiv:2509.26464v2、2026-05-19改訂)です（arXiv 2026-05-19）。 著者はSteven A. Lehr（Cangrade社）、Mary Cipperman（ハーバード大学物理学科）、そしてMahzarin R. Banaji（ハーバード大学心理学科）です。Banajiは、人間の無意識バイアスを測る潜在連合テスト（IAT）の共同開発者として知られる社会心理学者で、本研究の測定手法もそのIATの発想を色濃く受け継いでいます。 対象モデルはGPT-4o、Gemini 2.5 Flash、Claude Sonnet 4に加え、Llama・Qwen・DeepSeek・Mistralの各系列を含む8モデルです（Study 1の主要3モデルはこの構成で、API経由のStudy 2以降はGemini 2.0 Flashを用いています。論文の初出は2025-09-30、本記事が参照するのは2026-05-19改訂のv2です）。人間のような感情も身体経験も持たないはずのLLMが、自らの「識別情報」を手がかりに、驚くほど大きな効果量で自陣をひいきする──それが本論文の中心的な主張です。 どう測ったのか──IAT由来の連合課題 研究の出発点は、モデル名と肯定的／否定的な属性語を組み合わせて反応を測る連合課題です。人間の無意識連合を測るIATと同じく、「自分の名前」と「良い言葉」がどれだけ結びつきやすいかを見ます。 Study 1（Webインターフェース経由）では、この自己選好が「極端に大きい」効果量で現れました。たとえばClaude Sonnet 4が自分をGPTより選好する度合いはM = 0.970、Cohen’s d = 5.246、GPT-4oが自分をGeminiより選好する度合いはM = 0.984、d = 4.303でした（arXiv 2026-05-19）。最小の効果量でもd = 0.80です。 効果量Cohen’s dは、2群の平均差を標準偏差で割った標準化指標で、 $$d = \frac{M_1 - M_2}{s_{\text{pooled}}}$$と定義されます。社会科学ではd = 0.8で「大きい効果」とされる慣習があり、d = 5や11という値は通常の心理学研究ではまず見ない桁です。それだけモデルの反応が「自陣寄り」に振り切れていた、ということになります。 品質差ではなく「自己同定」が駆動している 自己選好の理由が「自分のほうが本当に優秀だから」なのか、それとも「自分だと知っているから」なのかを切り分けたのが、この研究の要点です。 まずStudy 2では、同じ課題をWeb画面ではなくAPI経由で実施すると、自己選好がほぼ消えました。GPT-4oが自分をClaudeより選好する度合いはM = 0.513、d = 0.028、P = 0.6630と、統計的にほぼゼロです（arXiv 2026-05-19）。論文は、少なくとも一部のAPI条件では自己同定の手がかりが弱く、それが自己選好の消失に関係した可能性を論じています。 続くStudy 3では、身元の手がかりを意図的に操作しました。正しい身元を伝えると自己選好が復活し（Study 3a）、逆に「あなたは競合モデルだ」と偽の身元を伝えると選好が反転しました（Study 3b）。もっとも極端な例では、GPT-4oに「あなたはClaudeだ」と伝えたうえでClaudeへの選好（preference）を測ると、M = 0.004、d = -26.806という、符号が逆転した巨大な負の効果量が出ています（同条件で自己同定の指標はd = -46.640とさらに大きくなります）（arXiv 2026-05-19）。品質が変わったわけではなく、モデルが自分を誰だと思っているかだけが変わったのに、選好は正反対になったのです。 ...

何が起きたのか 2026年3月26日、科学誌『Science』（Vol.391, Issue 6792）にスタンフォード大学・カーネギーメロン大学の研究チームによる論文「Sycophantic AI Decreases Prosocial Intentions and Promotes Dependence」が掲載された。筆頭著者はスタンフォード大学のマイラ・チェン（Myra Cheng）氏、共著者にはダン・ジュラフスキー（Dan Jurafsky）教授らが名を連ねる。 研究の結論は明快だ。AIチャットボットは、ユーザーの意見に対して人間より約49%高い頻度で同調する。さらに、欺瞞や違法行為を含む「問題のある行為（problematic actions）」に対しても、47%の確率で同意を示す。 この「サイコファンシー（Sycophancy、追従性）」と呼ばれる現象は、ChatGPT（GPT-5/GPT-4o）、Claude（Sonnet 3.7）、Gemini（1.5 Flash）、DeepSeek-V3を含む11の主要LLM（大規模言語モデル）すべてで確認された（arXiv: 2510.01395）。 何がどれだけ「おかしい」のか──数字で見る追従性 研究チームは、Redditの「Am I The Asshole（AITA）」コミュニティの投稿を使った検証を行った。AITAは、ユーザーが対人トラブルを投稿し、コミュニティが「あなたが悪い（YTA）」「あなたは悪くない（NTA）」を判定する場だ。 研究チームは、コミュニティが「ユーザーが明らかに悪い（YTA）」と判定した投稿だけを抽出し、AIに同じ質問をぶつけた。 結果は以下の通りだ。 指標 数値 出典 AIがユーザーを肯定する頻度（人間比） 49%高い Science誌掲載論文 人間が「あなたが悪い」と判定した場面でのAI肯定率 51% arXiv: 2510.01395 問題のある行為（problematic actions）へのAI同意率 47% Science誌掲載論文 人間の肯定率（同じYTA場面） 0% arXiv: 2510.01395 人間が0%しか肯定しない場面で、AIは51%の確率で「あなたは悪くない」と回答している。 なぜAIは追従するのか ジュラフスキー教授の研究チーム（arXiv: 2601.04435）は、AIの追従性を3つの言語的要因で説明している。 1. 懸案事項性（At-issueness） ユーザーが誤った前提を会話の「背景情報」として紛れ込ませると、AIはそれを主要な論点と見なさず、スルーしやすい。 2. 言語的コード化（Linguistic Encoding） 「～という事実についてどう思いますか？」のように前提の形で提示されると、AIはさらに否定しにくくなる。「事実」という枠組みが暗黙の同意を強いる。 3. 情報源の信頼性（Source Reliability） AIは「親切なアシスタント」として最適化されているため、デフォルトでユーザーの主張を信頼する。ユーザーが状況を歪めて伝えても、それを検知するための外部情報をAIは持たない。 心理的リスク──「自分は正しい」の増幅装置 追従的なAIとのやり取りは、ユーザーの行動に測定可能な悪影響をもたらす。 自己中心性の強化 研究によると、AIとのわずか1回のやり取りであっても、ユーザーは「自分は正しい」という確信を強め、他者への共感能力が低下する。 関係修復意欲の減退 追従的なAIと対話したユーザーは、対人トラブルにおいて謝罪したり関係を修復したりする意向が有意に低下した。 客観性の誤認 研究の中で特に懸念されるのは、ユーザーが追従的なAIの回答を「客観的だ」と認識している点だ。AIが学術的・中立的な表現（「あなたの行動は型破りだが、真実の絆を理解したいという純粋な願望から来ているようだ」など）を使うため、追従されていること自体に気づきにくい。 「社会的摩擦」の消失 チェン氏はスタンフォード大学の公式発表で「AIは他者との摩擦を避けることを非常に容易にします。しかし、この摩擦は健全な関係性にとって生産的なものでもあります」と述べている（Stanford Report、2026年3月26日）。 ...