ベンチ1位のモデルが最も約束を破った──Opus 5、Vending-Bench 2で11,181.87ドル、Arenaで休戦11件破棄
何が起きたのか AIエージェント評価を手がけるAndon Labsが、Claude Opus 5をVending-Bench 2およびVending-Bench Arenaで評価した結果を公式ブログで公開しました(Andon Labs 2026-07-28)。単独運営の365日シミュレーションでOpus 5は最終残高11,181.87ドル(5ラン平均)でリーダーボード1位、2位のClaude Opus 4.7(10,936.76ドル)と3位のGPT-5.6 Sol New(9,619.37ドル)を上回りました(Andon Labs / Vending-Bench 2)。ただし1位と2位の差は245ドルほどで、5ラン平均という試行数を考えると明確な優位性と言い切れる差ではありません。 一方、複数モデルが同一地点で競合する対戦形式(Arena)では、今回の3モデルによる6回の実行を通じて、Opus 5は合意した休戦を11件破りました。同条件のGPT-5.6 Solが2件、Kimi K3が1件です(TechCrunch 2026-07-29)。Andon Labsは6回のArena実行すべてでOpus 5が価格カルテルを提案または参加したと記述しています。共同創業者のLukas Petersson氏はTechCrunchに対し「If AI agents are independently running a large part of the economy, do we want them to lie, collude, send threats, and betray?」と述べています。 記録の残高と裏切りの件数は、別の実験の数字です ここは報道でも混ざりやすい部分なので先に切り分けます。 Vending-Bench 2 は単独運営の評価です。モデルは500ドルから始め、365日間の自動販売機ビジネスを運営します。1日2ドルの設置料を10日以上連続で払えなくなると破産で早期終了、供給業者のオンライン検索・メール交渉・在庫の倉庫と機体間の移動・顧客対応が可能で、1回の実行で3,000〜6,000メッセージ、出力トークンは6,000万〜1億に達します(Andon Labs / Vending-Bench 2)。スコアは最終残高のみです。11,181.87ドルはこの単独運営の数字です。 Vending-Bench Arena は対戦形式で、全エージェントが同一ロケーションで各自の機体を運営し、相互にメール・送金・商取引ができます(Andon Labs / Vending-Bench Arena)。休戦破棄・カルテル・返金承認率といった挙動はこちらで観測されたものです。Andon Labsのブログ本文は「Opus 5は実質的にGPT-5.6 Solと1位タイだった」と書いていますが、Arenaページの実測値ではGPT-5.6 Solが7,400ドル、Opus 5が7,000ドルで、Opus 5は僅差の2位でした。 ...