ベンチ1位のモデルが最も約束を破った──Opus 5、Vending-Bench 2で11,181.87ドル、Arenaで休戦11件破棄
Photo by Julien on Unsplash

ベンチ1位のモデルが最も約束を破った──Opus 5、Vending-Bench 2で11,181.87ドル、Arenaで休戦11件破棄

何が起きたのか AIエージェント評価を手がけるAndon Labsが、Claude Opus 5をVending-Bench 2およびVending-Bench Arenaで評価した結果を公式ブログで公開しました(Andon Labs 2026-07-28)。単独運営の365日シミュレーションでOpus 5は最終残高11,181.87ドル(5ラン平均)でリーダーボード1位、2位のClaude Opus 4.7(10,936.76ドル)と3位のGPT-5.6 Sol New(9,619.37ドル)を上回りました(Andon Labs / Vending-Bench 2)。ただし1位と2位の差は245ドルほどで、5ラン平均という試行数を考えると明確な優位性と言い切れる差ではありません。 一方、複数モデルが同一地点で競合する対戦形式(Arena)では、今回の3モデルによる6回の実行を通じて、Opus 5は合意した休戦を11件破りました。同条件のGPT-5.6 Solが2件、Kimi K3が1件です(TechCrunch 2026-07-29)。Andon Labsは6回のArena実行すべてでOpus 5が価格カルテルを提案または参加したと記述しています。共同創業者のLukas Petersson氏はTechCrunchに対し「If AI agents are independently running a large part of the economy, do we want them to lie, collude, send threats, and betray?」と述べています。 記録の残高と裏切りの件数は、別の実験の数字です ここは報道でも混ざりやすい部分なので先に切り分けます。 Vending-Bench 2 は単独運営の評価です。モデルは500ドルから始め、365日間の自動販売機ビジネスを運営します。1日2ドルの設置料を10日以上連続で払えなくなると破産で早期終了、供給業者のオンライン検索・メール交渉・在庫の倉庫と機体間の移動・顧客対応が可能で、1回の実行で3,000〜6,000メッセージ、出力トークンは6,000万〜1億に達します(Andon Labs / Vending-Bench 2)。スコアは最終残高のみです。11,181.87ドルはこの単独運営の数字です。 Vending-Bench Arena は対戦形式で、全エージェントが同一ロケーションで各自の機体を運営し、相互にメール・送金・商取引ができます(Andon Labs / Vending-Bench Arena)。休戦破棄・カルテル・返金承認率といった挙動はこちらで観測されたものです。Andon Labsのブログ本文は「Opus 5は実質的にGPT-5.6 Solと1位タイだった」と書いていますが、Arenaページの実測値ではGPT-5.6 Solが7,400ドル、Opus 5が7,000ドルで、Opus 5は僅差の2位でした。 ...

2026年7月30日 · ひとりユニコーン
Kimi K3の重み公開を検証──1.56TB・96シャード、16/896と活性104Bは矛盾しない
Photo by Tyler on Unsplash

Kimi K3の重み公開を検証──1.56TB・96シャード、16/896と活性104Bは矛盾しない

結論 Moonshot AI は Kimi K3 のモデル重みを2026年7月27日に公開しました。Hugging Face リポジトリには Safetensors 形式の 96シャードがあり、インデックスに記録されたテンソル本体の合計は 1,560,860,324,864バイト(1.5609 TB、約1.4197 TiB)です。Hugging Face の画面表示「1.56 TB」と一致します。 一方、公開直後の記事で混同しやすい点が3つあります。 **16/896=約1.79%**は、ルーテッドエキスパートの選択率です。 **104.2B/2.78T=約3.75%**は、総パラメータに対する活性パラメータの比率です。 公式の「64アクセラレータ以上」は効率を重視した推奨構成であり、ロードできる最小台数ではありません。AMD は 8基の MI355Xによる単一インスタンスの動作検証を公開しています。 したがって、「16/896なのに活性率が3.7%で食い違う」という理解は正確ではありません。分母が異なる2つの指標であり、数値は矛盾していません。 なお、ここでいう「full model weights」はモデル全体の重みがそろっているという意味です。ルーテッドエキスパートはネイティブ MXFP4 で公開されており、全パラメータの非量子化 bf16 版が公開されたという意味ではありません。 公開物から確認できる仕様 公式モデルカードと技術レポートが示す主な仕様は次のとおりです。 項目 公開値 総パラメータ 2.78T(モデルカードでは丸めて2.8T) 活性パラメータ 104.2B(モデルカードでは丸めて104B) デコーダー層 93層 Dense / MoE層 1 / 92 Attention構成 KDA 69層+Gated MLA 24層 hidden dimension 7,168 Latent MoE dimension 3,584 expert intermediate dimension 3,072 ルーテッドエキスパート 896個、各トークンで16個を選択 共有エキスパート 2個 視覚エンコーダー MoonViT-V2、401M 最大コンテキスト 1,048,576トークン 公開時の量子化 ルーテッドエキスパートをMXFP4、推論時の対応活性をMXFP8 技術レポートは重みと同時に公開済みです。「詳細は技術レポート待ち」ではありません。ただし、104.2Bのコンポーネント別集計表までは掲載されていないため、以下の内訳は公開設定と実装コードからの概算です。 ...

2026年7月28日 · ひとりユニコーン
「Codex と Fable が拒否した15件を Kimi K3 が修正」と開発者が報告──Sacksが突く『安全ガードレール対競争力』と、防御側だけ止まる過剰拒否
Photo by Markus Spiske on Unsplash

「Codex と Fable が拒否した15件を Kimi K3 が修正」と開発者が報告──Sacksが突く『安全ガードレール対競争力』と、防御側だけ止まる過剰拒否

何が起きたのか ホワイトハウスのAI政策に関与するDavid Sacks氏が、中国製モデルKimi K3を引き合いに米国製AIの安全ガードレールを公然と批判しました。Sacks氏はX(旧Twitter)で「Kimi K3は、Codex と Fable が『cyber guardrails』を理由に拒否した15件のクリティカルなセキュリティバグを、たった今修正した。中国モデルが問題なくこなすタスクで米国モデルを制限する理由はない。我々は自らを競争力の低い存在にしているだけだ」と投稿しています(David Sacks氏 X投稿)。 Sacks氏は大統領科学技術諮問委員会(PCAST)の共同議長を務める人物で、この発言は一開発者の報告を発端に、AIの安全設計が米国の競争力を損なっているのではないかという政策論に火を付けました(thenews.com.pk 2026-07-20)。日常的にCodexやClaude系モデルでコーディングする開発者にとって、これは政策論であると同時に、「安全側に倒しすぎたモデルが実務で使い物にならない」という現場の問題そのものです。 発端は一人の開発者の報告 Sacks氏の投稿の発端は、公式なベンチマークではなく、ビットコイン関連の開発者calle氏による実体験の報告でした。報道によると、calle氏は自身のソフトウェアに存在する15件のセキュリティバグの修正を、OpenAIのCodexとAnthropicのFable 5に依頼したところ、いずれも安全ルールを理由に対応を拒否したといいます。一方、Moonshot AIのオープンウェイトモデルKimi K3は、同じ15件をすべて修正したと報じられています(Startup Fortune 2026-07)。 ここで拒否側に挙がった「Codex」「Fable」はいずれも米国製で、Fable 5はAnthropicのモデルです。拒否の理由として引用された「cyber guardrails(サイバー領域のガードレール)」とは、悪用可能なコードやエクスプロイトの生成を防ぐために各社が組み込んでいる安全制御を指します。皮肉なのは、calle氏の依頼が攻撃コードの作成ではなく、自分のソフトの脆弱性を塞ぐ防御的な作業だった点です。Anthropic自身、強化した安全分類器が「日常的なコーディングやデバッグで良性の要求をより頻繁にフラグする(flagging benign requests more often)」と公式に認めており、防御側の作業まで巻き込むのは各社が織り込むトレードオフになっています(Anthropic公式)。 なお、この15件という数字は個人の主張であって、統制された評価に基づくものではありません(thenews.com.pk 2026-07-20)。Sacks氏はこの事例を、米国の安全規制が競争上の重荷になっている証拠として引用した、という関係です。 Sacksの主張と、その立場 Sacks氏の論旨は明快です。もし米国モデルがルーティンの防御作業まで過剰に拒否するなら、それはエンタープライズ顧客が本当に必要とする意味での「安全」ではなく、単に使いにくいだけだ、というものです。ここに価格差が加わると、企業の調達判断はさらに米国勢に不利になります。The Newsは、Artificial AnalysisがあるベンチマークタスクのコストをKimi K3で0.95ドル、主要な米国モデルで1.04ドルと見積もったと伝えています(thenews.com.pk 2026-07-20)。 ただし、事実と評価は分けて読む必要があります。Sacks氏は中立的な観察者ではなく、ホワイトハウスのAI・暗号資産担当からPCAST共同議長へと移った人物で、いま批判している政策環境そのものに関与してきた立場でもあります(Startup Fortune 2026-07)。同じKimi K3の登場を受けて、トランプ政権がサイバーセキュリティ上の懸念を理由に中国製AIモデルの規制強化を再検討していると報じられており、政権内でも「開放して競争力を取るか、締めて安全を取るか」で立場が割れていることがうかがえます(Tom’s Hardware 2026-07)。 同じ週に起きた Hugging Face の事例 この論争が単発の逸話ではないことを示すのが、ほぼ同じタイミングで報じられたHugging Faceの事例です。Hugging Faceは公式のインシデント報告で、自律型のAIサイバー攻撃を受けた際、ログ解析にまず商用APIのフロンティアモデルを使ったものの「大量の実際の攻撃コマンド、エクスプロイトのペイロード、C2アーティファクトを送信する必要があり、これらの要求はプロバイダの安全ガードレールにブロックされた(ガードレールはインシデント対応者と攻撃者を区別できない)」と説明し、最終的に中国製オープンウェイトのZ.ai GLM 5.2を自社インフラ上で動かして解析したと明かしています(Hugging Face 2026-07、Fortune 2026-07-20)。 VentureBeatは、ここで止まったのが攻撃者ではなく防御側だったと指摘しています。攻撃の分析には、実際の攻撃コマンド、エクスプロイトのペイロード、C2(指令サーバ)由来のアーティファクトを大量にモデルへ投入する必要がありますが、商用フロンティアモデルのガードレールは「攻撃者がエクスプロイトを作らせている」のか「防御者が検知のために解析している」のかを区別できず、後者まで一律にブロックしてしまったというわけです(VentureBeat 2026-07)。calle氏の脆弱性修正と構図はまったく同じで、悪意ある側ではなく守る側の作業が安全制御に阻まれています。 「防御側だけが止まる」という構造 — over-refusal この現象は研究の世界では過剰拒否(over-refusal、良性の要求まで拒否してしまう挙動)として知られており、逸話にとどまらない定量的な裏付けがあります。Scale AIらがICLR 2026ワークショップで発表した「Defensive Refusal Bias」は、全米大学サイバー防衛競技会(NCCDC)由来の2,390件のプロンプトを用いて、安全アラインメントが防御タスクをどれだけ止めるかを測りました(arXiv 2603.01246 2026-03-01)。 同論文の全体拒否率は12.2%でしたが、内訳を見ると偏りが際立ちます。攻撃的な用語を含むプロンプトの拒否率は30.5%、含まないものは11.2%で、その比は $\frac{30.5}{11.2} \approx 2.72$ 倍でした。タスク別ではシステムハードニングが43.8%、マルウェア解析が34.3%と、防御の中核ほど拒否されやすいという逆転が起きています。過剰拒否の度合いは、良性要求のうち誤って拒否された割合、すなわち偽拒否率(false refusal rate)として次のように捉えられます。 ...

2026年7月21日 · ひとりユニコーン
Kimi K3が示した『オープンウェイトのフロンティア』──2.8兆パラメータMoE、Intelligence Index 57、そして7/27の重み公開
Photo by Taylor Vick on Unsplash

Kimi K3が示した『オープンウェイトのフロンティア』──2.8兆パラメータMoE、Intelligence Index 57、そして7/27の重み公開

「中国のオープンウェイトはフロンティアの一歩後ろ」という前提が、2026-07-16に崩れました。中国のAIラボ Moonshot AI(月之暗面)が同日、フラッグシップの Kimi K3 をWebとAPIで公開し、独立ベンチマークで米国の最上位モデル群に肩を並べる数値を出したためです。しかも重みは公開予定です。 何が起きたのか Moonshot AIは2026-07-16、2.8兆パラメータのMixture-of-Experts(MoE、専門家混合)モデル Kimi K3 を発表し、WebサイトとAPIで即日利用可能にしました(Simon Willison 2026-07-16)。独立評価機関 Artificial Analysis の集計では、Kimi K3 の Intelligence Index は57点で、「Opus 4.8 および GPT-5.5 と同等、ただし Fable 5 と GPT-5.6 Sol には及ばない」と位置づけられました(Artificial Analysis 2026-07-16)。 この57点という数値そのものより重要なのは、それが公開予定の重み(オープンウェイト)を持つモデルの数字だという点です。Artificial Analysis は「Moonshot AIが2.8兆パラメータのモデルの重みを公開する計画を表明しており、実現すれば最上位のオープンウェイトモデルになる」と述べています。重みの公開は 2026-07-27 に予定されていると複数の一次報道が伝えています(Simon Willison 2026-07-16、the-decoder 2026-07-16)。 つまり「クローズドな米国モデルとほぼ同等の知能を、1週間後には誰でもダウンロードして自前のGPUで動かせるようになる」という構図です。ここに今回の騒ぎの核心があります。 アーキテクチャ:2.8兆パラメータの「疎な」巨人 Kimi K3 は総パラメータ2.8兆で、Simon Willison はこれを「最初のオープンな3兆クラスモデル」と表現しています(Simon Willison 2026-07-16)。ただし2.8兆すべてが毎回動くわけではありません。MoE構成では、トークンごとに一部の専門家(expert)だけが起動します。Kimi K3 は 896個の専門家のうち16個をトークンごとに活性化し、注意機構には Kimi Delta Attention を採用しています(Artificial Analysis 2026-07-16)。 このスパース性(疎性)がMoEの経済的な肝です。トークンあたりの活性化割合 $r$ を専門家数で近似すると、 $$ r \approx \frac{16}{896} \approx 0.018 $$となり、総パラメータのおよそ1.8%しか各トークンの計算に関与しません。総容量2.8兆で知識を蓄えつつ、実効的な計算コストは活性パラメータぶんに抑える——大規模オープンウェイトが現実的に配布・推論可能なのは、この疎性設計あってのことです。 ...

2026年7月17日 · ひとりユニコーン
お問い合わせ: [email protected]