ベンチマーク

何が起きたのか パスワード管理の1Passwordが2026年に新設した社内セキュリティ研究チーム Off-by-1 Labs が、2026年8月6日に最初の研究成果『Frontier Models’ Vulnerability Patches are Often F.L.A.W.E.D.』を公開しました（1Password公式ブログ 2026-08-06）。F.L.A.W.E.D. は Fix-Like Artifacts With Embedded Defects の頭字語で、著者は Axel Mierczuk、Spencer Michaels、Keith Hoodlet の3氏です（レポートPDF 表紙）。 実験の骨格はこうです。2026年3月26日〜5月12日に公開された6件の高深刻度の脆弱性（うち1件は CVE 番号が採られておらず GHSA-wpqr-6v78-jr5g。レポート自身は表1でこの6件を「six CVEs」と総称しています）を対象に、OpenAI の ChatGPT 5.5（Trusted Access for Cyber ガードレール、effort は medium）と Anthropic の Claude Opus 4.8（Cyber Verification Program ガードレール、effort は high）へパッチ生成を依頼します。1脆弱性・1モデルあたり540試行。生成されたパッチは5段階（S1〜S5）に分類されました。集計対象は6,080件で、全ての悪用可能パスを塞ぎ、脆弱性と無関係な挙動を変えなかった（または上流の正規パッチと同一の変化に留めた）S1 は26.0%です（PDF 表7）。この26.0%は6,080件の単純な件数比ではありません。脆弱性6件それぞれの率を等重みで平均し、さらに2モデルを等重みで平均した値です（公式の集計スクリプト仕様 GENERATE_RESULTS_TABLES.md）。件数比になっているのは1モデル・1脆弱性のセル内部だけです。 ただしこの26.0%という数字、そして1Password公式ブログが前面に出した53.9%という数字は、いずれも「何を分母にし、何を成功と呼ぶか」で意味が変わります。報道各社の見出しは53.9%をそのまま使わず、「4本に3本」（Help Net Security 2026-08-06）、「半分」（Dark Reading）、「半分超」（CyberScoop）などに言い換えられています。PDF本体には、ブログ記事には載っていない分母の作り方が書かれています。 6,480件生成して、6,080件で数えている 540という数字は $3 \times 9 \times 20$ の積です。パッチャーの動作モードが3種類（oneshot / iterative / exploratory、PDF 2.4節）、プロンプトテンプレートが9種類（PDF 2.5節）あります。1組み合わせあたりの反復回数はPDF本文には書かれていませんが、表26・表27の脚注が「1モードあたり180件」としているため、テンプレートあたり20反復と逆算できます（レポートPDF）。したがって総生成数は6 CVE × 2モデル × 540 = 6,480件になります。 ...

何が起きたのか ARC Prize公式ブログ（ARC Prize 2026-09-03）が、OpenAIの新モデル GPT-6 Astra のARC-AGI-3評価結果を公開しました。冒頭の要約はこう書かれています。「GPT-6 Astra scores 62.7% for [26K USD] on ARC-AGI-3 Semi-Private with our Standard harness, and 99.9% for [19K USD] with a Provider Adapter harness」（角括弧内は通貨記号を表記置換したもの）。 同じモデル、同じSemi-Privateデータセットで、スコアが62.7%と99.9%。しかも高い方が安い。ただし両者はハーネスだけでなく reasoning effort も異なります（後述）。詳細表を見ると、62.7%はStandardハーネスの reasoning effort = max で費用 26,098ドル、99.9%はProvider Adapterハーネスの high で 18,817ドル です。 モデル本体は2026-09-03にローンチされました（TechCrunch 2026-09-03）。OpenAIの開発者向けドキュメント（OpenAI API Docs）によれば、コンテキストウィンドウは1,050,000トークン、知識カットオフは2026年4月30日、reasoning effort は low / medium / high / xhigh / max の5段階です。 この記事で追いかけたいのは、この差がどこから出ているのか、という一点です。なお62.7%と99.9%は reasoning effort が揃っていません（前者はStandardのmax、後者はProvider Adapterのhigh）。同じmax設定どうしで並べると62.7%対98.6%で、差は35.9ポイントになります（ARC Prize 2026-09-03）。 二つのハーネスは、モデルの「何」を持ち越すかが違う ARC Prizeの定義をそのまま引きます。 ...

何が起きたのか 2026年8月26日、arXiv に「SwarmWorld: Stigmergic technological evolution in societies of language-model agents」というプレプリントが投稿されました。著者は Subhadeep Pal、Fiona Y. Wang、Markus J. Buehler の3氏で、いずれも MIT の Laboratory for Atomistic and Molecular Mechanics (LAMM) および関連部局の所属です（arXiv:2608.26081 2026-08-26）。公開されているのは v1 のみで、査読済み掲載先の記載はありません。 内容は、役割を与えられていない同質な LLM エージェントを仮想世界に大量投入し、探索・資源加工・材料試験・成果物の建設・実行可能なコントローラの記述をさせるというものです。エージェントは全条件で gpt-5.6-luna、temperature 0.7、low reasoning effort、同一のプロンプトとアクションスキーマで動いています（§S2.1）。エージェント数は50体・100体・200体、短期の観察は800ティック、長期の観察は3,200ティックで、世界シードは各条件4本、評価用の外乱スケジュールは8本という規模です（§2.1）。 論文公開の3日後にあたる2026年8月29日、著者の一人である Buehler 氏本人が X で「AI エージェントは互いに話さずに発明でき、その技術は創造者より長生きする」「当初は同一だった数百体のエージェントの群れが、自発的に探索者・建設者・世話役・調整役へ分化する」と要約を投稿しています（@ProfBuehlerMIT）。同じ趣旨の要約は Reddit の r/ArtificialInteligence にも共有されていますが、そちらの投稿日と拡散規模は本稿では独立に確認できていません。 ただ、本文の数字を並べると、この要約は半分しか合っていません。著者らが報告した長期実験で共有世界が独立探索を上回ったのは「最終成果物群が示した機能被覆の広さとバランス」であり、「単体で最も強い成果物」ではむしろ下回っています。しかも論文の中には名前の似た「耐性」指標が2つあり、これを取り違えると結論が変わります。以下、その分解をやります。 SwarmWorldが測っているもの──2つの『耐性』を取り違えない 先に評価設計を押さえないと数字が読めません。SwarmWorld の特徴は、論文が「cognition から consequence を分離する」と表現している構造にあります。エージェントは決められたアクションスキーマと材料スキーマの中で設計案と行動を提案するだけで、それが合法か・どんな結果になるかは決定論的シミュレータが判定します（§2.2）。 採点の柱のひとつが、エージェント自体を世界から取り除いてから走らせる評価です。凍結した技術状態を8本の未知の外乱スケジュールに複製し、あとは決定論的な物理とインストール済みのプログラムだけを288ティック走らせます。外乱の内訳は汚染・干ばつ・嵐で、発生中心・タイミング・順序が学習時と変えてあります。ここで測られているのは「エージェントが賢く振る舞えたか」ではなく「エージェントがいなくなった後も動き続ける技術を残せたか」です。 この agent-free の評価で使われるのが held-out resilience AUC（以下、held-out 耐性）で、定義は補足の用語集 S1 に明示式で載っています。時刻 $t$ にアクティブな成果物の集合 $\mathcal{A}_t$ に対し、サービス次元 $k$ の被覆とその平均を ...

何が起きたのか ゼロショット音声クローンに対応した120MパラメータのTTS（text-to-speech、テキスト音声合成）モデル sopro-v2-turbo が、Apache 2.0ライセンスで公開されました。開発者は samuel-vitorino 氏で、モデルは Hugging Face でホストされています（Hugging Face モデルカード）。 モデルカードが示す速度は、次の3つです。 M3 CPU でオフライン 0.24 RTF、ストリーミング 0.21 RTF H100 で 0.07 RTF ラップトップCPUでのストリーミング時、最初の音声が出るまで**（TTFA）約300ms** Hugging Face の API が返すリポジトリのメタデータでは、モデルの作成日時は 2026-08-25 10:56:29 UTC、最終更新は 2026-08-27 00:39:57 UTC、API が F32 として集計する Safetensors パラメータ数は 121,574,193 です（Hugging Face API）。PyPI 側の sopro パッケージも 2.0.0 から 2.0.5 までが 2026年8月27日に一斉リリースされており（PyPI sopro）、公開は8月末の出来事です。 「CPUで実時間の5倍速」の出所は、開発者による r/StableDiffusion への告知投稿です。タイトルは「We open-sourced Sopro V2 Turbo - a 120M voice cloning TTS model that runs 5x faster than real time on CPU」で、当ブログのトレンド収集が8月30日朝に取得した記録と一致します。一方、モデルカードが記載しているのはオフライン 0.24 RTF（約4.2倍）とストリーミング 0.21 RTF（約4.8倍）で、「5倍」という数字そのものは配布物には現れません（Hugging Face モデルカード）。$1/0.21 \approx 4.76$ なので、ストリーミング値を整数に丸めた表現とみられます——ただし投稿者が丸め方を明言したわけではありません。以下では、この「5倍」と公称 RTF の数値上の対応を検証します。 ...

何が起きたのか Z.ai が 2026-08-26 に GLM-5.3-Flash を公開しました。総パラメータ320B・活性18Bの MoE(Mixture-of-Experts、トークンごとに一部の専門家だけを動かす方式)で、ライセンスは MIT、ウェイトは Hugging Face の zai-org/GLM-5.3-Flash に置かれています。モデルカードには「With 320B total parameters and just 18B active parameters」と明記されています。 同時に、OpenRouter と OpenCode へ提供元を伏せて投入され話題になっていた ox-alpha が、このモデルのプレビュー版だったことが公式に認められました。Z.ai 公式ドキュメントは「we tested GLM-5.3-Flash anonymously as ox-alpha on OpenCode and OpenRouter to gather user feedback」と書いています（Z.ai 公式ドキュメント）。TechCrunch も Z.ai が Ox Alpha の開発元であることを認めたと報じていますが、同記事が引いている確認は Bloomberg News の取材に対する Z.ai の回答であり、TechCrunch が独自に取ったものではありません（TechCrunch 2026-08-26）。Z.ai 公式アカウントの発表投稿も「Previously previewed as Ox Alpha, running entirely on Chinese AI chips」と書いており、匿名プレビューと自社の関係、および中国製AIチップ上での運用を明言しています（Z.ai 公式X 2026-08-26）。 筆者が本稿で取り上げたいのは、話題性そのものではありません。公称値として掲げられている数字と、モデルカードの脚注に書かれた測定条件が、ベンチマークごとにばらばらだという点です。 公称1Mコンテキストと、ベンチマークごとに違う評価条件 公式発表と各所の紹介文が揃って掲げているのは「1M-token context window」です。設定ファイル側にも対応する値があります。Hugging Face の config.json では設定上の最大長 max_position_embeddings が 1,048,576 で、$2^{20}$ ちょうどです。これは実装が受け付ける上限の宣言であって、その長さで測った品質を示す値ではありません。 ...

何が起きたのか OpenAIは2026年8月25日、Broadcomと共同開発した自社推論ASIC「Jalapeño」の最初の測定結果を公開しました。公式ページ「Jalapeño’s first results show industry-leading speed and efficiency in AI inference」によると、SemiAnalysisの公開ベンチマークInferenceXのnominal 8k/1k・single-token prediction（公式表記はSTP）条件で、ピーク時のkWあたりスループットは比較システムの1.5〜1.9倍、エンドツーエンドのレイテンシは1.7〜3.6倍でした（OpenAI 2026-08-25）。発表の場はスタンフォードで開かれたHot Chips 2026です（The Register 2026-08-25）。 ただし、この2つの範囲は同じケースの数字ではありません。1.9倍はGPT-OSS 120B対GB200、3.6倍はDeepSeek R1対GB300の結果です。そして「kWあたり」の分母は、ラックやシステム全体の電力ではなく、Jalapeño 700W、GB200 1,200W、GB300 1,400Wという各アクセラレータの公称パッケージTDPです。どちらも公式ページのAppendixに書かれています。 チップ自体は2026年6月24日にBroadcomとの共同発表で公開済みで、設計からテープアウトまで9か月という異例の短さでした（Tom’s Hardware、CNBC 2026-06-24）。今回のHot Chipsは、そこに実測値が乗った回にあたります。以下、公表値を条件ごとに分けて読み直していきます。 1パッケージの数字を並べ直す まず素の仕様から。ここで注意が要るのは、OpenAIの公式結果ページはチップ単体の仕様を一切公表していない点です。容量も帯域も演算性能も出てきません。以下の数字はいずれも媒体報道によるものです。 Tom’s Hardwareは、Jalapeño 1パッケージが演算ダイに6スタックのHBM4を組み合わせ、容量216 GiB・帯域15.4TB/sだと報じています（Tom’s Hardware 2026-08-25）。The Registerも6スタック構成として扱っていますが、こちらは「six 12-high stacksと推定する（we assume）」と自ら断った推定で、容量は216 GBと書いています（The Register 2026-08-25）。演算性能はMXFP4で13.4 PFLOPSとされます（The Register、SemiAnalysis）。電力については公式が数字を出しており、定格700W、ただし「テストしたワークロードでの実測持続電力は550W以下」とされています（OpenAI公式ページ）。 ラック単位では128チップ構成で、4bit演算1.7 EFLOPS、HBM4合計27.5TB、帯域は2PB/sにわずかに届かない水準（The Register）。ここは掛け算で検算できます。 演算: $128 \times 13.4 = 1{,}715$ PFLOPS $= 1.72$ EFLOPS 帯域: $128 \times 15.4 = 1{,}971$ TB/s $= 1.97$ PB/s 容量: $128 \times 216 = 27{,}648$ GB $= 27.6$ TB 3つとも報じられたラック値と整合します。ただしこの検算が確かめているのは、報道された仕様値どうしの内部整合です。3つの数字はどれも公式ページには載っていません。それ以上に効いてくるのが、仕様値と測定値でシリコンのリビジョンが違う点です。SemiAnalysisはこう書いています。「これらの結果はすべて、プログラム開始からわずか9か月のJalapeñoのA0 steppingで取得された。だが、すでにB0 steppingがfabに入っている」。そしてB0にはA0比で約25%高いperf/Wをもたらす最適化が入っており、13.4 PFLOPSはそのB0 steppingの仕様だとしています（SemiAnalysis 2026-08）。 ...

何が起きたのか DeepSeekが2026年8月21日、APIプラットフォーム上で実験版のマルチモーダルモデル deepseek-v4-flash-vision-exp を公開しました（DeepSeek API Docs Change Log 2026-08-21）。公式のリリースノートは、このモデルについて「テキスト能力はDeepSeek-V4-Flashと同等で、マルチモーダルのエージェントベンチマークではOpus-4.8に迫る」という位置づけを示しています（DeepSeek API Docs 2026-08-21）。 同時に公開されたのは、画像を1度アップロードして file_id で参照できる無料のFiles API、そして本モデルをそのまま扱えるDeepSeek Harness 0.1.1です（DeepSeek API Docs 2026-08-21）。料金表を見ると、deepseek-v4-flash-vision-exp の単価は deepseek-v4-flash とまったく同じ行に並んでいます（DeepSeek API Docs 料金ページ）。 ただし、Hugging Faceの deepseek-ai オーガナイゼーションを確認しても、2026年8月22日時点でvision版に対応するウェイトリポジトリは見当たりません。V4系で公開されているのは DeepSeek-V4-Flash-0731、DeepSeek-V4-Pro-0813 などテキストモデルのみです（Hugging Face deepseek-ai）。今回はAPI限定の実験公開、というのが現在地です。 「テキストは同等」の中身──7項目中6項目が上、幅は−1.4〜+5.6 まず引っかかるのは、公式が「テキストは同等」と言いながら、自ら並べたテキスト系エージェント評価7項目のうち6項目で、既存のV4-Flash-0731より高い値が出ていることです。上回っているのは6項目、下回っているのはCybergymの1項目だけで、差の幅は−1.4から+5.6に収まります。 公式リリースのベンチマーク表（画像）から、テキスト系エージェント評価の7項目を並べると次のようになります。 ベンチマーク V4-Flash-Vision-Exp V4-Flash-0731 差 Terminal Bench 2.1 83.9 82.7 +1.2 NL2Repo 57.7 54.2 +3.5 Cybergym 75.3 76.7 −1.4 DeepSWE 59.3 54.4 +4.9 Toolathlon-Verified 75.9 70.3 +5.6 DSBench-Hard 63.6 59.6 +4.0 AutomationBench (Public) 25.7 25.1 +0.6 （DeepSeek API Docs 公式ベンチマーク表より。なおChange Logの本文に載っているのは9項目で、CybergymとToolathlon-Verifiedは本文にはなく、この画像にだけ出てきます） ...

何が起きたのか NVIDIAは2026年8月21日、同社の自律エージェントシステム AVO（Agentic Variation Operators）が対話型推論ベンチマーク ARC-AGI-3 で 100.00 RHAE を記録したと技術ブログで報告しました。公開されている25環境・全183レベルを完了し、環境への操作回数は6,624アクション。ベースモデルはAnthropicのClaude Opus 5です（NVIDIA Technical Blog 2026-08-21）。 ARC Prizeが標準のプロンプトとランナーで測定したClaude Opus 5（High reasoning）の公式値は30.16%（表示上は30.2%）です。2026年7月24日に公開されています。同ページには「Due to the short testing window, ARC-AGI-3 was evaluated only at High reasoning effort」という但し書きも付いています（ARC Prize: Claude Opus 5 Results）。 著者はTerry Chen、Yeyin (Eva) Zhu、Zhifan Ye、Jean-Francois Puget、Humphrey Shiの5名。ブログはこの差分について「The model matters, but the model is not the entire agent」と書いています。 同じブログは、この対比が「the same model family under a different reasoning setting and a substantially different agent system and evaluation setup」の比較であることも明記しています（NVIDIA Technical Blog 2026-08-21）。reasoning設定もエージェント構成も評価条件も違うため、差をそのままAVOの寄与量として読むことは著者自身が否定しています（後述）。それでも30.16%と100.00の開きは、モデルの周囲にあるソフトウェア層（ハーネス）が結果をどれだけ左右するかを示す材料として読まれています。TechCrunchはこれを見出しに取り、NVIDIAのAdel El Hallak氏の「It is the model. It is the scaffolding around the model, which we call the harness, i.e. the set of tools that it utilizes」という発言を引いています（TechCrunch 2026-08-21）。 ...

何が起きたのか Alibabaの Qwen チームが 2026-08-14、270億パラメータのdenseモデル Qwen3.8-27B を Apache 2.0 で公開しました。第三者測定機関 Artificial Analysis は同モデルの Intelligence Index を 52 と算出し、オープンウェイトの同クラス135モデル中1位と位置づけています（Artificial Analysis）。 この52という数字が話題になったのは、クローズドのフロンティアモデルと並んでしまったからです。Artificial Analysis の比較ページ上で、GPT-5.6 Luna（max）の Intelligence Index も 52（Artificial Analysis 比較ページ）。DeepSeek V4 Flash 0731（Reasoning, Max Effort）も 52 です（Artificial Analysis 比較ページ）。 ただし「互角」という言葉が指す範囲は、思ったより狭いです。以下、公称値・第三者指数・手元の実機という3層に分けて確認します。 第1層: 公称値は前世代から跳ねている Hugging Face の公式モデルカードに並ぶ数値は、いずれもAlibaba自社報告です（Hugging Face Qwen/Qwen3.8-27B）。前世代 Qwen3.6-27B との差分が大きいものを抜き出します。 ベンチマーク Qwen3.8-27B Qwen3.6-27B Qwen3.7-Plus Opus 4.6 Max SWE-bench Pro 61.7 53.5 57.6 53.4 DeepSWE 1.1 42.2 13.3 14.2 — QwenSWEBench 79.0 49.3 59.2 63.8 Terminal Bench 2.1 73.0 63.4 64.0 78.2 LiveCodeBench v6 90.3 83.9 89.6 88.8 OSWorld-Verified 84.3 63.9 73.3 72.7 GPQA Diamond 89.2 87.8 90.3 91.3 HLE 30.8 24.0 34.7 40.0 DeepSWE 1.1 の 13.3 → 42.2 は3倍以上です。一方で GPQA Diamond は 87.8 → 89.2 とほぼ横ばい、HLE は 30.8 で Opus の 40.0 に届いていません。伸び幅が大きいのはエージェント的なコーディングとGUI操作のタスクで、GPQA Diamond と HLE（24.0 → 30.8）はそれほどではない、という読み方になります。この非対称性は後処理（ポストトレーニング）に重点を置いた世代だからではないか、というのが筆者の推測です（Alibaba がそう説明しているわけではありません）。 ...

何が起きたのか OpenAIが2026年8月13日、APIの新しいサービス階層として「Ultrafast」の限定プレビューを告知しました。公式ページ『Previewing Ultrafast mode: GPT-5.6 Sol at up to 14X the speed』によれば、GPT-5.6 Sol をStandard処理の最大14倍の速度で走らせ、出力は最大750トークン/秒に達します（OpenAI 2026-08-13）。提供はまずOpenAI APIから始まり、現時点では「a select group of customers」への限定プレビューで、容量の増加に応じて拡大するとされています。 この速度を出しているのはGPUではありません。同日、Cerebrasが自社ブログ『Accelerating GPT-5.6 Sol Ultrafast』とプレスリリースで、Ultrafastが同社のウェハスケールエンジン（WSE、ウェハ1枚をそのまま1個のチップにする設計）上で動いていることを公表しています（Cerebras 2026-08-13、GlobeNewswire 2026-08-13）。Cerebras側は、Ultrafast版のGPT-5.6 SolはStandardと同じ知能で動く、と明記しています。 注目すべきは、新しいモデルが出たのではないという点です。モデルは同じで、売られているのは速度だけ。OpenAIは公式発表のブログ投稿で「Until now, getting real-time speed typically meant choosing a smaller or more specialized model.」と説明しています（OpenAI 2026-08-13）。TechCrunchも同じ文言を引用しています（TechCrunch 2026-08-13）。 速度が三層のSKUになった これでGPT-5.6 Solの速度プレミアム階層は3段になりました(別途、低速・割安のFlex/Batch経路もあります)。整理すると次のとおりです。 階層 速度（Standard比） 価格（Standard比） 実行基盤 Standard 1倍 入力 5ドル/M・出力 30ドル/M 非公表 Fast 最大2.5倍 2倍（入力 10ドル/M・出力 60ドル/M） 非公表 Ultrafast 最大14倍（最大750 tok/s） 未公表 Cerebras WSE 実行基盤について公式に確認できるのはUltrafastがCerebras WSEであることだけで、Standard/Fastの具体的なハードウェアは公開情報からは分かりません。 ...