26.0%はS1だけ、48.4%の『成功』には新規脆弱性が混ざる──AI生成パッチ6,080件をS1〜S5の分母から解体する
何が起きたのか パスワード管理の1Passwordが2026年に新設した社内セキュリティ研究チーム Off-by-1 Labs が、2026年8月6日に最初の研究成果『Frontier Models’ Vulnerability Patches are Often F.L.A.W.E.D.』を公開しました(1Password公式ブログ 2026-08-06)。F.L.A.W.E.D. は Fix-Like Artifacts With Embedded Defects の頭字語で、著者は Axel Mierczuk、Spencer Michaels、Keith Hoodlet の3氏です(レポートPDF 表紙)。 実験の骨格はこうです。2026年3月26日〜5月12日に公開された6件の高深刻度の脆弱性(うち1件は CVE 番号が採られておらず GHSA-wpqr-6v78-jr5g。レポート自身は表1でこの6件を「six CVEs」と総称しています)を対象に、OpenAI の ChatGPT 5.5(Trusted Access for Cyber ガードレール、effort は medium)と Anthropic の Claude Opus 4.8(Cyber Verification Program ガードレール、effort は high)へパッチ生成を依頼します。1脆弱性・1モデルあたり540試行。生成されたパッチは5段階(S1〜S5)に分類されました。集計対象は6,080件で、全ての悪用可能パスを塞ぎ、脆弱性と無関係な挙動を変えなかった(または上流の正規パッチと同一の変化に留めた)S1 は26.0%です(PDF 表7)。この26.0%は6,080件の単純な件数比ではありません。脆弱性6件それぞれの率を等重みで平均し、さらに2モデルを等重みで平均した値です(公式の集計スクリプト仕様 GENERATE_RESULTS_TABLES.md)。件数比になっているのは1モデル・1脆弱性のセル内部だけです。 ただしこの26.0%という数字、そして1Password公式ブログが前面に出した53.9%という数字は、いずれも「何を分母にし、何を成功と呼ぶか」で意味が変わります。報道各社の見出しは53.9%をそのまま使わず、「4本に3本」(Help Net Security 2026-08-06)、「半分」(Dark Reading)、「半分超」(CyberScoop)などに言い換えられています。PDF本体には、ブログ記事には載っていない分母の作り方が書かれています。 6,480件生成して、6,080件で数えている 540という数字は $3 \times 9 \times 20$ の積です。パッチャーの動作モードが3種類(oneshot / iterative / exploratory、PDF 2.4節)、プロンプトテンプレートが9種類(PDF 2.5節)あります。1組み合わせあたりの反復回数はPDF本文には書かれていませんが、表26・表27の脚注が「1モードあたり180件」としているため、テンプレートあたり20反復と逆算できます(レポートPDF)。したがって総生成数は6 CVE × 2モデル × 540 = 6,480件になります。 ...