何が起きたのか

NVIDIAは2026年8月21日、同社の自律エージェントシステム AVO（Agentic Variation Operators）が対話型推論ベンチマーク ARC-AGI-3 で 100.00 RHAE を記録したと技術ブログで報告しました。公開されている25環境・全183レベルを完了し、環境への操作回数は6,624アクション。ベースモデルはAnthropicのClaude Opus 5です（NVIDIA Technical Blog 2026-08-21）。

ARC Prizeが標準のプロンプトとランナーで測定したClaude Opus 5（High reasoning）の公式値は30.16%（表示上は30.2%）です。2026年7月24日に公開されています。同ページには「Due to the short testing window, ARC-AGI-3 was evaluated only at High reasoning effort」という但し書きも付いています（ARC Prize: Claude Opus 5 Results）。

著者はTerry Chen、Yeyin (Eva) Zhu、Zhifan Ye、Jean-Francois Puget、Humphrey Shiの5名。ブログはこの差分について「The model matters, but the model is not the entire agent」と書いています。

同じブログは、この対比が「the same model family under a different reasoning setting and a substantially different agent system and evaluation setup」の比較であることも明記しています（NVIDIA Technical Blog 2026-08-21）。reasoning設定もエージェント構成も評価条件も違うため、差をそのままAVOの寄与量として読むことは著者自身が否定しています（後述）。それでも30.16%と100.00の開きは、モデルの周囲にあるソフトウェア層（ハーネス）が結果をどれだけ左右するかを示す材料として読まれています。TechCrunchはこれを見出しに取り、NVIDIAのAdel El Hallak氏の「It is the model. It is the scaffolding around the model, which we call the harness, i.e. the set of tools that it utilizes」という発言を引いています（TechCrunch 2026-08-21）。

ただし、この発表で最も注意して読むべき数字は100.00ではありません。6,624のほうです。

RHAEという物差しが測っているもの

ARC-AGI-3は、ARC Prizeが「an interactive reasoning benchmark which challenges AI agents to explore novel environments, acquire goals on the fly, build adaptable world models, and learn continuously」と定義しているベンチマークです（ARC Prize公式）。エージェントには操作説明もルールも目標も与えられません。NVIDIAブログの表現でも「An agent enters unfamiliar game-like environments without instructions, explicit rules, or a stated goal.」です（NVIDIA Technical Blog 2026-08-21）。

スコアのRHAEはRelative Human Action Efficiency（人間比の行動効率）の略で、テクニカルレポート（v2）によればレベル $l$・環境 $e$ における素点は次式です（ARC-AGI-3 Technical Report, arXiv:2603.24621）。

$$ S_{l,e} = \min\left(1.15,\ \frac{h_{l,e}}{a_{l,e}}\right)^{2} $$

$a_{l,e}$ がAIの行動回数、$h_{l,e}$ が人間ベースライン。人間ベースラインは「the upper-median best human by number of actions used」、つまり各レベルをクリアした参加者を行動回数で順位付けしたときの上位中央値のプレイヤーの行動回数と定義されています（4〜5人がクリアしたレベルなら3位の人物、という例示が付いています）。各環境につき一般テスター10名が計測されます（ARC-AGI-3 Technical Report, arXiv:2603.24621）。二乗されるため、人間の2倍の行動を使うとスコアは1/2ではなく1/4になります。上限は1.15で、レポートは「we cap the per-level efficiency an AI can receive at 1.15x human baseline」「The 1.15 cap allows AI systems that are moderately more efficient than the human baseline to receive credit for that efficiency」と説明しています。人間より効率的に解けたレベルは、最大115%まで加点されます。

環境スコアは、完了したレベルの加重割合（レポートのいうenvironment cap）と、レベル番号 $l$ を重みとした加重平均の、小さい方です。

$$ E_e = \min\left(\frac{\sum_{l=1}^{k} w_l}{\sum_{l=1}^{n} w_l},\ \frac{\sum_{l=1}^{n} w_l S_{l,e}}{\sum_{l=1}^{n} w_l}\right) $$

$k$ が完了したレベル数、$n$ が環境あたりのレベル数（5）、$w_l = l$ です。全体スコアは環境スコアの平均で、$T = \frac{1}{|D|}\sum_{e \in D} E_e$。つまりレベル単位の得点は0〜115%まで伸びる一方、環境スコアと全体スコアは0〜100%に収まります。

加えて、フル評価の計算コストが「(tens of thousands of dollars in API costs)」と書かれるほど重いことから、レポートは1レベルあたり人間ベースライン中央値の5倍という行動予算を課しています。超過したエージェントはそこで打ち切られます──「the agent is terminated after 5n actions」（ARC-AGI-3 Technical Report, arXiv:2603.24621）。

ここが重要な点です。100.00 RHAEは、全25環境を完了し、各環境の加重効率が上限の100%に達したことを示します。ただし、183レベルのすべてが人間ベースライン以下の行動回数だった、とまでは意味しません。あるレベルを人間より効率的に解いた超過分（最大115%）が、同じ環境内にある100%未満のレベルを補い得るからです。一方で環境スコアと全体スコアは100%で飽和します。満点に達したシステム同士の総行動数の差は、集約されたスコアには現れません。

満点自体はNVIDIAが最初ではない

公開情報で確認できる範囲では、ARC-AGI-3の100.00 RHAEへの到達はNVIDIAの発表より前にも報告されています。先行例として確認できるのが Tycho（Active Abstraction with Programmatic World Models for ARC-AGI-3）で、2026年7月30日にarXivへ投稿された論文が「With this selected policy, GPT-5.6 Sol and Opus 5 both reach 100.00 RHAE and complete all 183 levels.」と報告しています。行動回数はOpus 5で6,641、GPT-5.6 Solで7,766です（arXiv:2607.28287）。ARC Prizeのコミュニティ・リーダーボードにも2026年7月29日付でRHAE 100.0として載っています（arXiv投稿はその翌日の7月30日）。なお、これが史上初の100.00到達かどうかは公式には確認できておらず、Tycho論文自身も初到達を主張してはいません。

その6日後、MITのQiushi Han、Keya Hu、Linlu Qiu、Cathy Wu、Kaiming Heらによる VISTA（A Visual Harness for Reasoning in an Interactive World）が2026年8月5日に、Claude Opus 5.0で100.00、GPT-5.6 Solで98.27を報告しました。行動回数はOpus 5.0で7,542、GPT-5.6 Solで10,063。初見の人間プレイヤーの合計17,135アクションに対して「56.0% fewer actions than first-time human players」と書かれています（VISTA プロジェクトページ 2026-08-05）。

NVIDIAの6,624はVISTAの7,542に対して約12%少ない、という位置づけです。人間の17,135と比べれば約61%少ない計算になります。ただし17,135はVISTAがプロジェクトページで提示した人間基準で、NVIDIAが公表している比較はVISTAの7,542に対する約12%のみです。61%は本記事の算出であり、NVIDIAの公表値ではありません。比較対象の取り方にも注意が要ります。NVIDIAブログはTychoについて「Rather than centering our ARC-AGI-3 system on explicit programmatic world-model construction, as explored by [Tycho]」と設計方針の対比で1度触れるだけで、Tychoがすでに100.00 RHAEへ到達している事実には言及せず、行動回数の比較もVISTAに対してのみ「approximately 12% fewer actions」と述べています。TychoのOpus 5は6,641アクションで、AVOの6,624との差は0.26%です（arXiv:2607.28287、NVIDIA Technical Blog 2026-08-21）。

行動回数はRHAEの入力そのものですが、両者がともに100.00へ達した時点で、その差は集約値の上限に吸収されて見えなくなります。そしてNVIDIA自身がこの比較の弱さを明記しています。12%の差は「should not be interpreted as a controlled ablation: the two systems differ in agent backend, observation representation, memory, context management, and other implementation details」であり、統制されたアブレーションではない、と。

実際、観測モダリティからして違います。ブログによれば「VISTA’s primary configuration uses a rendered 512 x 512 PNG, while also exploring textual-grid representations. In the AVO configuration, the LLM operated in a text-only modality: each observation was supplied as an exact 64 x 64 text grid」。VISTAはゲーム画面を画像として見るハーネス、AVOは画像トークンを一切送らないテキストのみのハーネス。同じ100.00を、違う感覚器で取っています。

推移も押さえておく価値があります。ARC-AGI-3のテクニカルレポート公開時点でのsemi-privateリーダーボードは、Opus 4.6 (Max)が0.50%、Gemini 3.1 Pro Previewが0.40%、GPT 5.4 (High)が0.20%、Grok-4.20 (Beta 0309 Reasoning)が0.10%でした（ARC-AGI-3 Technical Report, arXiv:2603.24621）。そこからARC Prize標準評価でのOpus 5（High）30.16%を挟み、ハーネス付きの満点報告が3システム（実行単位でTychoのOpus 5とGPT-5.6 Solを分ければ4件）、という順序です。

ハーネスの中身

NVIDIAブログはAVOの構成要素として、永続メモリ、supervision（監督）、ツール利用、実行フィードバック、リカバリ機構などを挙げています。ツール利用については「can inspect and edit code, run commands, consult documentation, and validate its work through execution」と説明されています。ここでは記事の主題に関わる3点を取り上げます（NVIDIA Technical Blog 2026-08-21）。

  1. 永続メモリ：「carries forward prior implementations, evaluation results, compiler and profiler outputs, and accumulated reasoning, allowing the agent to resume from the current state rather than repeatedly reconstructing the search」──過去の実装、評価結果、コンパイラ・プロファイラ出力、蓄積された推論を持ち越し、探索を毎回作り直すのではなく現在地から再開できるようにする
  2. supervisor：メインエージェントとは別に「monitors the broader trajectory for stagnation or repeated unproductive cycles and can redirect the main agent toward alternative strategies when needed」──探索軌跡全体を監視し、停滞や非生産的なループを検知して別戦略へ誘導する
  3. 実行フィードバック：GPUカーネル最適化ではコンパイラとプロファイラ、ARC-AGI-3では環境の状態遷移と行動結果が、仮説の接地された検証材料になる

ループ自体は「form a hypothesis, act, observe evidence, update state, and continue」と表現されており、構造そのものは特別なものではありません。TechCrunchはEl Hallak氏がsupervisorを「It almost acts like a CEO to nudge the agent when it goes off direction or starts exploring a path that it might lead to a dead end」と説明したと伝えています。

ハーネスがコストを左右するという指摘は他社からも出ていて、同記事はDatabricksのAli Ghodsi氏の「You can pick the same model but different harnesses, and you get significantly more cost if you use the wrong harness」を引いています。同記事によれば、OpenAIもハーネスの設定を2つ変えるだけでARC-AGI-3のスコアを3倍にしたとされ、ただしNVIDIAの100%には届いていません。

元はGPUカーネルの進化探索だった

AVOはARC-AGI-3のために作られたものではありません。原論文『AVO: Agentic Variation Operators for Autonomous Evolutionary Search』は2026年3月25日にarXivへ投稿されたもので、著者にはMing-Yu Liu、Vinod Grover、Luis Ceze、Tianqi Chenらが並びます（arXiv:2603.24517）。

アブストラクトの定義は「a new family of evolutionary variation operators that replace the fixed mutation, crossover, and hand-designed heuristics of classical evolutionary search with autonomous coding agents」。進化計算の突然変異・交叉といった固定オペレータを、自律コーディングエージェントで置き換えるという設計です。

対象はNVIDIA Blackwell（B200）向けのattentionカーネル最適化で、cuDNN比で最大3.5%、FlashAttention-4比で最大10.5%の改善を報告。grouped-query attentionへの転用ではcuDNN比7.0%、FlashAttention-4比9.3%とされています。multi-head attentionの進化に7日間、そこからGQA変種への適応に追加30分。技術ブログ側では、500を超える最適化方向の探索と7日間で40のコミット済みカーネル版という数字も出ています。

NVIDIAはこの転用可能性を「what transfers is not domain knowledge, but the machinery for sustained autonomous progress」と表現しています。ドメイン間で移るのは知識ではなく、推論とフィードバックを長時間積み上げる機構のほうだ、という主張です。CUDAカーネルの探索とルール不明の2Dゲームの探索が同じ骨格で回る、という点がこの発表の実質的な中身にあたります。

残された不確実性

公開セットのみである点。NVIDIA自身が「These results cover the 25-environment ARC-AGI-3 public set using the official scorecard and RHAE metric. They are not results on the semi-private or fully private competition sets.」と明記しています（NVIDIA Technical Blog 2026-08-21）。ここでいうofficial scorecardは、ARC Prizeが独立に検証した公式スコアとは別物です。AVO・VISTA・Tychoの100.00はいずれも公開セットでの報告値にあたり、ARC Prizeのコミュニティ・リーダーボードには「Scores are self-reported unless noted otherwise. Results on the ARC-AGI-1 and ARC-AGI-2 semi-private sets are run and verified by ARC Prize. Everything else is scored on a public set and self-reported. We aren’t able to verify the authenticity of self-reported scores and won’t independently verify submissions except in extraordinary cases」という注意書きが掲げられています。同リーダーボードにARC-AGI-3の100.0で掲載されているのは2026年7月29日のTycho（$2,986）のみで、VISTAとAVOは掲載されていません（ARC Prize Community Leaderboard、2026-08-22閲覧）。Hacker Newsでも挙がった論点はこれで、達成されたのは25環境の公開セットであってsemi-private/privateセットではない、オーバーフィットのリスクが残りコンペ提出時に同じ結果が出るとは限らない、という趣旨の指摘が複数付いています（Hacker News）。公開25環境で満点でも、非公開セットで再現するかは別の問題です。

時間とコストの内訳が非公開。同スレッドには、評価をエンドツーエンドで完了するのに実際どれだけかかったのかがブログに書かれていない、という指摘もあります。RHAEは行動回数のみを測る指標で、1アクションあたりの推論トークン量も壁時計時間も金額もスコアに入りません。行動回数が少ないことは、1アクションあたりにより多くの推論を積んだ結果である可能性を排除しません。6,624アクションが何時間・いくらで達成されたかは、現時点のブログからは読み取れません。

30%という比較対象の性質。NVIDIAはモデル単独での数値について「These numbers therefore should not be interpreted as a direct measurement of the performance contribution of AVO; rather, they illustrate that model-level evaluation alone does not characterize the performance of a complete agent」と留保しています。30%→100%をAVOの寄与量そのものと読むことは、著者自身が明示的に否定しています。

GPT-5.6 Solでの検証は部分的。ブログはGPT-5.6 Solについて「we additionally paired AVO with GPT-5.6 Sol on a challenging subset of games」と書き、「These preliminary results suggest complementary operating profiles across models, and we leave a broader systematic comparison to future work」としています。Solは壁時計時間で速く到達したケースがあり、Opusは環境アクション数が少なかった、という傾向差の報告にとどまります。

AVOの公開状況。本文テキストを読む限り、NVIDIAの技術ブログはAVO論文やARC-AGI-3ベンチマーク、VISTA、Tychoのドキュメントへのリンクを掲げる一方で、AVOのコードやハーネスの配布・オープンソース化に言及した記述は確認できませんでした（NVIDIA Technical Blog 2026-08-21）。公開しないと明言されているわけでもないため、読者が自分で再現できる形になっているかは、現時点では確認できていません。

まとめ

NVIDIAの発表を「AIが新たな壁を破った」とだけ読むと、たぶん一番面白い部分を取り逃します。ARC-AGI-3の満点は3週間前にTychoが、その6日後にMITのVISTAが達成済みで、RHAEという指標は満点に到達した時点で解像度を失っています。今回の6,624対7,542という差は、指標がもう測らなくなった領域での差でした。しかも同じ領域でTychoは6,641を出しており、比較する相手を替えれば差はほぼ消えます。

実務的な含意は2つあります。ひとつは、同じClaude Opus 5でもハーネスを変えるとベンチマーク上の振る舞いが変わるという点です。ただし今回の30.16%と100.00は評価条件ごと異なる比較で、ハーネスの寄与量を測った数字ではありません。永続メモリ・supervisor・実行フィードバックという3点は、自社のエージェント基盤を設計するときのチェックリストとしてそのまま使えます。もうひとつは、ベンチマークのスコアがモデル名ではなくシステム名で語られ始めているという変化です。VISTAもAVOも、報告しているのは「Opus 5のスコア」ではなく「Opus 5を載せた自分たちの構成のスコア」です。モデル比較表を見るときに、どのハーネスで測ったのかを併せて確認する必要が出てきました。

そして満点が複数出た後の識別子が行動回数だったように、次の識別子はおそらくコストと時間になります。それを載せない発表は、比較材料としては半分しか届いていません。

主要出典

関連する過去記事