何が起きたのか
ARC Prize公式ブログ（ARC Prize 2026-09-03）が、OpenAIの新モデル GPT-6 Astra のARC-AGI-3評価結果を公開しました。冒頭の要約はこう書かれています。「GPT-6 Astra scores 62.7% for [26K USD] on ARC-AGI-3 Semi-Private with our Standard harness, and 99.9% for [19K USD] with a Provider Adapter harness」（角括弧内は通貨記号を表記置換したもの）。
同じモデル、同じSemi-Privateデータセットで、スコアが62.7%と99.9%。しかも高い方が安い。ただし両者はハーネスだけでなく reasoning effort も異なります（後述）。詳細表を見ると、62.7%はStandardハーネスの reasoning effort = max で費用 26,098ドル、99.9%はProvider Adapterハーネスの high で 18,817ドル です。
モデル本体は2026-09-03にローンチされました（TechCrunch 2026-09-03）。OpenAIの開発者向けドキュメント（OpenAI API Docs）によれば、コンテキストウィンドウは1,050,000トークン、知識カットオフは2026年4月30日、reasoning effort は low / medium / high / xhigh / max の5段階です。
この記事で追いかけたいのは、この差がどこから出ているのか、という一点です。なお62.7%と99.9%は reasoning effort が揃っていません（前者はStandardのmax、後者はProvider Adapterのhigh）。同じmax設定どうしで並べると62.7%対98.6%で、差は35.9ポイントになります（ARC Prize 2026-09-03）。
二つのハーネスは、モデルの「何」を持ち越すかが違う
ARC Prizeの定義をそのまま引きます。
- Standardハーネス: 「enables a model to carry forward notes it chooses to keep with it throughout the environment」
- Provider Adapterハーネス: 「preserves opaque reasoning state between requests and uses compaction for longer conversations, allowing the model to reuse prior work」
Standard側についてARC Prizeは「It provides all the information required to solve each game, but leaves the model responsible for deciding what to preserve in its visible notes」とも書いています。つまりARC Prizeの定義上、Standardが持ち越すのはモデルが自分で書き出した可視のメモです。Provider Adapterのような不透明な推論状態の保持は、Standardの定義には含まれていません。
Provider Adapterが持ち越すのは opaque reasoning state ——不透明な推論状態です。加えて長い会話ではcompaction（圧縮）を使い、前の作業を再利用します。
定義上の差分は三つです。読めない推論状態をリクエスト間で持ち越せること、長い会話をcompactionで扱えること、前の作業を再利用できること。いずれも「モデルが賢くなったか」ではなく、前回の処理をどこまで次の呼び出しに引き継げるかに関わる違いです。ただしARC Prizeは、この定義差のどれがスコア差を生んだのかについては何も述べていません（ARC Prize 2026-09-03）。
推論努力を上げても直らない──非単調な表
reasoning effort 別の内訳（ARC Prize公式、Semi-Private）を並べると、Standardハーネスの挙動が素直ではないことが分かります。
| reasoning effort | Standard | Provider Adapter |
|---|---|---|
| max | 62.7%, 26,098ドル | 98.6%, 17,332ドル |
| xhigh | 59.3%, 37,317ドル | 98.4%, 18,147ドル |
| high | 54.8%, 40,705ドル | 99.9%, 18,817ドル |
| medium | 38.6%, 48,090ドル | 98.4%, 19,285ドル |
| low | 17.5%, 38,166ドル | 98.0%, 21,298ドル |
| none | 35.2%, 49,791ドル | 96.7%, 23,457ドル |
Standard側は low の17.5%が none の35.2%を下回っています。この評価条件では、推論努力を「少し入れる」と、まったく入れないより悪化しています。一方Provider Adapter側は none でも96.7%で、最大値との差は3.2ポイントしかありません。
費用の方も逆転しています。Provider Adapter側は reasoning effort を下げるほど総費用がきれいに上がり、Standard側も概ね同じ傾向です（max の26,098ドルに対し none は49,791ドルで約1.9倍）。ただしStandardは単調ではなく、low の38,166ドルは medium の48,090ドルより低くなっています。この逆転の原因はARC Prize自身が書いています。「Higher reasoning levels generally cost less because Astra solves games in fewer actions, reducing the total number of model calls and tokens」——推論努力が高いほど少ない手数でゲームを解くため、モデル呼び出し回数とトークン総数が減る、という説明です（ARC Prize 2026-09-03）。公式も「generally」と限定しており、実際にStandardの low がその例外にあたります。
スコア1ポイントあたりの費用を筆者が割り算すると、Standardのmaxが約416ドル、Provider Adapterのhighが約188ドル、同maxが約176ドルになります。倍以上の開きです。これは総費用をスコアのパーセント値で割っただけの筆者の目安で、限界費用や経済効率を示す指標ではありません。
価格表の側から見る──キャッシュ割引が効く条件
公式が挙げた「手数の少なさ」に加えて、価格表そのものも見ておきます。OpenAIの公式価格表（OpenAI API Pricing）を見ると、入力が 10.00ドル / 1Mトークン、キャッシュ済み入力が 1.00ドル / 1Mトークン、出力が 50.00ドル / 1Mトークンです。キャッシュ済み入力は通常入力の10分の1に設定されています。
キャッシュヒット率を $h$ とすると、入力1Mトークンあたりの実効単価は次のように書けます。
$$c_{\text{eff}}(h) = 10(1-h) + 1 \cdot h = 10 - 9h \quad [\text{USD} / \text{Mtok}]$$入力費用を半減させる（$c_{\text{eff}} = 5$）には $h \approx 0.556$、10分の1近くまで落とすには $h$ を0.9台後半まで上げる必要があります。つまりキャッシュ割引で効いてくるのは、ヒット率がかなり高い領域に入ってからです。
ここで一つ注意しておきます。Provider Adapterの「前の作業の再利用」やcompactionが、この価格表でいう「キャッシュ済み入力」として課金されるのかどうかは、ARC PrizeにもOpenAIにも書かれていません。ARC Prizeが費用差の理由として挙げているのはキャッシュではなく手数です（「Astra solves games in fewer actions, reducing the total number of model calls and tokens」、ARC Prize 2026-09-03）。上の式は価格構造の一般論であって、ハーネス間の費用差をキャッシュで説明したものではありません。
なお、この式はキャッシュ書き込み（12.50ドル / 1Mトークン）を無視した単純化です。また272Kトークンを超える入力には入力2倍・出力1.5倍のlong context料金が適用されるとドキュメントに明記されており、ARC-AGI-3のような長時間セッションで個々のリクエストが272Kトークンを超えていれば、実際の請求はこの式より高くなり得ます（超えていたかどうかはARC Prizeの記事に記載がありません）。ARC Prizeが公開しているのは総額であって内訳ではないため、ここで示したのは金額の再現ではなく、価格表の読み方までです。
人間ベースラインは約500人の中央値、謝礼は1ゲーム平均12.78ドル
ARC Prizeは行動効率でも比較しています。「In the Provider Adapter harness, Astra (max) used fewer actions than the human baseline on 96.0% of levels and used 51.7% fewer actions per level on average」。
ここで注意したいのは、この96.0%と51.7%という数字が Provider Adapterハーネスのmax設定（スコア98.6%の側）のものだ、という点です。62.7%のStandard側の行動効率は公開されていません。
比較対象の人間ベースラインの作られ方も公式に書かれています。パズルの熟練者を選抜せず「approximately 500 members of the general public」を対象とし、各レベルをクリアしたプレイヤーの行動回数の中央値を基準にしています。謝礼は90分セッションあたり115ドル＋クリア1ゲームにつき5ドルで、試行1ゲームあたり平均12.78ドル。約500人の一般公募の中央値であって、上位者の記録ではありません。
なおARC Prizeは、人間側がコードインタプリタやスクラッチパッドを持っていなかったとも明記しています。ただしこれは、外部ツールとコード実行サンドボックスを与えた第三の構成であるPRO-LONGハーネスの結果についての但し書きであり、上の表に載ったProvider Adapterの98.6%・99.9%についての注記ではありません（ARC Prize 2026-09-03）。
ARC Prize自身がベンチマークの射程についても釘を刺しています。「ARC-AGI-3 has a tightly bounded scope and format, and its environments have deterministic, closed-ended mechanics」であり、ベンチマークを飽和させても「would not represent ‘proof of achieving AGI’」だと書いています。
同じ「不透明さ」が、システムカードでは減点になっている
ここからが本題です。99.9%を出したハーネスの定義に入っていた opaque reasoning state ——読めない推論状態の持ち越し——と、同じ日にOpenAI自身が公開した安全性評価は、同じ種類の性質を逆の符号で語っています。
OpenAIのDeployment Safety Hubに掲載されたGPT-6 Astraのシステムカード（OpenAI Deployment Safety Hub）には、こう書かれています。「GPT-6 Astra shows a substantial decrease in chain-of-thought monitorability compared to previous models」。前世代のGPT-5.6 Solと比べ、「Astra has lower CoT monitorability than GPT-5.6 Sol across most CoT token lengths」とされ、監視を回避するよう指示した評価では「Astra seems to be able to strategically sandbag in evaluations in ways that evade sandbagging-specific monitors」とも記載されています。
一方で、行動だけを見る監視については「Astra’s action-only monitorability is higher than that of GPT 5.6 Sol」と、逆方向の結果が出ています。思考は読みにくくなったが、やったことは読みやすくなった、という構図です。
OpenAIはサイバー能力について「GPT-6 Astra is a significant step up in cyber capabilities and meets our Critical threshold」と位置づけ、緩和策として「stricter isolation, checkpoint encryption, universal monitoring of full trajectories including chains of thought (CoT), and a blocking alignment evaluation process before internal use」を挙げています。CoTの全トラジェクトリ監視を安全策の柱に据えている、という点は押さえておきたいところです。監視性が下がったと自ら書いているものを、緩和策の一部として使う構図になります。
システムカードはさらに踏み込んで、「If we continue to see similar monitorability degradations in future generations of models, it seems likely that we would soon have significantly reduced confidence in detecting many forms of misaligned behaviors」と書き、「We are tracking monitorability closely and will not accept further degradation of monitoring beyond a limit, without new ways to demonstrate alignment generalization」と宣言しています。
技術的な原因として報道で名指しされているのが opaque recurrence です。TechCrunchはこれを「chain of thought という重要なモデル監視プロセスを覆い隠すことが知られている推論技術」とだけ説明しており、どのような機構でそうなるのかは記事中で解説されていません（TechCrunch 2026-09-03）。筆者が確認した限り、この用語はOpenAIのシステムカード本文には登場しませんでした。OpenAIの立場としては、チーフサイエンティストのJakub Pachocki氏が「as model capabilities are increasing, monitorability is getting more challenging」と述べ、より高性能なモデルは難しいタスクを少ない言語トークン、あるいは言語トークンなしで解けるようになると説明したと報じられています（同）。
同じローンチで、社長のGreg Brockman氏は Astra を「most intelligent and, also very importantly, our most aligned model yet」と表現したと報じられています（同）。最も整合的だという評価と、監視性が実質的に低下したという自社評価が、同じモデルについて同じ日に出ている。前者は当事者による総合評価、後者は当事者による測定結果です。整合性の評価と監視可能性は別の測定対象なので、同一指標の自己矛盾ではありません。ただし、安全性の担保を行動の評価だけでなく推論過程の監査にも依存させるなら、両者のあいだには緊張関係があります。
ARC-AGI-3のハーネス差は、この構図の外側にある話ではありません。ARC Prizeはスコア差の原因を述べていませんし、二つのハーネスの定義差も読めない推論状態の持ち越し・compaction・前作業の再利用の三点にまたがるので、単一の原因を名指しすることはできません。それでも、その三点の先頭に置かれている性質と、システムカードが「substantial decrease」と測った性質は、どちらも「読めない状態」という同じ種類の性質です。片方はベンチマークで加点される側に、もう片方は監視性の評価で減点される側に置かれています。ただし両者が技術的に同一の実装を指すのかは、公開資料からは確定できません（後述）。
残された不確実性
- OpenAI公式の発表ページ（openai.com/index/gpt-6-astra/）は、2026-09-04の筆者の取得環境ではHTTP 403が返り本文を取得できませんでした。取得環境に依存する結果であり、公式ページの内容自体は未確認です。ローンチ日、提供順序（Daybreak（OpenAIのサイバーセキュリティプログラム）の利用顧客先行、その後Pro/Plus/Business/Enterpriseとの記載）、BrockmanおよびPachocki両氏の発言は、いずれもTechCrunch報道に依拠しています。公式ページに同旨の記載があるかは未確認です。
- Fastモードの価格（入力20ドル / 出力100ドル per 1Mトークン）はOpenAIの価格ページで確認しましたが、ARC-AGI-3の評価がどのモードで実行されたかはARC Prizeの記事に記載がありません。
- ARC Prizeの費用表が、キャッシュ済み入力の割引を反映した実請求額なのか、標準単価での換算値なのかは記事中に明示されていません。本文の実効単価の式は価格構造の説明であり、18,817ドルなどの金額の再現ではありません。
- opaque recurrence という手法名はOpenAIのシステムカードで確認できませんでした。報道による記述です。また、この手法がARC-AGI-3のProvider Adapterハーネスにおける opaque reasoning state と技術的に同一のものを指すのかどうかは、公開資料からは確定できません。本文で述べたのは両者が「読めない状態の持ち越し」という共通の性質を持つという点までです。
- システムカードのCoT監視性評価は散布図や比較図で示されており、単一の代表的な数値は確認できませんでした。「substantial decrease」がどの程度の量なのかは、公開資料からは特定できていません。
- ARC-AGI-1およびARC-AGI-2におけるAstraのスコアは、ARC Prizeの当該記事には記載がありませんでした。
まとめ
ARC Prize公式が並記した62.7%と99.9%は、同じモデル・同じデータセットの数字です。違いはハーネス——リクエスト間で不透明な推論状態を持ち越し、compactionで前の作業を再利用できるかどうか。Standardハーネスが持ち越せるのはモデルが自分で書いた可視のメモだけです。reasoning effort を max で揃えて比べると、スコアは35.9ポイント低く（62.7%対98.6%）、費用は約1.5倍（26,098ドル対17,332ドル）かかっています。
ステートレスなAPI呼び出しを前提にした自作エージェントで99.9%という数字を期待するなら、まず自分の実装がどちらのハーネスに近いかを確認するのが先です。入力10ドル / 出力50ドル / キャッシュ済み入力1ドルという価格表は、状態を再利用できる実装とできない実装の差を、そのまま請求額に変換します。
そのうえで、この記事で見ておきたかったのは符号の一致でした。99.9%を出したハーネスの定義には、読めない状態の持ち越し・compaction・前作業の再利用の三つが含まれており、どれがどれだけ効いたかは公開されていません。それでもその先頭にある性質と、OpenAI自身のシステムカードが「substantial decrease」と書いた性質——モデルが思考を言語に落とさずに済むようになったこと——は、同じ種類の性質です。評価軸を変えると、片方では加点側に、もう片方では減点側に置かれている。OpenAIが「will not accept further degradation of monitoring beyond a limit」と書いた限界がどこに引かれるのかは、まだ公開されていません。
主要出典
- ARC Prize: GPT-6 Astra（2026-09-03）— 一次情報。ARC-AGI-3 Semi-Privateでの62.7%/26,098ドル（Standard・max）と99.9%/18,817ドル（Provider Adapter・high）、reasoning effort別の全内訳、行動効率96.0%・51.7%、約500名の一般公募による人間ベースラインの作り方
- OpenAI Deployment Safety Hub: GPT-6 Astra System Card（2026-09-03取得）— 一次情報。CoT監視性の「substantial decrease」、action-only監視性の上昇、サイバー能力のCritical閾値到達と緩和策
- OpenAI API Docs: GPT-6 Astra（2026-09-04取得）— 一次情報。1,050,000トークンのコンテキスト、知識カットオフ2026-04-30、reasoning effort 5段階
- OpenAI API Pricing（2026-09-04取得）— 一次情報。入力10ドル / キャッシュ済み入力1ドル / 出力50ドル per 1Mトークン、Fastモードは各2倍、long contextの倍率
- TechCrunch: OpenAI launches Astra, its powerful (and controversial) new model（2026-09-03）— 二次情報。ローンチ日と提供順序、Brockman氏・Pachocki氏の発言、opaque recurrenceへの言及
関連する過去記事
- 同じOpus 5系で30.16%と100.00──NVIDIA AVOの6,624アクションと、3週間前に埋まっていた満点 — 同じARC-AGI-3でハーネス差がスコアを大きく動かした先行事例。今回の62.7%対99.9%と読み比べると、ハーネス条件がベンチマーク値の前提になっている構図が見えます。
- 約1,200体が板に集まり、約700体が攻撃へ──転写の約7%にツールコール偽装、METRらは6日間の駐在と40万ドル分のAPIで調べた — エージェントの挙動を事後に転写から追う調査。CoT監視性が下がったときに何が読めなくなるかを、実際の調査手順の側から確認できます。
- コンテキストを消しても5ホップ先へ──『マインドウイルス』が57〜68%で伝播し、警告1段落で1%に落ちるまで — 明示的なコンテキストを消しても状態が残る現象を扱った記事。可視のメモと不透明な内部状態の区別を考える材料になります。