『effortは上げるほど賢い』が崩れる場所──Opus 5公式グラフのFrontier-Benchでxhighがmaxを上回る
Photo by Brett Wharton on Unsplash

『effortは上げるほど賢い』が崩れる場所──Opus 5公式グラフのFrontier-Benchでxhighがmaxを上回る

「賢さのダイヤルは、上げれば上げるほど賢くなる」——推論モデルのeffort(思考量)パラメータを触ったことがあれば、そう考えるのが自然です。ところがClaude Opus 5では、少なくとも一部の評価で、その直感が最上段において崩れます。しかもそれが読み取れるのは、外部の批判者の集計ではなくAnthropic自身が公開したグラフです。 先に結論を書くと、「maxは悪い」ではありません。Anthropic公式発表のFrontier-Bench v0.1グラフではxhigh(約44.4)がmax(約43.3)を上回る一方、同じ発表のCursorBenchではmaxまで伸び続けています。正確には、effortと性能の関係は評価系ごとに異なり、常に単調増加するとは限らないということです。 何が起きたのか Anthropicは2026年7月24日にClaude Opus 5を公開しました(Anthropic 2026-07-24)。価格は入力5ドル/出力25ドル(100万トークンあたり、Opus 4.8から据え置き)で、Frontier-Bench v0.1で「Opus 4.8の性能を倍以上に、しかも1タスクあたりのコストは下げて」上回ったとされています(Anthropic 2026-07-24)。 この世代の目玉が、思考にどれだけ計算資源を割くかを段階的に選ぶ「effort」ダイヤルです。Anthropic公式のMigration Guideは、Opus 5がフルセットの5段階——low / medium / high / xhigh / max——に対応すると明記しています(Anthropic Migration Guide)。直感的には右端のmaxが一番賢いはずです。ところが同じガイドは、そのmaxについてこう書いています。 最も要求の高いタスクでは伸びを出せるが、トークン使用量の増加に対して逓減(diminishing returns)を示すことがあり、単純なタスクでは過剰思考(overthinking)に陥りやすい。 つまり「effortは上げるほど賢い」という単調増加の前提を、公式ガイド自身が一箇所で否定しているわけです。本記事では、この非単調性がどこまで一次情報で裏づけられるのか、そしてコーディング用途でhigh / xhigh / maxをどう使い分けるべきかを整理します。 公式ガイドは各effortを何と説明しているか Migration Guideの記述を、値そのままに並べてみます(Anthropic Migration Guide)。 max:最も要求の高いタスクで伸びるが、トークン増に対し逓減し、単純なタスクでは過剰思考に陥りやすい。「最大能力がトークン支出より重要な場面でテストせよ」 xhigh:デフォルトより深い思考を要する、長時間のエージェント・コーディング作業向けの拡張能力 high:デフォルト。多くのタスクでトークン使用量と知能のバランスを取る medium:デフォルトからのコスト削減ステップ。コストとレイテンシの制御として試す価値あり low:最も効率的。短く範囲の限られたタスクやレイテンシ重視の用途に 注目すべきは、highが明示的にデフォルトである点です。Claude APIおよびClaude Code上でOpus 5のデフォルトはhighだとガイドは述べています。そのうえで、コーディングや高自律なエージェント作業にはxhighを、そして「最大能力がトークン支出より重要な場面」に限ってmaxを、という段階づけになっています。 ここで一次情報として重要なのは、公式が明言しているのは「逓減」と「過剰思考」までで、「コーディングのスコアが下がる」とまでは書いていないという区別です。Reddit発の話題では「migration guideがそう言っている」と要約されがちですが、厳密にはガイドの文言は逓減/過剰思考であって、スコア低下そのものはベンチマーク側の観測に依存します。この線引きは以降でも保ちます。 公式グラフで確認できる非単調性 では、スコアは実際に下がるのか。Anthropicの発表ページにはeffort別の結果を示すグラフが掲載されており、そこで確認できます(Anthropic 2026-07-24)。 Frontier-Bench v0.1(Terminal-BenchとHarborのチームが開発した74タスクのベンチマーク)のグラフでは、Opus 5の最良点はxhighの約44.4で、maxは約43.3へわずかに下がります。第三者のベンチマーク解説も同じ値を報告しています(the-decoder 2026-07)。このグラフについてAnthropicは脚注で、mini-SWE-agentハーネスとGKEバックエンドによる内部実行で、各タスク5回の平均報酬だと説明しています。つまりこの数値は第三者集計ではなく、Anthropic自身が公開した評価結果です。 ただし、同じ発表のCursorBenchではmaxまでスコアが伸び続けています。低下が見えるのはFrontier-BenchとArtificial Analysis Coding Agent Indexで、カーブの形は評価系によって違うというのが正確なところです。 数値の差は約44.4と約43.3で1.1ポイント。誤差の範囲とも読めますが、少なくともFrontier-Benchでは「最上段にすれば必ず伸びる」という単調性は成り立っていません。効率の観点ではもっと明快で、Artificial Analysisの集計(AA-Briefcase)ではxhighのコストがFable 5比で約64%(約14.26ドル/タスク)に収まるとされます(Artificial Analysis 2026-07)。 「effortが1段上がると必ずスコアも上がる」という素朴な仮定を式で書くと、effort水準 $e_1 < e_2$ に対して ...

2026年7月26日 · ひとりユニコーン
Kimi K3が示した『オープンウェイトのフロンティア』──2.8兆パラメータMoE、Intelligence Index 57、そして7/27の重み公開
Photo by Taylor Vick on Unsplash

Kimi K3が示した『オープンウェイトのフロンティア』──2.8兆パラメータMoE、Intelligence Index 57、そして7/27の重み公開

「中国のオープンウェイトはフロンティアの一歩後ろ」という前提が、2026-07-16に崩れました。中国のAIラボ Moonshot AI(月之暗面)が同日、フラッグシップの Kimi K3 をWebとAPIで公開し、独立ベンチマークで米国の最上位モデル群に肩を並べる数値を出したためです。しかも重みは公開予定です。 何が起きたのか Moonshot AIは2026-07-16、2.8兆パラメータのMixture-of-Experts(MoE、専門家混合)モデル Kimi K3 を発表し、WebサイトとAPIで即日利用可能にしました(Simon Willison 2026-07-16)。独立評価機関 Artificial Analysis の集計では、Kimi K3 の Intelligence Index は57点で、「Opus 4.8 および GPT-5.5 と同等、ただし Fable 5 と GPT-5.6 Sol には及ばない」と位置づけられました(Artificial Analysis 2026-07-16)。 この57点という数値そのものより重要なのは、それが公開予定の重み(オープンウェイト)を持つモデルの数字だという点です。Artificial Analysis は「Moonshot AIが2.8兆パラメータのモデルの重みを公開する計画を表明しており、実現すれば最上位のオープンウェイトモデルになる」と述べています。重みの公開は 2026-07-27 に予定されていると複数の一次報道が伝えています(Simon Willison 2026-07-16、the-decoder 2026-07-16)。 つまり「クローズドな米国モデルとほぼ同等の知能を、1週間後には誰でもダウンロードして自前のGPUで動かせるようになる」という構図です。ここに今回の騒ぎの核心があります。 アーキテクチャ:2.8兆パラメータの「疎な」巨人 Kimi K3 は総パラメータ2.8兆で、Simon Willison はこれを「最初のオープンな3兆クラスモデル」と表現しています(Simon Willison 2026-07-16)。ただし2.8兆すべてが毎回動くわけではありません。MoE構成では、トークンごとに一部の専門家(expert)だけが起動します。Kimi K3 は 896個の専門家のうち16個をトークンごとに活性化し、注意機構には Kimi Delta Attention を採用しています(Artificial Analysis 2026-07-16)。 このスパース性(疎性)がMoEの経済的な肝です。トークンあたりの活性化割合 $r$ を専門家数で近似すると、 $$ r \approx \frac{16}{896} \approx 0.018 $$となり、総パラメータのおよそ1.8%しか各トークンの計算に関与しません。総容量2.8兆で知識を蓄えつつ、実効的な計算コストは活性パラメータぶんに抑える——大規模オープンウェイトが現実的に配布・推論可能なのは、この疎性設計あってのことです。 ...

2026年7月17日 · ひとりユニコーン
お問い合わせ: [email protected]