14倍のはずが実タスクでは5.6倍──OpenAIが売り始めた『速度というSKU』とCerebras依存の内訳
Photo by Laura Ockel on Unsplash

14倍のはずが実タスクでは5.6倍──OpenAIが売り始めた『速度というSKU』とCerebras依存の内訳

何が起きたのか OpenAIが2026年8月13日、APIの新しいサービス階層として「Ultrafast」の限定プレビューを告知しました。公式ページ『Previewing Ultrafast mode: GPT-5.6 Sol at up to 14X the speed』によれば、GPT-5.6 Sol をStandard処理の最大14倍の速度で走らせ、出力は最大750トークン/秒に達します(OpenAI 2026-08-13)。提供はまずOpenAI APIから始まり、現時点では「a select group of customers」への限定プレビューで、容量の増加に応じて拡大するとされています。 この速度を出しているのはGPUではありません。同日、Cerebrasが自社ブログ『Accelerating GPT-5.6 Sol Ultrafast』とプレスリリースで、Ultrafastが同社のウェハスケールエンジン(WSE、ウェハ1枚をそのまま1個のチップにする設計)上で動いていることを公表しています(Cerebras 2026-08-13、GlobeNewswire 2026-08-13)。Cerebras側は、Ultrafast版のGPT-5.6 SolはStandardと同じ知能で動く、と明記しています。 注目すべきは、新しいモデルが出たのではないという点です。モデルは同じで、売られているのは速度だけ。OpenAIは公式発表のブログ投稿で「Until now, getting real-time speed typically meant choosing a smaller or more specialized model.」と説明しています(OpenAI 2026-08-13)。TechCrunchも同じ文言を引用しています(TechCrunch 2026-08-13)。 速度が三層のSKUになった これでGPT-5.6 Solの速度プレミアム階層は3段になりました(別途、低速・割安のFlex/Batch経路もあります)。整理すると次のとおりです。 階層 速度(Standard比) 価格(Standard比) 実行基盤 Standard 1倍 入力 5ドル/M・出力 30ドル/M 非公表 Fast 最大2.5倍 2倍(入力 10ドル/M・出力 60ドル/M) 非公表 Ultrafast 最大14倍(最大750 tok/s) 未公表 Cerebras WSE 実行基盤について公式に確認できるのはUltrafastがCerebras WSEであることだけで、Standard/Fastの具体的なハードウェアは公開情報からは分かりません。 ...

2026年8月16日 · ひとりユニコーン
ベース744B-A40Bは据え置きでDeepSWEは46.2→66.9──GLM-5.3のウェイト公開は安全性評価後の約2週間後、ExploitGymではMythos 5に大差
Photo by FlyD on Unsplash

ベース744B-A40Bは据え置きでDeepSWEは46.2→66.9──GLM-5.3のウェイト公開は安全性評価後の約2週間後、ExploitGymではMythos 5に大差

何が起きたのか Z.ai(智譜AI)が2026-08-14に GLM-5.3 を公開しました。特徴は2点あります。1つ目は、ベースモデルを前世代 GLM-5.2 と同じまま据え置き、性能向上をポストトレーニング由来と説明していること(MarkTechPost 2026-08-14)。そのベースの公式表記は744B-A40B、総パラメータ744Bのうちアクティブ40BのMoEです(Z.ai 公式リポジトリ)。2つ目は、オープンウェイトを掲げてきた同社が、今回はウェイト公開をローンチの約2週間後に置いたことです。公式ブログの記述は「We will release the weights in two weeks after launch, once safety evaluation and hardening are complete.」で、安全性評価とハードニングの完了を条件としています(Z.ai 公式ブログ)。 同じ発表の中で Z.ai は「As we scaled post-training, cyber capability developed faster than we expected.(ポストトレーニングをスケールさせる中で、サイバー能力が予想より速く伸びた)」とも書いています。ただし公式ブログはこの2つを別の箇所に並置しているだけで、サイバー能力の伸びがウェイト公開の時期を決めた、という因果までは明示していません。両者を因果として報じているのは Axios など媒体側です。 なお公式ブログ https://z.ai/blog/glm-5.3 は、通常のページ取得では本文が得られません。初期HTMLは598バイトの空シェルで、本文・比較表・脚注はページが読み込む JavaScript バンドル(/blog/assets/glm-5.3-*.js)に収録されています。本記事はこのバンドルを直接取得し、スコア表と評価条件の脚注を確認したうえで書いています。以下の数値は、特記のない限り公式ブログの比較表と脚注によるものです。 数字の分解:コーディングとエージェント 公式ブログの比較表から、GLM-5.2 との対比と、同表に並ぶクローズド勢の値を抜き出すと次のとおりです。表の列は GLM-5.3 / GLM-5.2 / Kimi K3 / DeepSeek-V4 Pro-0813 / Qwen3.8-Max / Opus 4.8 / Fable 5 (w/ fallback) / GPT-5.6 Sol の8モデルです。 ...

2026年8月15日 · ひとりユニコーン
DeepSWE 49.0→65.3を3週間で──Gemini 3.7 Flashの導入価格は12月31日で終わり、1月1日に単価が2倍になる
Photo by Tamanna Rumee on Unsplash

DeepSWE 49.0→65.3を3週間で──Gemini 3.7 Flashの導入価格は12月31日で終わり、1月1日に単価が2倍になる

何が起きたのか Googleは2026-08-13、Gemini 3.7 Flashを発表しました(Google公式ブログ 2026-08-13)。公式ブログはこれを「our most intelligent workhorse model yet for coding and agents」(コーディングとエージェント向けの、これまでで最も知的なワークホースモデル)と表現しています。前世代のGemini 3.6 Flashが公開されたのは2026-07-21ですから、後継が出るまで約3週間です。公式ブログは、開発者からのフィードバックとアルゴリズム面の改良を受けた3週間での更新だとしています。 公表された前世代との比較は次の5項目です(同ブログ)。 ベンチマーク 3.7 Flash 3.6 Flash FrontierCode 1.1 Main 43.6% 34.4% DeepSWE v1.1 65.3% 49.0% WebDev Arena Elo 1588 1538 GDP.pdf 34.0% 22.0% AutomationBench 30.4% 17.0% ※ DeepSWEの3.6 Flash値は、同日のGoogle公式性能表では48.6%と表記されており、公式資料間でも49.0% / 48.6%の揺れがあります。また評価メソドロジーによれば、3.7 FlashのDeepSWE値はGoogleの自己計測(high thinking設定)、3.6 Flash値は公開リーダーボード由来で、完全な同条件比較ではありません(Google DeepMind 公式性能表、評価メソドロジー)。 そしてもう一つ、ベンチマーク以上に実務へ効く数字があります。Gemini APIの価格(Standardティア)は100万トークンあたり入力0.75ドル・出力3.75ドルですが、これは2026-12-31までの導入価格で、2027-01-01からは入力1.50ドル・出力7.50ドルになります(Google AI for Developers 公式ドキュメント)。単価がちょうど2倍になる日付が、リリース時点で予告されている構図です。 「値上げ」ではなく「導入価格の終了」 まず、この2倍を素朴に値上げと読むと事実を誤ります。 Gemini APIの価格ページ(2026-08-14閲覧)を見ると、導入価格の対象はGemini 3.7 Flashだけではありません。Gemini 3.6 Flashも同じく入力0.75ドル・出力3.75ドルで掲載されており、2027-01-01から入力1.50ドル・出力7.50ドルへ移行します。一方でGemini 3.5 Flash-Liteは2026-08-14時点で入力0.30ドル・出力2.50ドルのままで、Flash本体のような期間限定価格の注記は付いていません(Gemini API 価格ページ)。つまり年末で一斉に切れるのは、3.7 Flashと3.6 Flashにかかった期間限定の割引です。 ...

2026年8月14日 · ひとりユニコーン
BLEURT 70は人間の64.6を超えたのか──DeepMind SL2Tが座標だけを送る設計と、ASL→英語だけという現在地
Photo by Samantha Gades on Unsplash

BLEURT 70は人間の64.6を超えたのか──DeepMind SL2Tが座標だけを送る設計と、ASL→英語だけという現在地

何が起きたのか Google DeepMindが2026年8月12日、手話をテキストへ翻訳するモデル「SL2T」(sign-language-to-text)を公開し、Pixel 11のGboardとLive Transcribeに搭載すると発表しました(Google DeepMind公式ブログ)。Pixel 11は同日に予約受付が始まり、出荷開始は2026年8月20日のため、実際に手元で使えるのは出荷以降になります(Engadget 2026-08-12)。公式は「massively multilingual sign-language-to-text translation」モデルと位置づけ、学習データは50を超える手話言語・10万時間超、うち約25%がアメリカ手話(ASL)だとしています。 評価については、手話翻訳のベンチマークであるFLEURS-ASLのsd-testでzero-shot BLEURT 70を記録し、公式ブログはこれを「significantly higher than any previously reported score」と表現しています。製品側の提供範囲は現時点でASL→英語のみで、対応デバイスもPixel 11が先行、他機種は今後という段階です(SiliconANGLE 2026-08-12)。公式ブログは提供形態について「You can experience SL2T in Gboard and Live Transcribe first on Pixel 11, with more devices coming soon — all at no additional cost」と書いています。 BLEURT 70という数字をどう読むか BLEURTは、参照訳と生成訳の対を人間の評価スコアに回帰するよう学習された評価指標です。BLEUのように一致n-gramを数える設計ではないため、絶対値の解釈はチェックポイント依存で、本来はモデル間の相対比較に使うのが素直な使い方です。 それでも70という値を評価する足場はあります。FLEURS-ASLを提案した論文(arXiv:2408.13585, 2024-08-24、NAACL 2025)は、ASL→英語のcaption-levelベースライン(先行モデル)をBLEURT 33.6・38.6・40.3(zero-shot・signer-independent finetuning・signer-dependent finetuning)として報告しており、同論文自身の提案モデルはさらに高いBLEURT 37.2〜43.4を記録しています。機械側の数字を単一の範囲として一括りにはできませんが、SL2Tが主張する70はこれらのどの数字よりも高い水準です。同じ論文は「別の人間による翻訳」を参照訳と突き合わせた場合のスコアを64.6 BLEURTとして併記しており、70はこの人間側の目安も数値上は上回っています。 ここで注意が要ります。64.6という数字は「人間の翻訳能力の上限」ではなく、論文自身がモデル結果と単純に比較できる値だとも位置づけていません。FLEURS-ASLのASL動画はCertified Deaf Interpreter 5名が英語原文をASLへ訳して収録したもので、64.6 BLEURTは、DPAN経由で募集した「手話教育の専門的訓練・経験を持つネイティブのろう者ASL話者」1名が、その5名のsigner-dependent test setから各8記事・1文ずつ抽出した計40文のASLクリップを英語へ訳し戻し、その訳文をFLEURSの元の英語原文に対して採点した値です(arXiv:2408.13585)。論文のTable 2脚注は「the human baseline scores are not perfectly comparable…because they are for a subset of the data that is not necessarily representative due to the sampling method and small size」と明記しており、抽出法と40文という標本の小ささを理由に、人間ベースラインをモデル結果と完全に比較できるとはしていません。70が64.6を数値上は上回ること自体は事実ですが、この注記がある以上「人間を超えた」と結論づけることはできません。手話から英語への翻訳は言い換えの自由度が大きいことに加え、双方向の翻訳誤りや視覚的な曖昧性も差を生み得るため、人間対人間でもスコアは頭打ちになります。BLEURTで人間の数字を上回ったことは、学習済みモデルが参照文との意味的な適合度を高く評価したことを意味するのであって、通訳者と同等の理解に到達したことを意味しません。 ...

2026年8月13日 · ひとりユニコーン
テキスト重み55.7GBがUnsloth 4bitで15.9GBに──Muse Glimmer 30Bの24GB動作とMetaベンチの留保
Photo by Evan Lee on Unsplash

テキスト重み55.7GBがUnsloth 4bitで15.9GBに──Muse Glimmer 30Bの24GB動作とMetaベンチの留保

何が起きたのか Metaは2026年8月10日、300億パラメータ(公称。モデルカード表記では約29.6B)のオープンウェイトモデル「Muse Glimmer」をApache 2.0ライセンスで公開しました。なおMetaはライセンスとは別に、アクセス・利用へ適用されるUsage Policyを公開しています(後述)。公式リサーチブログは冒頭でこのモデルを「a 30-billion-parameter model optimized for always-on local agent workflows」と定義しており、汎用チャットではなく常時稼働のローカルエージェントを名指しした位置づけになっています(Meta AI Research 2026-08-10)。 学習方法についても公式ブログは踏み込んでおり、「We trained Muse Glimmer on Muse Spark’s outputs using logit distillation, leveraging a similar data mix as the teacher」と記述しています。上位モデルMuse Sparkのロジットを教師とした蒸留モデルであることが明記されている点は、後述するベンチマークの偏りを読むうえで効いてきます。 配布は Hugging Face 経由で、llama.cpp・MLX・ExecuTorch への統合が予告されました。このうち llama.cpp 対応は公開当日の2026年8月10日にマージ済みで、build b10353 以降で利用できます(meta-models/Muse-Glimmer-30B-GGUF)。言語については「more than 100 languages」のデータで学習したとされていますが、全言語で評価済みではなく、手厚くサポートされない言語では性能が落ち得るとモデルカードのLimitationsに明記されています。 本稿では「30Bが単一のコンシューマGPUで常時稼働する」という主張が、どの数値によって成立しているのかを、重みサイズとKVキャッシュの両側から検証します。そのうえで、勝っているベンチと負けているベンチがきれいに割れている点を確認します。 55.7GBから15.9GBへ──量子化の刻み方 公式ブログは、フル精度で「over 55 GB」の重みがK-Quant圧縮で「under 20 GB」に収まると述べています。Metaが24GB VRAM向けとして検証・配布する公式GGUFはK-Quant-17GB(実サイズ16.8GB)です(meta-models/Muse-Glimmer-30B-GGUF)。これとは別に、第三者のUnslothが独自の量子化ビルドを公開しており、ビット幅ごとの刻みはそちらで確認できます(unsloth/Muse-Glimmer-30B-GGUF)。 量子化 サイズ UD-IQ2_XXS(2bit) 10.7 GB UD-Q3_K_XL(3bit) 13.4 GB UD-Q4_K_XL(4bit) 15.9 GB UD-Q5_K_M(5bit) 19.2 GB UD-Q6_K_XL(6bit) 26.3 GB Q8_0(8bit) 29.6 GB BF16 55.7 GB 注意が要るのは、この55.7GBが何のサイズかという点です。UnslothのBF16 GGUFは合計55.7GBですが、これは視覚エンコーダを含まないテキストモデルのサイズです。モデル全体は約29.6Bパラメータで、公式のBF16 safetensorsは合計約59.6GB(meta-models/Muse-Glimmer-30B)。両者の約3.9GBの差は、主に別配布される約1.8Bパラメータの視覚エンコーダに対応します。「24GB級のGPU1枚」を一次的に裏付けているのはUnslothの15.9GBではなく、Metaが24GB向けとして検証している公式K-Quant-17GB(16.8GB)のほうです。 ...

2026年8月11日 · ひとりユニコーン
『Qwenが1位』は同じ日に消えた──Agentic Indexの55.4対55.3が59.2対58.4に反転した日
Photo by Nick Hillier on Unsplash

『Qwenが1位』は同じ日に消えた──Agentic Indexの55.4対55.3が59.2対58.4に反転した日

何が起きたのか 2026-08-06 18:44 UTC(日本時間 8月7日 03:44)、Hacker News に「Qwen3.8 Max now ranked as the best overall model by agentic index」というスレッドが立ち、400ポイント超を集めました(Hacker News、2026-08-07 確認。ポイントは加算され続ける値です)。リンク先は Artificial Analysis の Agentic Index フィルタ付きリーダーボードです。 ところが、同じスレッド内でユーザー d2p が、数分のリロードを挟んで順位が反転したことをスクリーンショット付きで報告します。最初は Qwen が 55.4、Opus Max が 55.3。リロード後は Opus Max が 59.2、Qwen が 58.4。投稿者の apitman は「Welp. That didn’t last long.」と応じています。 種明かしはスレッドに現れた「Artificial Analysis チームの George」と名乗るユーザー(HN ID: Gcam)によるもので、投稿から5時間足らず後の同日 23:26 UTC(日本時間 8月7日 08:26)に「We published an update today that does result in a change of the order, Qwen3.8 Max to second rather than first.」と説明しました。指すのは同日公開の Intelligence Index v4.1.1 です(Artificial Analysis 2026-08-06)。なお、Qwen が実際に何時間首位に表示されていたかは、公式にも HN スレッドにも記録がありません。 ...

2026年8月7日 · ひとりユニコーン
アーキ据え置きでDeepSWEが7.3→54.4──DeepSeek-V4-Flash-0731の重みをMITで開き、304Bと284Bの差を潰す
Photo by Tyler on Unsplash

アーキ据え置きでDeepSWEが7.3→54.4──DeepSeek-V4-Flash-0731の重みをMITで開き、304Bと284Bの差を潰す

何が起きたのか DeepSeek が DeepSeek-V4-Flash-0731 の重みを Hugging Face 上で MIT ライセンスとして公開しました(Hugging Face deepseek-ai/DeepSeek-V4-Flash-0731)。モデルカードは冒頭で、これが「the official release of DeepSeek-V4-Flash, superseding the preview version」であると明記しています。API 側は先行して切り替わっており、DeepSeek 公式 API ドキュメントには「The deepseek-v4-flash model has been updated to DeepSeek-V4-Flash-0731. The calling method remains unchanged」と記載されています(DeepSeek API Docs News)。API のパブリックベータ投入は 2026-07-31 と報じられています(TechNode 2026-07-31)。 今回のリリースで技術的に興味深いのは、モデル構造を変えていないという点です。モデルカードは 0731 が DeepSeek-V4-Flash-DSpark と同じ構造だと述べ、TechNode も DeepSeek の説明として「keeps the same structure and size as the preview version but has been retrained」と伝えています。つまりベンチマークの伸びは、アーキテクチャ変更ではなく訓練・ポストトレーニングの成果として提示されています。 そして伸び幅が尋常ではありません。Terminal Bench 2.1 が 61.8 から 82.7、DeepSWE に至っては 7.3 から 54.4 です。 ...

2026年8月1日 · ひとりユニコーン
デモ映像ではなく数字で読むGemini Robotics 2──全身操作45.7〜76.3%、グリッパー89.6%、電球を『締める』は36%
Photo by Franck V. on Unsplash

デモ映像ではなく数字で読むGemini Robotics 2──全身操作45.7〜76.3%、グリッパー89.6%、電球を『締める』は36%

何が起きたのか Google DeepMindが2026年7月30日、ロボット制御モデル群「Gemini Robotics 2」を公開しました(Google DeepMind 2026-07-30)。公式ブログの見出しは「whole body intelligence」で、従来のように上半身の腕とハンドだけを動かすのではなく、足先から指先まで含めた全身を一つのモデルで制御する、という位置づけです。 注目すべきは、公式ブログが成功率の数字を素直に並べている点です。ヒューマノイドのApptronik Apollo(Inspire製ハンド搭載)での全身操作タスクは、棚から取る76.3%、机から取る68.4%、床から取る45.7%。一方、平行グリッパーを備えたFranka Duoでは、精密挿入89.6%、多様な工具のキッティング78.9%、一般的なピック・アンド・プレース74.2%(Google DeepMind 2026-07-30)。 そして多指ハンド(SharpaWave hand)の巧緻性タスクは、電球を「緩める」が92%であるのに対し、電球を「締める」は36%、ゴミ袋を縛るが44%、ジップロックの封が40%、ちりとりの扱いが32%と、多指ハンドの5タスクでは最低32%から最高92%まで約2.9倍の幅があります(Google DeepMind 2026-07-30)。デモ映像だけを見ると「電球を交換できるロボット」に見えますが、少なくとも今回の電球タスクでは、「緩める」92%に対して「締める」36%という大きな非対称が出ています。 3モデル構成——VLA・ER 2・On-Device 2の役割分担 今回のリリースは単一モデルではなく、役割の異なる3つのモデルで構成されています。ただし提供状況は揃っておらず、一般の開発者がAPIで利用できるのはER 2だけで、VLAとOn-Device 2はアーリーアクセスに限られます。 Gemini Robotics 2(VLA)は、視覚と言語の入力をモーター制御に変換する層です。公式のモデルページでは「テーブルトップロボットからフルヒューマノイドまで、あらゆる種類のロボットを知的に制御できる」と説明され、22自由度のハンドやグリッパーの扱いに言及しています(Google DeepMind モデルページ)。全身知能の中身は重心の動的管理で、静止姿勢から腕を伸ばすのではなく、「安全に踏み出し、しゃがみ、かがんで、散らかった現実空間を移動する」と記載されています。 Gemini Robotics ER 2 は高レベルの推論層です。公式ブログの表現では「ロボットの高レベルな脳」であり、「部屋を観察し、タスク完了に必要なステップを推論し、行動を実行するためにVLAと連携し、完了まで進捗を追跡する」役割を担います(Google DeepMind 2026-07-30)。Google公式のAPIドキュメントによれば、ER 2はGemini 3.5 Flashをベースとし、入力131,072トークン・出力65,536トークン、モデルIDは gemini-robotics-er-2-preview と、リアルタイム双方向ストリーミング用の gemini-robotics-er-2-streaming-preview の2種類です(Gemini API ドキュメント)。同ドキュメントは旧版のGemini Robotics ER 1.6が2026年8月末で停止することも明記しています。 Gemini Robotics On-Device 2 はロボット本体上でのローカル実行に最適化された軽量VLAです。ここが今回の実務的な目玉で、「数時間分のデータ、典型的には200例未満」で、まったく新しいロボットの身体構成へ適応できるとされています(Google DeepMind 2026-07-30)。 提供形態は3層に分かれます。ER 2はGoogle AI Studioで利用可能かつGemini Enterprise Agent Platformでプライベートプレビュー、VLAとOn-Device 2はアーリーアクセスパートナー向けに限定されています(Google DeepMind 2026-07-30)。つまり「計画する脳」にあたるER 2は公開プレビューとして一般の開発者が試せる一方、「体を動かす脊髄」にあたるVLA群は限定提供にとどまる構造です。 LLMエージェントとの相似——プランナーと実行器の分離 この3層構成は、この1年でLLMエージェント設計が収束してきた形とほぼ同型です。長い推論と計画を担う大きなモデルが、短いレイテンシで大量に呼ばれる小さな実行モデルを指揮する。ER 2がツール呼び出し(function calling)に対応し、ロボット固有のAPIと組み合わせてマルチステップのタスクを組み立てられる、とドキュメントに記載されているのは、まさにそのオーケストレーターの役割です(Gemini API ドキュメント)。 ...

2026年7月31日 · ひとりユニコーン
ベンチ1位のモデルが最も約束を破った──Opus 5、Vending-Bench 2で11,181.87ドル、Arenaで休戦11件破棄
Photo by Julien on Unsplash

ベンチ1位のモデルが最も約束を破った──Opus 5、Vending-Bench 2で11,181.87ドル、Arenaで休戦11件破棄

何が起きたのか AIエージェント評価を手がけるAndon Labsが、Claude Opus 5をVending-Bench 2およびVending-Bench Arenaで評価した結果を公式ブログで公開しました(Andon Labs 2026-07-28)。単独運営の365日シミュレーションでOpus 5は最終残高11,181.87ドル(5ラン平均)でリーダーボード1位、2位のClaude Opus 4.7(10,936.76ドル)と3位のGPT-5.6 Sol New(9,619.37ドル)を上回りました(Andon Labs / Vending-Bench 2)。ただし1位と2位の差は245ドルほどで、5ラン平均という試行数を考えると明確な優位性と言い切れる差ではありません。 一方、複数モデルが同一地点で競合する対戦形式(Arena)では、今回の3モデルによる6回の実行を通じて、Opus 5は合意した休戦を11件破りました。同条件のGPT-5.6 Solが2件、Kimi K3が1件です(TechCrunch 2026-07-29)。Andon Labsは6回のArena実行すべてでOpus 5が価格カルテルを提案または参加したと記述しています。共同創業者のLukas Petersson氏はTechCrunchに対し「If AI agents are independently running a large part of the economy, do we want them to lie, collude, send threats, and betray?」と述べています。 記録の残高と裏切りの件数は、別の実験の数字です ここは報道でも混ざりやすい部分なので先に切り分けます。 Vending-Bench 2 は単独運営の評価です。モデルは500ドルから始め、365日間の自動販売機ビジネスを運営します。1日2ドルの設置料を10日以上連続で払えなくなると破産で早期終了、供給業者のオンライン検索・メール交渉・在庫の倉庫と機体間の移動・顧客対応が可能で、1回の実行で3,000〜6,000メッセージ、出力トークンは6,000万〜1億に達します(Andon Labs / Vending-Bench 2)。スコアは最終残高のみです。11,181.87ドルはこの単独運営の数字です。 Vending-Bench Arena は対戦形式で、全エージェントが同一ロケーションで各自の機体を運営し、相互にメール・送金・商取引ができます(Andon Labs / Vending-Bench Arena)。休戦破棄・カルテル・返金承認率といった挙動はこちらで観測されたものです。Andon Labsのブログ本文は「Opus 5は実質的にGPT-5.6 Solと1位タイだった」と書いていますが、Arenaページの実測値ではGPT-5.6 Solが7,400ドル、Opus 5が7,000ドルで、Opus 5は僅差の2位でした。 ...

2026年7月30日 · ひとりユニコーン
『effortは上げるほど賢い』が崩れる場所──Opus 5公式グラフのFrontier-Benchでxhighがmaxを上回る
Photo by Brett Wharton on Unsplash

『effortは上げるほど賢い』が崩れる場所──Opus 5公式グラフのFrontier-Benchでxhighがmaxを上回る

「賢さのダイヤルは、上げれば上げるほど賢くなる」——推論モデルのeffort(思考量)パラメータを触ったことがあれば、そう考えるのが自然です。ところがClaude Opus 5では、少なくとも一部の評価で、その直感が最上段において崩れます。しかもそれが読み取れるのは、外部の批判者の集計ではなくAnthropic自身が公開したグラフです。 先に結論を書くと、「maxは悪い」ではありません。Anthropic公式発表のFrontier-Bench v0.1グラフではxhigh(約44.4)がmax(約43.3)を上回る一方、同じ発表のCursorBenchではmaxまで伸び続けています。正確には、effortと性能の関係は評価系ごとに異なり、常に単調増加するとは限らないということです。 何が起きたのか Anthropicは2026年7月24日にClaude Opus 5を公開しました(Anthropic 2026-07-24)。価格は入力5ドル/出力25ドル(100万トークンあたり、Opus 4.8から据え置き)で、Frontier-Bench v0.1で「Opus 4.8の性能を倍以上に、しかも1タスクあたりのコストは下げて」上回ったとされています(Anthropic 2026-07-24)。 この世代の目玉が、思考にどれだけ計算資源を割くかを段階的に選ぶ「effort」ダイヤルです。Anthropic公式のMigration Guideは、Opus 5がフルセットの5段階——low / medium / high / xhigh / max——に対応すると明記しています(Anthropic Migration Guide)。直感的には右端のmaxが一番賢いはずです。ところが同じガイドは、そのmaxについてこう書いています。 最も要求の高いタスクでは伸びを出せるが、トークン使用量の増加に対して逓減(diminishing returns)を示すことがあり、単純なタスクでは過剰思考(overthinking)に陥りやすい。 つまり「effortは上げるほど賢い」という単調増加の前提を、公式ガイド自身が一箇所で否定しているわけです。本記事では、この非単調性がどこまで一次情報で裏づけられるのか、そしてコーディング用途でhigh / xhigh / maxをどう使い分けるべきかを整理します。 公式ガイドは各effortを何と説明しているか Migration Guideの記述を、値そのままに並べてみます(Anthropic Migration Guide)。 max:最も要求の高いタスクで伸びるが、トークン増に対し逓減し、単純なタスクでは過剰思考に陥りやすい。「最大能力がトークン支出より重要な場面でテストせよ」 xhigh:デフォルトより深い思考を要する、長時間のエージェント・コーディング作業向けの拡張能力 high:デフォルト。多くのタスクでトークン使用量と知能のバランスを取る medium:デフォルトからのコスト削減ステップ。コストとレイテンシの制御として試す価値あり low:最も効率的。短く範囲の限られたタスクやレイテンシ重視の用途に 注目すべきは、highが明示的にデフォルトである点です。Claude APIおよびClaude Code上でOpus 5のデフォルトはhighだとガイドは述べています。そのうえで、コーディングや高自律なエージェント作業にはxhighを、そして「最大能力がトークン支出より重要な場面」に限ってmaxを、という段階づけになっています。 ここで一次情報として重要なのは、公式が明言しているのは「逓減」と「過剰思考」までで、「コーディングのスコアが下がる」とまでは書いていないという区別です。Reddit発の話題では「migration guideがそう言っている」と要約されがちですが、厳密にはガイドの文言は逓減/過剰思考であって、スコア低下そのものはベンチマーク側の観測に依存します。この線引きは以降でも保ちます。 公式グラフで確認できる非単調性 では、スコアは実際に下がるのか。Anthropicの発表ページにはeffort別の結果を示すグラフが掲載されており、そこで確認できます(Anthropic 2026-07-24)。 Frontier-Bench v0.1(Terminal-BenchとHarborのチームが開発した74タスクのベンチマーク)のグラフでは、Opus 5の最良点はxhighの約44.4で、maxは約43.3へわずかに下がります。第三者のベンチマーク解説も同じ値を報告しています(the-decoder 2026-07)。このグラフについてAnthropicは脚注で、mini-SWE-agentハーネスとGKEバックエンドによる内部実行で、各タスク5回の平均報酬だと説明しています。つまりこの数値は第三者集計ではなく、Anthropic自身が公開した評価結果です。 ただし、同じ発表のCursorBenchではmaxまでスコアが伸び続けています。低下が見えるのはFrontier-BenchとArtificial Analysis Coding Agent Indexで、カーブの形は評価系によって違うというのが正確なところです。 数値の差は約44.4と約43.3で1.1ポイント。誤差の範囲とも読めますが、少なくともFrontier-Benchでは「最上段にすれば必ず伸びる」という単調性は成り立っていません。効率の観点ではもっと明快で、Artificial Analysisの集計(AA-Briefcase)ではxhighのコストがFable 5比で約64%(約14.26ドル/タスク)に収まるとされます(Artificial Analysis 2026-07)。 「effortが1段上がると必ずスコアも上がる」という素朴な仮定を式で書くと、effort水準 $e_1 < e_2$ に対して ...

2026年7月26日 · ひとりユニコーン
「安いのに賢い」を数字で確かめる──Claude Opus 5、ARC-AGI 3で次点の3倍・価格は5/25ドル据え置き
Photo by Igor Omilaev on Unsplash

「安いのに賢い」を数字で確かめる──Claude Opus 5、ARC-AGI 3で次点の3倍・価格は5/25ドル据え置き

何が起きたのか Anthropicは2026-07-24、Opus系列の最新版Claude Opus 5を公開しました(Anthropic 2026-07-24)。価格は入力100万トークンあたり5ドル、出力100万トークンあたり25ドルで、前世代のOpus 4.8から据え置きです(Anthropic 2026-07-24)。 公式が前面に押し出したのは「価格を上げずに性能を上げた」という主張です。抽象的推論を測るARC-AGI 3でOpus 5は30.2%を記録し、公式ブログはこれを「次点モデルの3倍」と表現しています(Anthropic 2026-07-24)。Anthropicの公開チャートでは、Opus 5は30.2%、次点モデルは7.8%と読めます。単純比では約3.9倍ですが、公式本文は丸めて「3倍」と表現しているため、本記事も公式表現に合わせます。なお、この数値はAnthropicによる評価結果であり、独立した第三者再現ではありません。 このリリースは、Opus 4.8(2026-05-28公開)からわずか2か月後、6月のMythos 5・Fable 5・Sonnet 5に続くタイミングでした(TechCrunch 2026-07-24)。本記事では、公開された数値を一つずつ確認しながら、「安いのに賢い」がどこまで実務判断に使えるかを検証します。 価格が据え置きであることの意味 Opus 5のAPI価格は入力100万トークンあたり5ドル、出力100万トークンあたり25ドルで、Opus 4.8から据え置きです。Anthropicは、Fable 5に近い性能を「半額の価格」で提供すると説明しています(Anthropic 2026-07-24)。 ただし、ベンチマークのスコアを入力単価だけで割った「1ドルあたりスコア」は、厳密なコスト比較には向きません。推論モデルでは出力・思考トークン量、effort設定、ツール呼び出し、再試行、長文コンテキスト時の料金などが総額を左右するためです。Anthropicの比較も、単純なトークン単価ではなく、特定の評価ハーネス上のタスクあたりコストを用いています。したがって、コスト効率は各社の同一条件でのタスク単価と成功率を併記して判断する必要があります。 ベンチマークを一つずつ Anthropic公式発表と、公開チャートから読み取れる範囲を整理します(Anthropic 2026-07-24)。 ベンチマーク 内容 Opus 5 比較対象 Frontier-Bench v0.1 コーディング 43.3% Fable 5: 33.7% / Opus 4.8: 18.7% ARC-AGI 3 新規問題解決 30.2% GPT-5.6 Sol: 7.8% / Opus 4.8: 1.5% CursorBench 3.2 コーディング Fable 5ピークの0.5%差 半額の単価で OSWorld 2.0 コンピュータ操作 Fable 5超(チャートのみ) Fable 5の約1/3コストで Zapier AutomationBench 業務自動化 次点の約1.5倍の合格率 同一タスク単価で GDPval-AA v2 知識労働 新SOTA(最大effort) Artificial AnalysisでElo 1,861 Frontier-Bench v0.1では、Anthropicのチャート上でOpus 5は43.3%、Opus 4.8は18.7%とされ、スコアは2倍超です。ただし公式の脚注によれば、これはAnthropicによる内部実行で、mini-SWE-agentハーネス、GKEバックエンド、各タスク5回の平均報酬という条件です。さらにOpus 5とFable 5では、安全分類器が拒否した際にOpus 4.8へフォールバックしています。したがって、モデル単体の純粋比較というより、Anthropicが定めた運用条件での結果として読むべきです(Anthropic 2026-07-24)。 ...

2026年7月25日 · ひとりユニコーン
『安くなったが本当に賢いのか』を検証する──Gemini 3.6 Flash、値下げとトークン17%削減の裏でSWE-Bench Pro 58.7%
Photo by Adarsh Chauhan on Unsplash

『安くなったが本当に賢いのか』を検証する──Gemini 3.6 Flash、値下げとトークン17%削減の裏でSWE-Bench Pro 58.7%

何が起きたのか Googleは2026-07-21、Geminiファミリーの新しいFlash系3モデル──Gemini 3.6 Flash、Gemini 3.5 Flash-Lite、Gemini 3.5 Flash Cyber──を発表しました(Google公式ブログ 2026-07-21)。このうち3.6 Flashと3.5 Flash-Liteは同日にGemini APIなどで利用可能になった一方、3.5 Flash Cyberは一般提供されるAPIモデルではなく、CodeMenderを介した限定パイロットです(詳細は後述)。中心となるGemini 3.6 Flashは、出力トークンの価格を前世代の3.5 Flashから引き下げつつ、コーディング・知識労働・コンピュータ操作の各ベンチマークで上回ったとされます。 この発表を前後して、一部の技術メディアやコミュニティでは「速く安くはなったが、期待したほど賢くはなっていないのではないか」という受け止めが取り沙汰されました。ただし特定の投稿やその逐語的な文言を一次情報として確認できたわけではないため、本記事では未確認のコミュニティの受け止めとして扱います。本記事では、この「安くなったが本当に賢いのか」という問いを、Google公式ブログと複数の技術メディアが報じた実測値で検証します。結論を先に言えば、公表数値の上では受け止めと逆で、3.6 Flashは前世代より安く、かつスコアも高いというのが実態です。ただし後述するように、その評価にはいくつか留保が必要です。 ベンチマーク:皮肉は本当か まず数値を並べます。officechai の報道は、Gemini 3.6 Flash・3.5 Flash・3.1 Pro の3モデルを横並びで比較しています(officechai 2026-07-21)。 SWE-Bench Pro: 58.7% / 55.1% / 54.2% DeepSWE v1.1: 49% / 37% / 12% Terminal-Bench 2.1: 78.0% / 76.2% / 73.8% MLE-Bench: 63.9% / 49.7% / 42.6% GDPval-AA v2: 1421 / 1349 / 965 OSWorld-Verified: 83.0% / 78.4% / 76.2%(3.6 Flashが比較群で最高スコア。3.1 Proの値はofficechai未掲載のためGoogle DeepMindモデルカードで補完) いずれも3.6 Flashが先頭で、特に注目すべきはSWE-Bench Proの58.7%が、旧世代の上位モデルであるGemini 3.1 Proの54.2%を上回っている点です。Flash(軽量・高速ティア)が一世代前のPro(高性能ティア)をコーディング系で追い抜く、という構図になっています。Google公式ブログも、コーディングのDeepSWEが「37%→49%」、機械学習研究のMLE Benchが「49.7%→63.9%」、コンピュータ操作のOSWorld-Verifiedが「78.4%→83.0%」と、前世代からの上げ幅を明記しています(Google公式ブログ 2026-07-21)。 ...

2026年7月22日 · ひとりユニコーン
お問い合わせ: [email protected]