Artificial Analysis

何が起きたのか Alibabaの Qwen チームが 2026-08-14、270億パラメータのdenseモデル Qwen3.8-27B を Apache 2.0 で公開しました。第三者測定機関 Artificial Analysis は同モデルの Intelligence Index を 52 と算出し、オープンウェイトの同クラス135モデル中1位と位置づけています（Artificial Analysis）。 この52という数字が話題になったのは、クローズドのフロンティアモデルと並んでしまったからです。Artificial Analysis の比較ページ上で、GPT-5.6 Luna（max）の Intelligence Index も 52（Artificial Analysis 比較ページ）。DeepSeek V4 Flash 0731（Reasoning, Max Effort）も 52 です（Artificial Analysis 比較ページ）。 ただし「互角」という言葉が指す範囲は、思ったより狭いです。以下、公称値・第三者指数・手元の実機という3層に分けて確認します。 第1層: 公称値は前世代から跳ねている Hugging Face の公式モデルカードに並ぶ数値は、いずれもAlibaba自社報告です（Hugging Face Qwen/Qwen3.8-27B）。前世代 Qwen3.6-27B との差分が大きいものを抜き出します。 ベンチマーク Qwen3.8-27B Qwen3.6-27B Qwen3.7-Plus Opus 4.6 Max SWE-bench Pro 61.7 53.5 57.6 53.4 DeepSWE 1.1 42.2 13.3 14.2 — QwenSWEBench 79.0 49.3 59.2 63.8 Terminal Bench 2.1 73.0 63.4 64.0 78.2 LiveCodeBench v6 90.3 83.9 89.6 88.8 OSWorld-Verified 84.3 63.9 73.3 72.7 GPQA Diamond 89.2 87.8 90.3 91.3 HLE 30.8 24.0 34.7 40.0 DeepSWE 1.1 の 13.3 → 42.2 は3倍以上です。一方で GPQA Diamond は 87.8 → 89.2 とほぼ横ばい、HLE は 30.8 で Opus の 40.0 に届いていません。伸び幅が大きいのはエージェント的なコーディングとGUI操作のタスクで、GPQA Diamond と HLE（24.0 → 30.8）はそれほどではない、という読み方になります。この非対称性は後処理（ポストトレーニング）に重点を置いた世代だからではないか、というのが筆者の推測です（Alibaba がそう説明しているわけではありません）。 ...

何が起きたのか 2026-08-06 18:44 UTC（日本時間 8月7日 03:44）、Hacker News に「Qwen3.8 Max now ranked as the best overall model by agentic index」というスレッドが立ち、400ポイント超を集めました（Hacker News、2026-08-07 確認。ポイントは加算され続ける値です）。リンク先は Artificial Analysis の Agentic Index フィルタ付きリーダーボードです。 ところが、同じスレッド内でユーザー d2p が、数分のリロードを挟んで順位が反転したことをスクリーンショット付きで報告します。最初は Qwen が 55.4、Opus Max が 55.3。リロード後は Opus Max が 59.2、Qwen が 58.4。投稿者の apitman は「Welp. That didn’t last long.」と応じています。 種明かしはスレッドに現れた「Artificial Analysis チームの George」と名乗るユーザー（HN ID: Gcam）によるもので、投稿から5時間足らず後の同日 23:26 UTC（日本時間 8月7日 08:26）に「We published an update today that does result in a change of the order, Qwen3.8 Max to second rather than first.」と説明しました。指すのは同日公開の Intelligence Index v4.1.1 です（Artificial Analysis 2026-08-06）。なお、Qwen が実際に何時間首位に表示されていたかは、公式にも HN スレッドにも記録がありません。 ...

「中国のオープンウェイトはフロンティアの一歩後ろ」という前提が、2026-07-16に崩れました。中国のAIラボ Moonshot AI(月之暗面)が同日、フラッグシップの Kimi K3 をWebとAPIで公開し、独立ベンチマークで米国の最上位モデル群に肩を並べる数値を出したためです。しかも重みは公開予定です。 何が起きたのか Moonshot AIは2026-07-16、2.8兆パラメータのMixture-of-Experts(MoE、専門家混合)モデル Kimi K3 を発表し、WebサイトとAPIで即日利用可能にしました（Simon Willison 2026-07-16）。独立評価機関 Artificial Analysis の集計では、Kimi K3 の Intelligence Index は57点で、「Opus 4.8 および GPT-5.5 と同等、ただし Fable 5 と GPT-5.6 Sol には及ばない」と位置づけられました（Artificial Analysis 2026-07-16）。 この57点という数値そのものより重要なのは、それが公開予定の重み(オープンウェイト)を持つモデルの数字だという点です。Artificial Analysis は「Moonshot AIが2.8兆パラメータのモデルの重みを公開する計画を表明しており、実現すれば最上位のオープンウェイトモデルになる」と述べています。重みの公開は 2026-07-27 に予定されていると複数の一次報道が伝えています（Simon Willison 2026-07-16、the-decoder 2026-07-16）。 つまり「クローズドな米国モデルとほぼ同等の知能を、1週間後には誰でもダウンロードして自前のGPUで動かせるようになる」という構図です。ここに今回の騒ぎの核心があります。 アーキテクチャ：2.8兆パラメータの「疎な」巨人 Kimi K3 は総パラメータ2.8兆で、Simon Willison はこれを「最初のオープンな3兆クラスモデル」と表現しています（Simon Willison 2026-07-16）。ただし2.8兆すべてが毎回動くわけではありません。MoE構成では、トークンごとに一部の専門家(expert)だけが起動します。Kimi K3 は 896個の専門家のうち16個をトークンごとに活性化し、注意機構には Kimi Delta Attention を採用しています（Artificial Analysis 2026-07-16）。 このスパース性(疎性)がMoEの経済的な肝です。トークンあたりの活性化割合 $r$ を専門家数で近似すると、 $$ r \approx \frac{16}{896} \approx 0.018 $$となり、総パラメータのおよそ1.8%しか各トークンの計算に関与しません。総容量2.8兆で知識を蓄えつつ、実効的な計算コストは活性パラメータぶんに抑える——大規模オープンウェイトが現実的に配布・推論可能なのは、この疎性設計あってのことです。 ...