MoE

何が起きたのか Z.ai が 2026-08-26 に GLM-5.3-Flash を公開しました。総パラメータ320B・活性18Bの MoE(Mixture-of-Experts、トークンごとに一部の専門家だけを動かす方式)で、ライセンスは MIT、ウェイトは Hugging Face の zai-org/GLM-5.3-Flash に置かれています。モデルカードには「With 320B total parameters and just 18B active parameters」と明記されています。 同時に、OpenRouter と OpenCode へ提供元を伏せて投入され話題になっていた ox-alpha が、このモデルのプレビュー版だったことが公式に認められました。Z.ai 公式ドキュメントは「we tested GLM-5.3-Flash anonymously as ox-alpha on OpenCode and OpenRouter to gather user feedback」と書いています（Z.ai 公式ドキュメント）。TechCrunch も Z.ai が Ox Alpha の開発元であることを認めたと報じていますが、同記事が引いている確認は Bloomberg News の取材に対する Z.ai の回答であり、TechCrunch が独自に取ったものではありません（TechCrunch 2026-08-26）。Z.ai 公式アカウントの発表投稿も「Previously previewed as Ox Alpha, running entirely on Chinese AI chips」と書いており、匿名プレビューと自社の関係、および中国製AIチップ上での運用を明言しています（Z.ai 公式X 2026-08-26）。 筆者が本稿で取り上げたいのは、話題性そのものではありません。公称値として掲げられている数字と、モデルカードの脚注に書かれた測定条件が、ベンチマークごとにばらばらだという点です。 公称1Mコンテキストと、ベンチマークごとに違う評価条件 公式発表と各所の紹介文が揃って掲げているのは「1M-token context window」です。設定ファイル側にも対応する値があります。Hugging Face の config.json では設定上の最大長 max_position_embeddings が 1,048,576 で、$2^{20}$ ちょうどです。これは実装が受け付ける上限の宣言であって、その長さで測った品質を示す値ではありません。 ...

何が起きたのか 2026-08-06 18:44 UTC（日本時間 8月7日 03:44）、Hacker News に「Qwen3.8 Max now ranked as the best overall model by agentic index」というスレッドが立ち、400ポイント超を集めました（Hacker News、2026-08-07 確認。ポイントは加算され続ける値です）。リンク先は Artificial Analysis の Agentic Index フィルタ付きリーダーボードです。 ところが、同じスレッド内でユーザー d2p が、数分のリロードを挟んで順位が反転したことをスクリーンショット付きで報告します。最初は Qwen が 55.4、Opus Max が 55.3。リロード後は Opus Max が 59.2、Qwen が 58.4。投稿者の apitman は「Welp. That didn’t last long.」と応じています。 種明かしはスレッドに現れた「Artificial Analysis チームの George」と名乗るユーザー（HN ID: Gcam）によるもので、投稿から5時間足らず後の同日 23:26 UTC（日本時間 8月7日 08:26）に「We published an update today that does result in a change of the order, Qwen3.8 Max to second rather than first.」と説明しました。指すのは同日公開の Intelligence Index v4.1.1 です（Artificial Analysis 2026-08-06）。なお、Qwen が実際に何時間首位に表示されていたかは、公式にも HN スレッドにも記録がありません。 ...

何が起きたのか DeepSeek が DeepSeek-V4-Flash-0731 の重みを Hugging Face 上で MIT ライセンスとして公開しました（Hugging Face deepseek-ai/DeepSeek-V4-Flash-0731）。モデルカードは冒頭で、これが「the official release of DeepSeek-V4-Flash, superseding the preview version」であると明記しています。API 側は先行して切り替わっており、DeepSeek 公式 API ドキュメントには「The deepseek-v4-flash model has been updated to DeepSeek-V4-Flash-0731. The calling method remains unchanged」と記載されています（DeepSeek API Docs News）。API のパブリックベータ投入は 2026-07-31 と報じられています（TechNode 2026-07-31）。 今回のリリースで技術的に興味深いのは、モデル構造を変えていないという点です。モデルカードは 0731 が DeepSeek-V4-Flash-DSpark と同じ構造だと述べ、TechNode も DeepSeek の説明として「keeps the same structure and size as the preview version but has been retrained」と伝えています。つまりベンチマークの伸びは、アーキテクチャ変更ではなく訓練・ポストトレーニングの成果として提示されています。 そして伸び幅が尋常ではありません。Terminal Bench 2.1 が 61.8 から 82.7、DeepSWE に至っては 7.3 から 54.4 です。 ...

結論 Moonshot AI は Kimi K3 のモデル重みを2026年7月27日に公開しました。Hugging Face リポジトリには Safetensors 形式の 96シャードがあり、インデックスに記録されたテンソル本体の合計は 1,560,860,324,864バイト（1.5609 TB、約1.4197 TiB）です。Hugging Face の画面表示「1.56 TB」と一致します。 一方、公開直後の記事で混同しやすい点が3つあります。 **16/896＝約1.79%**は、ルーテッドエキスパートの選択率です。 **104.2B/2.78T＝約3.75%**は、総パラメータに対する活性パラメータの比率です。 公式の「64アクセラレータ以上」は効率を重視した推奨構成であり、ロードできる最小台数ではありません。AMD は 8基の MI355Xによる単一インスタンスの動作検証を公開しています。 したがって、「16/896なのに活性率が3.7%で食い違う」という理解は正確ではありません。分母が異なる2つの指標であり、数値は矛盾していません。 なお、ここでいう「full model weights」はモデル全体の重みがそろっているという意味です。ルーテッドエキスパートはネイティブ MXFP4 で公開されており、全パラメータの非量子化 bf16 版が公開されたという意味ではありません。 公開物から確認できる仕様 公式モデルカードと技術レポートが示す主な仕様は次のとおりです。 項目 公開値 総パラメータ 2.78T（モデルカードでは丸めて2.8T） 活性パラメータ 104.2B（モデルカードでは丸めて104B） デコーダー層 93層 Dense / MoE層 1 / 92 Attention構成 KDA 69層＋Gated MLA 24層 hidden dimension 7,168 Latent MoE dimension 3,584 expert intermediate dimension 3,072 ルーテッドエキスパート 896個、各トークンで16個を選択 共有エキスパート 2個 視覚エンコーダー MoonViT-V2、401M 最大コンテキスト 1,048,576トークン 公開時の量子化 ルーテッドエキスパートをMXFP4、推論時の対応活性をMXFP8 技術レポートは重みと同時に公開済みです。「詳細は技術レポート待ち」ではありません。ただし、104.2Bのコンポーネント別集計表までは掲載されていないため、以下の内訳は公開設定と実装コードからの概算です。 ...

「中国のオープンウェイトはフロンティアの一歩後ろ」という前提が、2026-07-16に崩れました。中国のAIラボ Moonshot AI(月之暗面)が同日、フラッグシップの Kimi K3 をWebとAPIで公開し、独立ベンチマークで米国の最上位モデル群に肩を並べる数値を出したためです。しかも重みは公開予定です。 何が起きたのか Moonshot AIは2026-07-16、2.8兆パラメータのMixture-of-Experts(MoE、専門家混合)モデル Kimi K3 を発表し、WebサイトとAPIで即日利用可能にしました（Simon Willison 2026-07-16）。独立評価機関 Artificial Analysis の集計では、Kimi K3 の Intelligence Index は57点で、「Opus 4.8 および GPT-5.5 と同等、ただし Fable 5 と GPT-5.6 Sol には及ばない」と位置づけられました（Artificial Analysis 2026-07-16）。 この57点という数値そのものより重要なのは、それが公開予定の重み(オープンウェイト)を持つモデルの数字だという点です。Artificial Analysis は「Moonshot AIが2.8兆パラメータのモデルの重みを公開する計画を表明しており、実現すれば最上位のオープンウェイトモデルになる」と述べています。重みの公開は 2026-07-27 に予定されていると複数の一次報道が伝えています（Simon Willison 2026-07-16、the-decoder 2026-07-16）。 つまり「クローズドな米国モデルとほぼ同等の知能を、1週間後には誰でもダウンロードして自前のGPUで動かせるようになる」という構図です。ここに今回の騒ぎの核心があります。 アーキテクチャ：2.8兆パラメータの「疎な」巨人 Kimi K3 は総パラメータ2.8兆で、Simon Willison はこれを「最初のオープンな3兆クラスモデル」と表現しています（Simon Willison 2026-07-16）。ただし2.8兆すべてが毎回動くわけではありません。MoE構成では、トークンごとに一部の専門家(expert)だけが起動します。Kimi K3 は 896個の専門家のうち16個をトークンごとに活性化し、注意機構には Kimi Delta Attention を採用しています（Artificial Analysis 2026-07-16）。 このスパース性(疎性)がMoEの経済的な肝です。トークンあたりの活性化割合 $r$ を専門家数で近似すると、 $$ r \approx \frac{16}{896} \approx 0.018 $$となり、総パラメータのおよそ1.8%しか各トークンの計算に関与しません。総容量2.8兆で知識を蓄えつつ、実効的な計算コストは活性パラメータぶんに抑える——大規模オープンウェイトが現実的に配布・推論可能なのは、この疎性設計あってのことです。 ...