結論
Moonshot AI は Kimi K3 のモデル重みを2026年7月27日に公開しました。Hugging Face リポジトリには Safetensors 形式の 96シャードがあり、インデックスに記録されたテンソル本体の合計は 1,560,860,324,864バイト(1.5609 TB、約1.4197 TiB)です。Hugging Face の画面表示「1.56 TB」と一致します。
一方、公開直後の記事で混同しやすい点が3つあります。
- **16/896=約1.79%**は、ルーテッドエキスパートの選択率です。
- **104.2B/2.78T=約3.75%**は、総パラメータに対する活性パラメータの比率です。
- 公式の「64アクセラレータ以上」は効率を重視した推奨構成であり、ロードできる最小台数ではありません。AMD は 8基の MI355Xによる単一インスタンスの動作検証を公開しています。
したがって、「16/896なのに活性率が3.7%で食い違う」という理解は正確ではありません。分母が異なる2つの指標であり、数値は矛盾していません。
なお、ここでいう「full model weights」はモデル全体の重みがそろっているという意味です。ルーテッドエキスパートはネイティブ MXFP4 で公開されており、全パラメータの非量子化 bf16 版が公開されたという意味ではありません。
公開物から確認できる仕様
公式モデルカードと技術レポートが示す主な仕様は次のとおりです。
| 項目 | 公開値 |
|---|---|
| 総パラメータ | 2.78T(モデルカードでは丸めて2.8T) |
| 活性パラメータ | 104.2B(モデルカードでは丸めて104B) |
| デコーダー層 | 93層 |
| Dense / MoE層 | 1 / 92 |
| Attention構成 | KDA 69層+Gated MLA 24層 |
| hidden dimension | 7,168 |
| Latent MoE dimension | 3,584 |
| expert intermediate dimension | 3,072 |
| ルーテッドエキスパート | 896個、各トークンで16個を選択 |
| 共有エキスパート | 2個 |
| 視覚エンコーダー | MoonViT-V2、401M |
| 最大コンテキスト | 1,048,576トークン |
| 公開時の量子化 | ルーテッドエキスパートをMXFP4、推論時の対応活性をMXFP8 |
技術レポートは重みと同時に公開済みです。「詳細は技術レポート待ち」ではありません。ただし、104.2Bのコンポーネント別集計表までは掲載されていないため、以下の内訳は公開設定と実装コードからの概算です。
16/896と104.2Bを分けて考える
ルーテッドエキスパートの選択率は、そのまま計算すると
$$ \frac{16}{896}=0.017857\ldots \approx 1.79\% $$です。これは「896個あるルーテッドエキスパートのうち、1トークンが何個を通るか」を表します。モデル全体のパラメータのうち何%が活性化するかを表す数値ではありません。
config.jsonと公開実装では、各MoE層が入力を7,168次元から3,584次元へ射影し、選択したルーテッドエキスパートを通した後、7,168次元へ戻します。技術レポートの式(11)も同じ構造を示しています。
SiTU-GLUの各ルーテッドエキスパートには gate・up・down の3行列があるため、1エキスパートのパラメータ数は
$$ 3 \times 3584 \times 3072 = 33{,}030{,}144 $$です。92のMoE層で、1トークンが通る16エキスパート分は
$$ 33{,}030{,}144 \times 16 \times 92 \approx 48.62\text{B} $$となります。しかし、トークンが通るのは選択されたエキスパートだけではありません。公開実装から概算できる主な常時使用部分には、次が含まれます。
| コンポーネント | 概算パラメータ |
|---|---|
| 選択されたルーテッドエキスパート(16個×92層) | 48.62B |
| 共有エキスパート(2個×92層) | 12.16B |
| Latent MoEのdown/up射影(92層) | 4.73B |
| KDA 69層+Gated MLA 24層 | 約36.18B |
| MoEルーター(92層) | 約0.59B |
| 最初のDense FFN | 約0.73B |
| 入力埋め込み | 約1.17B |
小さな正規化・畳み込み・残差関連テンソルや、埋め込み・出力ヘッドをどう数えるかという集計規約によって端数は変わりますが、これらを積み上げると公式値の約104.2Bに整合します。
重要なのは、約55Bの差を共有エキスパート、attention、埋め込みだけで説明しないことです。Latent MoEのdown/up射影、最初のDense層、ルーターなども活性側に含まれます。
また「104B相当の計算が走る」は概略としては通じても、104.2BはFLOPsそのものではありません。KDAとMLAでは演算特性が異なり、コンテキスト長、バッチサイズ、キャッシュヒット、通信方式によって実際の計算量と速度は変わります。正確には「Moonshotの定義で、1トークンあたり約104.2Bのパラメータが活性化する」と表現するのが安全です。
1.5609TBの内訳
全ルーテッドエキスパートのパラメータ数は
$$ 896 \times 92 \times 3 \times 3584 \times 3072 =2{,}722{,}740{,}830{,}208 $$です。これを4ビットで格納すると約 1.3614 TB。さらに、MXFP4の32要素ごとの1バイトスケールが約 85.09 GB加わります。
公開リポジトリのモデルAPIは、論理パラメータとして U8 2,722,740,830,208、BF16 57,179,884,544、F32 11,122,432を報告しています。MXFP4のパック済みデータとスケール、高精度部分をストレージ量へ換算すると、Safetensorsインデックスの合計1.5609 TBと一致します。
技術レポートは「MoE expert weights」をMXFP4にし、attention射影、Latent MoE射影、共有エキスパート、MoEルーターなどの非エキスパート部分を高精度のまま残すと説明しています。AMDの実装記事も、配布物をMXFP4とBF16の混成チェックポイントと説明しています。
したがって、「4ビットなのはルーテッドエキスパートで、それ以外はbf16」という説明はほぼ正しいものの、厳密には小量のfp32テンソルも含まれます。「それ以外は高精度で、主にbf16」とするのが正確です。
重みファイル公開前に見られた「約594GB」という推定は、実物のチェックポイント容量とは一致しません。公開後はHugging Faceの1.56 TBと、AMDが報告する1.5609 TBを採用すべきです。
64アクセラレータは最低要件ではない
Kimi公式ブログは、推論効率が広い高帯域通信ドメインの恩恵を受けるため、64基以上のアクセラレータを備えたスーパーノード構成を推奨しています。これは公式の推奨構成ですが、モデルをロードできる最低台数とは書かれていません。
実際、AMDは2026年7月27日付の記事で、HBM 288 GiBの MI355Xを8基使うTP8構成を単一インスタンスとして検証しています。AMDの報告では、重みは1GPUあたり約190.974 GiB。1本の1Mトークン系列に必要な既知の状態を加えると約205.401 GiBで、その他のランタイムオーバーヘッドを入れる前の余裕は約82.6 GiBです。
ただし、AMDが実際に完走させたGSM8K検証は最大16Kコンテキストです。1Mコンテキストについて示されているのはメモリ見積もりであり、スループット、TTFT、TPOT、カーネル効率についてAMDは主張していません。この区別は重要です。
NVIDIA Dynamoの公式レシピにも、GB200を16基使う構成や、GB300を8基単位のレプリカとして使う構成があります。ハードウェアのメモリ容量と接続方式によって、実用的な台数は変わります。
80GB級GPUについても、単純な容量計算は
$$ \frac{1.5609\text{TB}}{80\text{GB}} \approx 19.51 $$なので、重みだけなら名目上は20基に収まります。「単純割りしても20枚では入らない」は算術的に誤りです。ただし20基ではランタイム、キャッシュ、通信バッファ、メモリ断片化の余裕がほとんどなく、実際に動かせることや十分な性能が出ることを意味しません。
結局、Kimi K3のデプロイ条件は「64基ないと起動しない」ではなく、次の3段階に分けるべきです。
- 重みがHBMに収まるか
- ランタイム状態と必要コンテキスト長まで収まるか
- MoE通信を含め、必要なレイテンシとスループットを出せるか
vLLM対応は公開済みだが、性能評価は継続中
vLLMの2026年7月22日付プレビューは、KDAの物理状態ブロックとプレフィックス照合粒度を分け、再帰状態を細かいattentionブロックごとに保持せず部分的なprefix-cache hitを可能にする設計を説明しています。
同記事は、コアモデル経路、KDA対応prefix caching、マルチモーダル統合、ツール呼び出しパーサーなどが進んでいる一方、性能最適化は継続中だと明記しています。公開直後の結果を最終性能として扱うべきではありません。
API価格は確認できるが、APIの方が安いとは断定できない
Kimi公式ブログが示すAPI価格は、100万トークンあたり次のとおりです。
- cache-hit入力: 0.30ドル
- cache-miss入力: 3.00ドル
- 出力: 15.00ドル
同ブログは、公式APIがコーディングワークロードで90%を超えるキャッシュヒット率を達成すると述べています。これはMoonshotの公式APIにおける特定ワークロードの値であり、あらゆる利用形態で90%を超えるという保証ではありません。
また、この価格と「64アクセラレータ」を並べるだけでは、自前ホスティングとAPIの総費用は比較できません。必要な同時実行数、稼働率、入力・出力比、キャッシュ率、ハードウェア調達価格、電力、運用人員、可用性、規制、レイテンシ、カスタマイズ要件を入れたTCO計算が必要です。
自前ホスティングがデータ主権や規制要件で有力になるのは確かですが、それだけに限定されるわけではありません。高稼働率での限界費用、レイテンシ、供給者依存の低減、独自改変も判断材料です。
ベンチマークは条件の違いを残したまま読む
公式モデルカードには、Kimi K3の Terminal-Bench 2.1が88.3、SWE-Marathonが42.0、GPQA Diamondが93.5と掲載されています。数値の転記自体は正しいです。
ただしKimi K3の結果はMoonshotによる測定で、reasoning effortはmax、temperatureは1.0。ベンチマークごとに Kimi Code、Claude Code、Codexなど異なるharnessが使われ、比較対象の一部は各社発表や外部リーダーボードから引用されています。横一列の表でも、完全に同一条件の比較ではありません。
第三者評価では、Artificial Analysisが2026年7月17日に公開した記事で、Kimi K3はIntelligence Index 57、当時3位でした。これは「7月17日時点」の順位です。その後に新モデルが追加されれば順位は変わるため、現在順位として固定的に書くべきではありません。
ライセンスはApache 2.0ではない
Hugging Faceのメタデータは license: other、名称は kimi-k3 です。LICENSE原文には広い利用・改変・再配布許諾がある一方、条件付きの追加義務があります。
主な条件は次のとおりです。
- ライセンシーまたは関連会社がModel as a Service事業を運営し、ライセンシーと関連会社の合計収益が連続する12か月で2,000万ドルを超える場合、商用目的で利用する前にMoonshot AIとの別契約が必要です。閾値はMaaS部門だけの売上とは書かれていません。
- 本ソフトウェアまたは派生物を使う商用製品・サービスが、月間アクティブユーザー1億人超、または月間収益2,000万ドル超の場合、UI上に「Kimi K3」を目立つ形で表示する必要があります。
- これら2項目は、定義された社内利用、およびMoonshot AIの公式製品・認定推論パートナー経由の利用には適用されません。
ここでの「社内利用」は、ソフトウェア、その出力、または基礎能力を第三者に提供しない利用と定義されています。一般的な会話で使う「社内システム」より狭く解釈される可能性があるため、実際の導入時は原文を法務確認すべきです。本稿は法的助言ではありません。
現時点で残る不確実性
- Moonshotは104.2Bという活性パラメータ総数を公表していますが、埋め込みや出力ヘッドを含む厳密な集計規約のコンポーネント別表は示していません。
- 64アクセラレータ推奨は性能を重視した指針です。8基・16基の構成でロードや基本検証が可能でも、用途ごとの実効性能は別途測定が必要です。
- AMDの8×MI355X構成で実走確認された最大長は16Kです。1Mコンテキストのメモリ見積もりと、1Mでの性能実証は同じではありません。
- MXFP4が公開時の想定動作点です。非量子化bf16の全ルーテッドエキスパート重みは、公式リポジトリでは公開されていません。
- モデルカードのベンチマークは条件が混在します。個別スコアには独立追試が必要です。
まとめ
Kimi K3の公開物について確実に言えるのは、次の点です。
- 完全なモデル構成の重みが96シャード、1.5609 TBで公開された
- 2.78T総パラメータ、104.2B活性、93層、896中16ルーテッドエキスパートという仕様は公式資料と一致する
- 16/896の1.79%と、104.2B/2.78Tの約3.75%は別の指標であり、矛盾ではない
- ルーテッドエキスパートはMXFP4、非エキスパート部分は主にbf16で、小量のfp32テンソルもある
- 64アクセラレータ以上は性能を重視した公式推奨であり、最低起動要件ではない
- AMDは8×MI355Xで基本動作を検証したが、1Mコンテキストでの実効性能は未提示
- ライセンスはApache 2.0ではなく、収益・利用形態に応じた条件を持つ独自ライセンスである
オープンウェイトは、提供者がAPIを終了しても利用を継続できる可能性を高めます。しかし、互換ソフトウェア、十分なハードウェア、保存済みファイル、ライセンス順守まで自動的に保証するものではありません。Kimi K3では「重みが手元にある価値」と「実際に運用できる条件」を分けて評価する必要があります。
主要出典
- moonshotai/Kimi-K3 — Hugging Face
- Kimi-K3 config.json
- Kimi-K3 公開実装 modeling_kimi_linear.py
- Kimi K3 Technical Report
- Kimi K3 Tech Blog: Open Frontier Intelligence
- A Preview of Production-Scale Kimi K3 Support on vLLM
- Day 0 Kimi-K3 Inference Deployment with ATOM on AMD Instinct MI355X GPUs
- Kimi-K3 — NVIDIA Dynamo Documentation
- Kimi K3 License
- Artificial Analysis: Kimi K3 achieves #3(2026-07-17時点)