テキスト重み55.7GBがUnsloth 4bitで15.9GBに──Muse Glimmer 30Bの24GB動作とMetaベンチの留保
何が起きたのか Metaは2026年8月10日、300億パラメータ(公称。モデルカード表記では約29.6B)のオープンウェイトモデル「Muse Glimmer」をApache 2.0ライセンスで公開しました。なおMetaはライセンスとは別に、アクセス・利用へ適用されるUsage Policyを公開しています(後述)。公式リサーチブログは冒頭でこのモデルを「a 30-billion-parameter model optimized for always-on local agent workflows」と定義しており、汎用チャットではなく常時稼働のローカルエージェントを名指しした位置づけになっています(Meta AI Research 2026-08-10)。 学習方法についても公式ブログは踏み込んでおり、「We trained Muse Glimmer on Muse Spark’s outputs using logit distillation, leveraging a similar data mix as the teacher」と記述しています。上位モデルMuse Sparkのロジットを教師とした蒸留モデルであることが明記されている点は、後述するベンチマークの偏りを読むうえで効いてきます。 配布は Hugging Face 経由で、llama.cpp・MLX・ExecuTorch への統合が予告されました。このうち llama.cpp 対応は公開当日の2026年8月10日にマージ済みで、build b10353 以降で利用できます(meta-models/Muse-Glimmer-30B-GGUF)。言語については「more than 100 languages」のデータで学習したとされていますが、全言語で評価済みではなく、手厚くサポートされない言語では性能が落ち得るとモデルカードのLimitationsに明記されています。 本稿では「30Bが単一のコンシューマGPUで常時稼働する」という主張が、どの数値によって成立しているのかを、重みサイズとKVキャッシュの両側から検証します。そのうえで、勝っているベンチと負けているベンチがきれいに割れている点を確認します。 55.7GBから15.9GBへ──量子化の刻み方 公式ブログは、フル精度で「over 55 GB」の重みがK-Quant圧縮で「under 20 GB」に収まると述べています。Metaが24GB VRAM向けとして検証・配布する公式GGUFはK-Quant-17GB(実サイズ16.8GB)です(meta-models/Muse-Glimmer-30B-GGUF)。これとは別に、第三者のUnslothが独自の量子化ビルドを公開しており、ビット幅ごとの刻みはそちらで確認できます(unsloth/Muse-Glimmer-30B-GGUF)。 量子化 サイズ UD-IQ2_XXS(2bit) 10.7 GB UD-Q3_K_XL(3bit) 13.4 GB UD-Q4_K_XL(4bit) 15.9 GB UD-Q5_K_M(5bit) 19.2 GB UD-Q6_K_XL(6bit) 26.3 GB Q8_0(8bit) 29.6 GB BF16 55.7 GB 注意が要るのは、この55.7GBが何のサイズかという点です。UnslothのBF16 GGUFは合計55.7GBですが、これは視覚エンコーダを含まないテキストモデルのサイズです。モデル全体は約29.6Bパラメータで、公式のBF16 safetensorsは合計約59.6GB(meta-models/Muse-Glimmer-30B)。両者の約3.9GBの差は、主に別配布される約1.8Bパラメータの視覚エンコーダに対応します。「24GB級のGPU1枚」を一次的に裏付けているのはUnslothの15.9GBではなく、Metaが24GB向けとして検証している公式K-Quant-17GB(16.8GB)のほうです。 ...