何が起きたのか

Alibabaの Qwen チームが 2026-08-14、270億パラメータのdenseモデル Qwen3.8-27B を Apache 2.0 で公開しました。第三者測定機関 Artificial Analysis は同モデルの Intelligence Index を 52 と算出し、オープンウェイトの同クラス135モデル中1位と位置づけています（Artificial Analysis）。

この52という数字が話題になったのは、クローズドのフロンティアモデルと並んでしまったからです。Artificial Analysis の比較ページ上で、GPT-5.6 Luna（max）の Intelligence Index も 52（Artificial Analysis 比較ページ）。DeepSeek V4 Flash 0731（Reasoning, Max Effort）も 52 です（Artificial Analysis 比較ページ）。

ただし「互角」という言葉が指す範囲は、思ったより狭いです。以下、公称値・第三者指数・手元の実機という3層に分けて確認します。

第1層: 公称値は前世代から跳ねている

Hugging Face の公式モデルカードに並ぶ数値は、いずれもAlibaba自社報告です（Hugging Face Qwen/Qwen3.8-27B）。前世代 Qwen3.6-27B との差分が大きいものを抜き出します。

ベンチマークQwen3.8-27BQwen3.6-27BQwen3.7-PlusOpus 4.6 Max
SWE-bench Pro61.753.557.653.4
DeepSWE 1.142.213.314.2—
QwenSWEBench79.049.359.263.8
Terminal Bench 2.173.063.464.078.2
LiveCodeBench v690.383.989.688.8
OSWorld-Verified84.363.973.372.7
GPQA Diamond89.287.890.391.3
HLE30.824.034.740.0

DeepSWE 1.1 の 13.3 → 42.2 は3倍以上です。一方で GPQA Diamond は 87.8 → 89.2 とほぼ横ばい、HLE は 30.8 で Opus の 40.0 に届いていません。伸び幅が大きいのはエージェント的なコーディングとGUI操作のタスクで、GPQA Diamond と HLE（24.0 → 30.8）はそれほどではない、という読み方になります。この非対称性は後処理（ポストトレーニング）に重点を置いた世代だからではないか、というのが筆者の推測です（Alibaba がそう説明しているわけではありません）。

なお QwenSWEBench はモデル提供元が名前を冠しているベンチマークです。79.0 という数字を、外部が作った SWE-bench Pro の 61.7 と同列に扱うのは避けるべきでしょう。また、この表の Qwen 系の数値は Alibaba の自社報告で、競合モデルの数値も Alibaba がモデルカードに収録したものです（独立した第三者の測定ではありません）。SWE-bench Pro・QwenSWEBench・DeepSWE 1.1 などについては、本稿執筆時点（2026-08-18）でAlibaba以外による再現報告を確認できていません。ただし第三者の Artificial Analysis は Intelligence Index v4.1.1 を構成する9評価（Terminal-Bench v2.1・Humanity’s Last Exam・GPQA Diamond を含む）を独自に実施しており、これらに限れば外部測定が存在します（Artificial Analysis）。

第2層: Intelligence Index 52 が測っているもの

Artificial Analysis の Intelligence Index v4.1.1 は、9つの評価を合成した指数です。内訳は GDPval-AA v2、τ³-Banking、Terminal-Bench v2.1、SciCode、Humanity’s Last Exam、GPQA Diamond、CritPt、AA-Omniscience、AA-LCR（Artificial Analysis 比較ページ）。

つまり52という同点は「9本の合成スコアを整数に丸めた表示が一致した」という意味であり、全能力が互角という意味ではありません。実際、Artificial Analysis の比較ページ自体は「GPT-5.6 Luna (max) is more intelligent than Qwen3.8 27B」と判定しており、丸める前の指数では Luna がわずかに上とみられます。さらに、少し上を見れば DeepSeek V4 Pro 0813（Reasoning, Max Effort）は 53 で、こちらはQwenの上にいます（Artificial Analysis 比較ページ）。GPT-5.6 Luna も推論設定を xhigh に落とすと 50 に下がります。1点刻みの指数で、設定違いによる変動と同じ幅の中に3モデルが並んでいる、という構図です。

同点の裏側にあるコストも見ておきます（Artificial Analysis の 2026-08-18 時点の表示値。出力速度は計測時期によって変動します）。

モデルIndex価格(1Mトークン, 混合, ドル)出力速度
Qwen3.8-27B520.45（AA掲載のAPI提供価格。重み自体は無料配布）測定値なし
GPT-5.6 Luna (max)520.17171.2 tok/s
DeepSeek V4 Flash 0731520.23101.5 tok/s
DeepSeek V4 Pro 0813530.6978 tok/s

Qwen3.8-27B の 0.45ドル は Artificial Analysis がサードパーティのAPI提供価格の中央値として示している数字で、重みを落として自前で動かすなら課金は発生しません。一方で出力速度は、Artificial Analysis がホスト提供エンドポイントを計測していないため N/A のままです。つまり「安くて速い」とは言えず、速度は自分の機材次第になります。なお DeepSeek V4 Flash 0731 の 52 は v4.1.1 での表示値で、Artificial Analysis が 2026-07-31 のリリース時記事（指数 v4.1）で示した値は 50 でした（Artificial Analysis 2026-07-31）。

そしてもう1つ、見落とされやすい数字があります。Artificial Analysis は Qwen3.8-27B の Intelligence Index 評価に 1億6000万トークンの出力 を要したと記載し、冗長性を135モデル中23位、very verbose と分類しています。つまり Artificial Analysis の評価では、このモデルはそれだけ大量に「考えて」出力していました。API課金なら出力トークン代として、ローカル実行なら待ち時間として、そのぶんは必ず誰かが払います。

第3層: 16GBのカードに何が載るか

ここが日本の読者にとって一番効く層です。Unsloth が公開している GGUF 量子化のサイズは以下の通りです（Unsloth Documentation）。

量子化必要容量
2-bit11〜13 GB
3-bit13〜16 GB
4-bit (UD-Q4_K_XL)17〜19 GB
6-bit24 GB
8-bit31 GB
BF1656 GB

推奨の4bit（UD-Q4_K_XL）は17〜19GB、ファイル実体は17.92GBで、16GBのカードには重みだけで載りません。 ドキュメントは RTX 5080 / 4090 クラス、あるいは24GBのMacを4bitの目安として挙げています。ただし Unsloth の GGUF 一覧には IQ4_XS（15.71GB）・Q4_0（16.06GB）・Q4_K_S（16.12GB）といった小さめの4bitもあり、16GB（≈16 GiB）のカードでも重み自体は収まります（Unsloth GGUF 一覧）。その場合も実行時バッファとKVキャッシュに残る余地は1〜1.4 GiB 程度なので、短いコンテキストで使うか、一部レイヤーを CPU 側へオフロードする調整が要ります。それでも足りなければ3bitに落とす選択になります。画像入力も使うなら mmproj（約0.93GB）が別途必要です。

ではコンテキストを伸ばしたときのKVキャッシュはどうか。ここでこのモデルのアーキテクチャが効いてきます。モデルカードによれば、64層の構成は「3層のGated DeltaNet + 1層のGated Attention」を16回繰り返すハイブリッドで、Gated Attention は Q 24ヘッド / KV 4ヘッド / ヘッド次元256です。KVキャッシュが積み上がるのは、64層のうち Gated Attention の16層だけ です。

$$M_{KV} = 2 \cdot L_{attn} \cdot n_{kv} \cdot d_{head} \cdot b \cdot S$$

$L_{attn}=16$、$n_{kv}=4$、$d_{head}=256$、FP16なら $b=2$ バイト。トークンあたり $2 \times 16 \times 4 \times 256 \times 2 = 65{,}536$ バイト、つまり 64 KiB/トークン です。73,728トークン（約72k）を積むと 4.5 GiB になります。

仮に64層すべてがフルアテンションだったら同じ条件で18 GiBです。ハイブリッド構成が13.5 GiB を節約している計算になります。さらに llama.cpp の --cache-type-k q4_0 --cache-type-v q4_0 を併用すればKVキャッシュを大幅に削減できます。ただし削減率は環境依存で、72kコンテキストでの削減量は公式資料からは確認できません。実測を公開している例では、32kコンテキストでピークVRAMが f16 の 18,798MiB から q4_0 の 17,412MiB へ、1,386MiB（約1.4GB）削減されたという報告が個人ブログに出ています。ただしこれは第三者による検証を経ていない単一環境の測定値です（KGP Talkie）。3bit の 13GB に圧縮後のKVを積む前提なら、16GBカードでも辛うじて視界に入る、という水準です。

なお、この KV 計算は公開されたアーキテクチャ設定から筆者が導いた推定値であり、モデルカードに記載された数値ではありません。実装によるパディングやアロケータのオーバーヘッドは含みません。

実行時の設定として、モデルカードは thinking モードで temperature 1.0 / top_p 0.95 / top_k 20、instruct モードで temperature 0.7 / top_p 0.80 / top_k 20 / presence_penalty 1.5 を推奨しています。reasoning_effort の既定値は xhigh で、medium と low が用意されています。第2層で見た very verbose を思い出すなら、ローカル実行では既定の xhigh を疑ってかかる価値があります。

残された不確実性

  • 自社報告値の独立検証が限定的。SWE-bench Pro 61.7 や DeepSWE 1.1 42.2 は、本稿執筆時点（2026-08-18）でAlibaba以外による再現報告を確認できていません。第三者測定としては Artificial Analysis が Intelligence Index v4.1.1 を構成する9評価（Terminal-Bench v2.1・HLE・GPQA Diamond など）を独自実施していますが、SWE-bench Pro と DeepSWE 1.1 はそこに含まれていません（Artificial Analysis）。特に DeepSWE 1.1 の 13.3 → 42.2 という3倍超の跳ね方は、評価手順の差で説明がつく可能性を排除できません。
  • Intelligence Index 52 の同点は9本の合成でしかない。同点でも評価ごとの勝ち負けは一致せず、どの評価で勝ってどれで負けているかは Artificial Analysis の比較ページで個別に確認する必要があります。指数の同点を「実務での互角」と読み替える根拠にはなりません。
  • 速度が未測定。Artificial Analysis の出力速度は N/A です。GPT-5.6 Luna の 171.2 tok/s（2026-08-18時点）と比較できる数字が、Qwen3.8-27B 側には存在しません。ローカル4bitで何tok/s出るかは、公開情報からは決まりません。
  • 1M コンテキストの実用性。262,144トークンがネイティブで、YaRNにより1Mまで拡張可能とされますが、拡張時の品質劣化の程度は公開情報からは判断できません。上のKV計算は262k以内の前提です。
  • DeepSeek V4 / GPT-5.6 との『互角』の出所。Artificial Analysis の Qwen3.8-27B モデルページ自体には、この2モデルとの対決表は掲載されていません。同点が確認できるのは、閲覧者が2モデルを指定して生成する比較ページ上です。

まとめ

Qwen3.8-27B が Intelligence Index 52 で GPT-5.6 Luna（max）および DeepSeek V4 Flash 0731 と同点なのは、Artificial Analysis 上で確認できる事実です。その意味で「互角」という表現は、指数という限定つきなら成立します。

ただし成立する範囲は狭く、内訳は9本の合成スコアの整数表示が一致したにすぎません。DeepSeek V4 Pro 0813 は53で上にいますし、GPT-5.6 Luna も設定を変えれば50に落ちます。1点刻みの指標で、設定差と同じ幅に3モデルが密集しているだけです。加えてQwen側は、その52を取るのに1億6000万トークンを吐いており、速度の測定値がありません。

手元の16GBカードに落とすと、話はさらに具体的になります。推奨4bit（17.92GB）は載らず、16GBに収まる小さめの4bit（15.7〜16.1GB）を選ぶか、3bitかCPUオフロードで余地を作る必要があります。KVキャッシュがトークンあたり64 KiBで済むのはハイブリッド構成のおかげで、フルアテンション換算の4分の1です。そこは素直に設計の利得です。

「フロンティア級が手元で動く」は、2026年8月時点では「フロンティア級の合成指数と同点のモデルが、16GBでは小さめの4bitか3bitに量子化を詰めて、既定より控えめな reasoning_effort で動く」と読み替えるのが、実態に近いところだと考えます。

主要出典

関連する過去記事