Google TurboQuantによるKVキャッシュ圧縮技術
Photo by Vitaly Sacred on Unsplash

Google TurboQuant──KVキャッシュを6倍圧縮、ネットでは「パイド・パイパーだ」と話題に

何が起きたのか 2026年3月25日、Google Researchが「TurboQuant」と名付けた圧縮アルゴリズムを公式ブログで発表した。LLM(大規模言語モデル)の推論時に膨張する「KVキャッシュ」(Key-Valueキャッシュ)を3ビットまで量子化し、メモリ使用量を最大6分の1に、H100 GPU上でのアテンション計算速度を最大8倍に引き上げる──しかも精度劣化なし、追加学習も不要という内容だ。 論文はICLR 2026に採択されており、アルゴリズムと関連論文はすべて無償公開されている。 Google Research公式ブログの投稿(@GoogleResearch)は公開後24時間で770万回以上表示され、TechCrunchの記事(2026年3月25日)の見出しには「the internet is calling it ‘Pied Piper’」と付いた。HBOのドラマ『Silicon Valley』(2014〜2019年)に登場する架空の圧縮アルゴリズム企業になぞらえたミームがSNSで急速に拡散した形だ。 KVキャッシュとは何か──なぜ圧縮が重要なのか KVキャッシュはLLMがテキストを生成する際の「作業メモリ」に相当する。モデルが過去のトークンの情報を保持するために使う一時領域で、入力テキストが長くなるほど線形に膨張する。 具体的には、Transformerアーキテクチャのアテンション機構で、各トークンのKey(検索キー)とValue(値)を保存しておき、次のトークン生成時に参照する仕組みだ。モデル本体の重み(パラメータ)とは別の領域であり、推論時のGPUメモリのボトルネックになる。 長文コンテキスト対応(128Kトークン以上)が標準化しつつある現在、KVキャッシュの圧縮は推論コスト削減の鍵として研究が活発化している。 TurboQuantの技術的な仕組み TurboQuantは2つの既存手法を統合した2段階アルゴリズムだ。 第1段階:PolarQuant データベクトルをランダム回転した後、デカルト座標から極座標(半径+角度)に変換する。通常の量子化では正方格子上に値を離散化するが、PolarQuantは円形格子を使うことで正規化のオーバーヘッドを排除し、効率的な3ビット量子化を実現する。この手法は単独でAISTATS 2026に採択されている。 第2段階:QJL(Quantized Johnson-Lindenstrauss) 第1段階で生じた残差誤差を1ビットの符号補正で吸収する。Johnson-Lindenstrauss変換の量子化版で、アテンションスコア計算時のバイアスを数学的に除去する。QJLはAAAI 2025で発表済みの手法だ。 この2段階を組み合わせることで、KVキャッシュを3ビットに圧縮しても、32ビット非圧縮と同等の精度を維持する。リード著者はGoogle ResearchのAmir Zandieh氏(Research Scientist)とVahab Mirrokni氏(VP & Google Fellow)。 ベンチマーク結果:何がどこまで速くなるのか Google Research公式ブログで報告されたベンチマーク結果は以下の通りだ。 指標 結果 条件 KVキャッシュメモリ削減 最大6倍 長文コンテキストタスク アテンション計算速度 最大8倍 H100 GPU、4ビット設定 vs 32ビット非圧縮 量子化ビット数 3ビット 追加学習・ファインチューニング不要 精度劣化 ゼロ 報告ベンチマーク上 評価に使用されたモデルはGemmaとMistral。評価ベンチマークはLongBench、Needle In A Haystack、ZeroSCROLLS、RULER、L-Evalの5種類で、いずれも長文コンテキスト処理能力を測定するものだ。arXiv論文ではLlama-3.1-8B-Instructでの結果も報告されているが、Google公式ブログではGemmaとMistralのみが掲載されている。 注意すべき点として、8倍の速度向上はアテンション計算部分に限定されており、推論全体のエンドツーエンド速度が8倍になるわけではない。 メモリ半導体株への影響 TurboQuant発表当日の2026年3月25日、メモリ半導体関連銘柄が軒並み下落した。 Micron Technology(MU):約3%下落(Investing.com、2026年3月25日) SanDisk Corporation:5.7%下落 Western Digital:4.7%下落 Seagate Technology:4%下落 Investing.comの記事(2026年3月25日)は「TurboQuantがメモリ需要の構造的な天井を示唆している」と報じた。AIモデルが少ないメモリで同等の性能を出せるなら、DRAM調達量の成長予測に疑問符がつくという論理だ。 ...

2026年3月26日 · ひとりユニコーン
お問い合わせ: [email protected]