TurboQuantのメモリ圧縮と半導体需要

TurboQuant発表後に下落したメモリ・ストレージ関連株

2026年3月25日、米国株式市場でメモリとストレージ関連株が揃って下落しました。Investing.comによる当日の場中報道によると、サンディスクは5.7%、ウェスタンデジタルは4.7%、シーゲイトは4%、マイクロンは3%下落しました。ナスダック100が上昇するなかで起きた動きでした。この記事は、Googleの圧縮アルゴリズムTurboQuantの発表を下落の背景として挙げています。

私も原稿を書いていた日の18時頃、韓国国内の株式画面を確認しました。サムスン電子、SKハイニックス、ハンミ半導体など半導体関連銘柄が下落していました。ただ、国内外の株価の動きをこの技術ひとつの影響として説明するのは難しいです。

TurboQuantは、AIが以前の計算を再利用するために保存するKVキャッシュを圧縮します。このキャッシュはGPUのHBM¹にも保存されるため、圧縮はHBMの使用量に影響を与える可能性があります。ただし、1件のリクエストを処理するのに必要なメモリが減ることと、市場全体のメモリ購入量が減ることは、別に見る必要があります。

TurboQuantが実際に行っていること

AIが次の文章を生成する際には、それ以前に入力された内容に関する計算結果を再利用します。このとき保存しておくキーとバリューのデータをKVキャッシュ²と呼びます。同じモデルと保存形式であれば、すべてのトークンを保持するキャッシュはおおむねトークン数に比例して大きくなります。長い文書を扱ったり、複数のリクエストを同時に処理したりするほど、メモリの負担も増えます。

TurboQuantは、これらの数値をより少ないビット数で保存する量子化³技術です。元の論文では、まずランダム回転と呼ばれる数学的変換を適用し、各数値の分布を予測しやすくします。そのうえで、あらかじめ計算しておいた基準に従って近い代表値に置き換えて保存します。入力データごとに圧縮基準を新たに学習しなくてよいという利点があります。

数値を簡略化して保存すると誤差が生じます。特に、AIがデータ間の関係を計算する内積演算では、結果が一方向に偏る可能性があります。論文はこれを補うため、残差誤差を扱うQJLという段階を提示しています。各成分を1ビットの符号で表す方法を用いて、内積の推定値に生じる偏りを取り除くよう設計されています。個々の計算の誤差がすべて消えるという意味ではありません。

論文のLongBench実験では、Llama-3.1-8B-Instructの平均スコアは、非圧縮と3.5ビット設定のいずれも50.06でした。2.5ビットでは49.44でした。3.5ビット設定では4.5倍以上の圧縮を報告しており、長文に隠された情報を探す実験でも非圧縮モデルと同等の性能を示しました。実験対象のモデルとタスクで得られた結果です。

圧縮基準をデータごとに学習する必要がないという特性は、ベクトル検索にも有用です。論文は、検索用インデックスの準備時間を短縮する結果を提示しています。ただし、検索インデックスの準備時間とチャットボットが回答を生成する時間は、それぞれ別の測定値です。

Googleのブログは、KVキャッシュを最小6倍縮小した実験と、最大8倍の演算速度向上を紹介しています。ここでいう8倍は、H100でアテンションロジットを計算する特定の段階における結果です。回答生成全体が8倍速くなったという意味に読んではいけません。論文の4.5倍以上と、ブログの6倍についても、モデルやビット数など実験条件を併せて確認する必要があります。私は、技術発表の大きな数字よりも、何を測定したのかを先に見るようにしています。