2026.08.28第219号

アリババがCPUメモリに置いた510億パラメータのルックアップテーブル

510億パラメータのN-gramルックアップテーブルをGPUではなくサーバーのCPUメモリに配置した理由と、9分の1や8.6倍といった発表数値が何を測定した値なのかを整理しました。

AI・テック

アリババが510億パラメータをGPU外のCPUメモリに置いた理由

水曜日の深夜0時（韓国時間）、アリババのQwenチームがQwen3.8-Flash-Nextの重みを公開しました。完成されたフラッグシップではなく、次世代のQwen4に組み込む設計を先行公開して検証を受けるためのモデルです。全体のパラメータ数は1,250億ですが、1つのトークンを処理する際に実際に動作するのは60億であり、そこに頻出するトークンの組み合わせをあらかじめ記憶しておく510億規模のN-gram¹メモリを接続しています。

スペック表で私が注目したのは、510億パラメータの格納場所でした。GPUメモリではなくサーバーの一般メモリに配置したという説明です。私は過去2回にわたって「AIの真のボトルネックは演算チップではなくHBMである」²と書いてきましたが、そのボトルネックをチップではなく設計によって迂回する試みが登場したのです。

今回の発表で注目すべき点は、性能スコアよりもコスト構造です。パラメータの一部をGPUのHBMではなくサーバーの一般メモリに置き、公表された数値がそれぞれ何を基準に測定された値なのかを見極める必要があり、同じ夜に公開された2つのFlashモデルは価格がほぼ同じでライセンスが異なっていました。

510億はなぜGPUの外にあるのか

言語モデルはトークンごとに辞書からベクトルを1つ取り出すところから始まります。Qwenはここに辞書をもう1つ付け加えました。直前の2〜3個のトークンの組み合わせをキーとして使う2,000万マスのテーブルです。最後のいくつかのトークンをハッシュ化してアドレスを作り、テーブルからベクトルを取り出して2番目の層の表現に混ぜ合わせます。掛け算ではなく読み出しなので、トークンあたりの演算量はほとんど増えません。

このテーブルをどこに置くかが重要です。アドレスが一意に決まるため、トークンさえ分かれば読み出すマスが特定でき、GPUが第1層を計算している間にCPUメモリからあらかじめフェッチして置いておくことができます。このプリフェッチ³が第1層の演算とオーバーラップすることで、データ転送の遅延が隠蔽されます。vLLMのデプロイレシピにその結果が現れています。GPU側のFP8チェックポイント172.78GiBはそのままに、そこに「N-gramオフロード用ホストメモリ51GB以上」という記述が1行追加されています。

混合エキスパート（MoE）⁴と比較すると、その意味が見えてきます。MoEもトークンあたりの演算量は減らしますが、512個のエキスパートすべてがGPUメモリ上になければなりません。一方でルックアップテーブルは、GPUの外に置いても動作します。モデルカードに記された「メモリ制約のあるアクセラレータに効率的、MoEよりもオフローディングに適している」という言葉は、まさにこの違いを指しています。

このアイデアを先に出したのはGoogleです。昨年2月のGoogle研究チームによるSCONE論文は、「主メモリとSSDはアクセラレータメモリよりはるかに安価である」という一文から始まり、N-gram埋め込みをアクセラレータの外に置くことを提案しました。論文の単価表によると、システムメモリは1GBあたり約2ドル、SSDは0.1ドルです。同年、Gemma 3nも層ごとの埋め込みをCPUに配置する方式を採用しました。この系譜を1,250億規模のモデルに510億というサイズで載せたのは、私の知る限りこれが初めてです。

レポート自身が明らかにしている限界もあります。N-gramの語彙数を増やせば学習損失は下がり続けますが、下流タスクの精度はある地点で飽和してしまいます。

100万トークン中2,048個だけを見るアテンション

Qwen3.8-Flash-Nextの層構造。GDNが3つとQSAが1つで1ブロック、4つの丸は拡張された残差ストリーム。（出典：Qwen）

2つ目の部品は、長いコンテキストのコストを標的にしています。48層のうち36層は、ゲーテッド・デルタネット（GDN）と呼ばれる線形アテンション層です。コンテキストが長くなっても固定サイズの1つの状態に圧縮して保持するため、コストは長さに比例してしか増えません。残りの12層、つまり4層に1回の割合でのみ真のアテンションが入り、その位置にQwen疎アテンション（QSA）が据えられます。

QSAは、軽量なインデクサーがコンテキストを小さなブロックに分割して重要度を評価し、トークンあたり最大512ブロック、または2,048トークンだけを選んで精密に参照します。100万トークンのコンテキストであっても、各アテンション層が実際に見るのは2,048個です。DeepSeekが昨年発表したDSAと同じ系統ですが、インデクサーのコストが長さの2乗で増える問題を、キーを圧縮することで軽減しました。レポートの数値では100万トークン基準でプリフィル⁵が7.6倍、デコードが4.9倍とされていますが、これはモデル全体ではなくアテンションカーネル単体の速度です。

3つ目の部品は、ダイアグラムで4つの丸として描かれている残差ストリーム⁶です。層の間をつなぐコンベアベルトを1本から4本へと広げ、各部品は読み出しゲートで必要な分だけ取り出して使い、書き込みゲートで元の位置へ戻します。レポートが強調しているのは安定性です。最適な学習率の4倍に引き上げるストレステストにおいて、従来の構造では損失が頻繁に跳ね上がったのに対し、新構造は安定しており、本学習では損失スパイクが一度も起きなかったといいます。

4つ目はレシピです。行列の重みにはMuon、それ以外にはAdamWを使い分け、スケーリング則を再調整してバッチサイズと学習率を引き上げたおかげで、バッチのウォーミングアップを廃止しました。ウォーミングアップによってオプティマイザのステップ数が18.8%余計に消費される、というのがその根拠です。

9分の1と8.6倍は何を測った数字なのか

公式発表文では「Qwen3.7-Plus比で学習コスト9分の1」とされていますが、レポートの表現は異なります。学習FLOPs⁷が約9分の1であり、分解するとアクティブパラメーター3分の1×学習トークン3分の1となります。ベースモデル基準で14のベンチマークのうち8つで上回り、6つは最大2.6ポイント下回っています。正確に言えば「同等性能を9分の1のFLOPsで」であって、「全面的に上回る」ではありません。FLOPsとGPU時間は異なる単位であるため、実際の学習コストが9分の1に減ったのかどうかはレポートに記載されていません。

7.6倍はカーネル速度であり、発表文にある8.6倍には条件がつきます。プレフィックスキャッシュ⁸のヒット率が90%のときに、Qwen3.7-Plus比でプリフィルのスループットが8.6倍になるというものです。ヒット率90%というのは、同じシステムプロンプトやツール定義を何十回も繰り返し読み込むエージェントタスクを指します。性能のアピールというよりは、このモデルがどのようなタスクをターゲットにして作られたのかを示す数値です。

最も多く引用されるであろう表は、Claude Opus 4.6との比較です。SWE-bench Proで62.5対53.4、CoWorkBenchで73.9対68.2、JobBenchで55.7対36.6。ただし、この比較には3つの但し書きがつきます。第1に、CoWorkBenchとRecreationBenchはQwen自身が作成したベンチマークです。第2に、SWE-bench ProはQwen系列のみ「問題のある課題を修正した改訂版」で再測定し、Opusは公式発表の数値をそのまま引用しています。同じ試験問題ではありません。第3に、Opus 4.6は2世代前のモデルです。Anthropicは4.7を経て5月28日に4.8をリリースしており、同日の夜に登場したGLM-5.3-Flashは比較対象を4.8に設定しています。人類最後の試験（HLE）では40.0対35.9でOpusがリードしています。

発表資料に掲載されたスコアだけを見れば、アクティブパラメーターが60億のモデルの性能としては印象的です。しかし、「Opusに勝った」という文言は、これら3つの但し書きを抜きにしては成り立ちません。但し書きをすべて考慮しても明確に残る差は価格です。正式なAPI版Qwen3.8-Flashは、100万トークンあたり入力0.16ドル、出力0.47ドルと予告されています。Opus 4.8は5ドルと25ドルです。入力で31倍、出力で53倍の差があります。

同じ夜に公開されたGLM-5.3-Flash、価格は同等でライセンスは別

似た価格帯のモデルが同じ夜にもう一つ登場しました。同じ夜にZ.aiが公開したGLM-5.3-Flashは、入力0.15ドル、出力0.50ドルです。3,200億パラメーターのうち180億がアクティブで、スパース・リニアのハイブリッドアテンションに残差ストリームを拡張したmHCまで、構成要素がQwenと重なります。Z.aiは「すべて中国製AIチップ上で動作する」と付け加えました。これら二つの中国産Flashモデルの価格は、100万トークンあたり入力15セント、出力50セント前後とおおむね同等でした。Artificial Analysisの独立した測定において、GLM-5.3-Flashは知能指数57で同価格帯の173モデル中1位、タスクあたりのコストは0.09ドルでした。その代わり、評価中に消費した出力トークンは1億5,000万個と、中央値の2倍を超えています。トークン単価が同じであっても、出力トークンを多く消費するモデルのほうが総コストは高くつきます。

telegram cloud photo size 5 6086879114649342854 y 価格が近いとなると、残る違いはライセンス条文です。Qwenは今回のモデルからライセンスをApache 2.0からQwen Community License 1.0へ変更しました。1カ月前のQwen3.8-27BまではApacheでした。新しい条文の要求は二つあります。月間アクティブユーザーが1億人、あるいは月間売上高が2,000万ドルを超える製品は画面上にモデル名を表示しなければならず、モデルをAPIとして再販する事業（Model as a Service）やコーディング・事務用AIアシスタント事業は、商用利用の前にQwenと別途契約を結ぶ必要があります。社内利用は例外です。前述したCursorのようなコーディングツールや、Harveyのモデルを動かしているFireworksのようなホスティング企業は、条文通りであれば対象になります。法的助言ではなく私の解釈です。

重みとアーキテクチャは公開するものの、自社のAPI事業（QwenCloud）や自社のアシスタント製品（Qoder・QwenWork）と重なる二つの用途に限り、別途契約の対象とした形です。7月の「門を閉ざし始めた中国」編で語った流れの事例が同じ夜に現れましたが、形態は異なります。国家レベルの輸出規制ではなく、一企業が自社事業と重なる用途のみを別途契約の対象として括った形態です。一方、Z.aiは同じ夜にGLM-5.3-FlashをMITライセンスでより広くオープンにしました。門を閉ざす側と開く側が、同じ国の中で分かれたのです。

HBMボトルネックの迂回路

先月の「封鎖が育てた中国」編と8月中旬の「二束三文になった知能」編で、私はAIのボトルネックはHBMだと書き、両編とも韓国がその要衝を押さえているという話で締めくくりました。今日の発表は、その論旨に一つの点を付け加えます。ボトルネックが大きければ、それを迂回する設計が登場する、という点です。

china model Qwenは設計理由を「メモリ制約のあるアクセラレータ」とだけ記し、HBMや輸出規制を口にしてはいません。両者を結びつけるのは私の解釈ですが、根拠はあります。推奨サービングフレームワークにはCPUメモリへエキスパートをオフロードするKTransformersが含まれており、同じ夜、Z.aiは完全に中国製チップで動かしていると明かしました。HBMの入手が難しくなるほど、この設計の利点は大きくなります。

51GBはサーバー1台のRAMの一部です。HBMを実際に多く使うのは、キャッシュで節約できない出力トークンの生成であり、その需要はこの設計とは無関係に増大します。変わるのは全体の需要量というよりも、需要がどのメモリに向かうかです。これまでモデルが大きくなるということはHBMがさらに必要になることを意味していましたが、この設計では増大する容量の一部がHBMの代わりにサーバーDRAMへと置かれます。韓国のメモリ産業にとっては、二つの側面を持つシグナルです。ボトルネックから生じる交渉力が維持され続けるわけではないということ、そして迂回路が向かう先も結局はDRAMだということ。同じ企業が作る、マージンの異なる製品です。

Oswarldの視点

私が今回の発表で最も長く見ていたのは、設計図ではなく公開の順序です。TechNodeが伝えた公開理由は、「開発者コミュニティがQwen4ファミリーに備える機会を与えるため」でした。発表からわずか1日でUnslothとllama.cppがデイゼロ対応に加わり、vLLMとSGLangのレシピが同日に公開されました。正式なQwen4が登場する日には、推論フレームワーク群がすでにそのアーキテクチャをサポートしている状態を作り出しているのです。Z.aiは逆方向から同じことを行いました。GLM-5.3-Flashは8月20日から6日間、OpenRouter上で名前のない無料モデル「Ox Alpha」として稼働し、実利用のフィードバックを受けました。Qwenはアーキテクチャを先に公開し、Z.aiはモデルの名前を伏せて先に公開することで実利用の反応を集めたのです。

Notionの韓国コミュニティを担当していたときに学んだことがあります。プラットフォームは機能が優れているから広まるのではなく、他者がその上で前もって動くからこそ広まるのです。リリース前にすでにテンプレートを作っておいた人々がいれば、リリース当日にすぐ使えるものが揃った状態でスタートできます。モデルとアーキテクチャを公開しない研究所は、この手法を使えません。アーキテクチャそのものが営業秘密だからです。

韓国の事例と比較してみると違いが見えてきます。LGのEXAONE 4.0レポートは、スライディングウィンドウアテンションを選んだ理由を「オープンソースフレームワークが広くサポートしているため」と記しており、今年1月のK-EXAONEモデルカードには「ライブラリが公式にサポートするまで、私たちのバージョンをインストールしてください」という案内が添えられていました。一方はフレームワークがサポートするアーキテクチャを選び、もう一方はフレームワークに自分たちのアーキテクチャをサポートさせます。独自ファウンデーションモデルを評価する際、ベンチマークの隣に「発表当日にvLLMが動作するか」を置いてみてはどうかと思うのです。

おわりに

整理すると3点あります。第1に、Qwen3.8-Flash-Nextの核心は性能ではなく設計であり、その設計の核心は510億パラメータをGPUの外にあるCPUメモリへと押し出した決定にあります。第2に、9分の1は学習FLOPsの比較であり、7.6倍は単一のアテンションカーネルの速度であり、Opusとの比較表には「自社製ベンチマーク」「Qwen系列のみ改訂版で再測定」「2世代前のモデルとの比較」という3つの但し書きが付きます。但し書きを考慮してもなお明確に残る差は価格ですが、その価格は同夜に公開されたGLM-5.3-Flashと100万トークンあたり入力15セント前後でほぼ同等であり、分かれ目となったのはライセンスです。第3に、この設計はHBMのボトルネックという論旨を覆すものではなく、ひとつの条件を付け加えるものです。ボトルネックが大きければそれを回避する設計が現れ、その迂回路で使われるメモリも結局はDRAMなのです。

今週試してみていただきたいことが1つあります。組織で運用しているエージェントタスクのログを開き、プレフィックスキャッシュのヒット率を確認してみてください。90%に近ければ、このモデルが照準を合わせているタスクはまさにそれであり、50%を下回るなら、発表文にある8.6倍は読者さんとは関係のない数字です。

実務でロングコンテキストエージェントを運用されているなら、キャッシュヒット率が実際にどの程度出ているのか、コストにおいてプリフィルとデコードのどちらがより重いのか、コメント欄でぜひお聞かせください。集まった声をまとめ、次号の「エージェントコストの分母」編へとつなげてみたいと思います。

💬 ロングコンテキストエージェントのキャッシュヒット率やコスト構造について、ぜひコメント欄でお聞かせください。次号に反映させていただきます。 📨 推論インフラに悩んでいる同僚がいらっしゃれば、この記事をシェアしていただけると幸いです。

参考資料と関連リンク

主要出典

Qwen Team, “On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability”, Alibaba Group, 2026.8.26. ··· 本日の記事の一次出典です。「アクセラレータの外に置いた51B」「FLOPs 9分の1」「14個中8個」、学習率4倍のストレステストがすべてここにあります。要約と第1章を読むだけでも設計思想が把握できます。第2.3節がN-gram埋め込みです。
Qwen, 「Qwen3.8-Flash-Next モデルカード」, Hugging Face, 2026.8. ··· パラメータ構成、層の配置（GDN 3：QSA 1）、ベンチマーク表と脚注があります。表の下の脚注2番と5番が、本文で触れた「改訂版試験問題」と「独自ベンチマーク」の根拠です。
vLLM, “Qwen3.8-Flash-Next Recipe”, 2026.8. ··· 「ホストメモリ51GB以上」とチェックポイントのサイズがここに記載されています。カーネルアクセラレーションの数値（10.2倍・6.6倍）がレポートと異なって記載されている点もご確認ください。
Qwen, 「Qwen3.8-Flash-Next 公式発表」, X, 2026.8.26. ··· 正式バージョンQwen3.8-Flashの予告価格（入力0.16ドル、出力0.47ドル）と「キャッシュヒット率90%で8.6倍」の出典です。
TechNode, “Alibaba’s Qwen to open-source Qwen3.8-Flash-Next, previewing Qwen4 architecture”, 2026.8.26. ··· 「開発者コミュニティがQwen4に備える機会」という公開の理由がここにあります。
Anthropic, “Introducing Claude Opus 4.8”, 2026.5.28. ··· 比較対象の現行世代と価格（入力5ドル、出力25ドル）を確認した出典です。
Qwen, “Qwen Community License 1.0”, 2026.8. ··· 条文は2段落のみです。第1項がモデル名表示の義務（月間アクティブユーザー1億人または月間売上高2,000万ドル）、第2項がModel as a ServiceおよびAI Work Assistantの個別契約義務です。ご自身で直接読まれることをおすすめします。Qwen3.8-27BまではApache 2.0でした。
Z.ai, “Introducing GLM-5.3-Flash”, X, 2026.8.26. ··· 3,200億・180億アクティブ、MITライセンス、「Ox Alphaとして先行公開」、「すべて中国製AIチップで稼働」、価格（入力0.15ドル、出力0.50ドル）の出典です。
Z.ai, 「GLM-5.3-Flash モデルカード」, Hugging Face, 2026.8. ··· スパース・リニアハイブリッドアテンションとmHCの採用、そして比較対象がOpus 4.8である点をここで確認しました。推奨サービングフレームワーク4種がQwenと同じです。
Bloomberg, “China’s Z.ai Made Ox Alpha, Stealth Model That Rivals DeepSeek”, 2026.8.26. ··· Z.aiがOx Alphaを自社モデルだと初めて認めた報道です。
Artificial Analysis, “GLM-5.3-Flash Intelligence, Performance & Price Analysis”, 2026.8. ··· 知能指数57（同価格帯173件中1位）、タスクあたりコスト0.09ドル、評価出力トークン1億5,000万個（中央値6,400万）の出典です。トークン単価とタスクあたりコストがなぜ異なるのかがここで示されています。
Decrypt, “AI Model Ox Alpha Is Free, Beats Claude Fable, and Nobody Knows Who Built It”, 2026.8. ··· 8月20日の匿名公開からコミュニティがトークナイザーを手がかりにGLMを特定するまでの経緯です。10タスク基準のベンチマーク主張が、113件の全体実行でどのように変わったかも記載されています。

背景知識

Da Yuら（Google）, “Scaling Embedding Layers in Language Models”, NeurIPS, 2025. ··· N-gram埋め込みをアクセラレータの外に置く設計（SCONE）の原論文です。第4.3節の単価表（システムメモリGBあたり約2ドル、SSD約0.1ドル）がこの設計の経済学です。
InfoQ, “Gemma 3n Introduces Novel Techniques for Enhanced Mobile AI Inference”, 2025.7. ··· 層別の埋め込みをCPUに配置し、80億モデルを40億メモリで動かしたGemma 3nの解説です。同じアイデアのモバイル版です。
LG AI Research, “EXAONE 4.0 Technical Report”, arXiv, 2025. ··· 第2.1節にスライディングウィンドウアテンションを選定した理由として「オープンソースフレームワークの手厚いサポート」と記されています。Oswarldの視点セクションにおける対比はここから取られています。
LG AI Research, 「K-EXAONE-236B-A23B モデルカード」, Hugging Face, 2026.1. ··· 要件項目に「ライブラリが公式サポートするまで、私たちのバージョンをインストールしてください」との案内があります。
AlternativeTo, “Alibaba releases open-source Qwen3-Next model”, 2025.9. ··· 昨年9月のQwen3-Next公開当時の記録です。今回と同じ筋書きだったことが確認できます。

著者 アン・グァンソプ（Oswarld） は世宗大学校兼任教授、INLEVEL9 戦略コンサルタントです。経歴、研究、著書、最近の活動は著者紹介で更新しています。最近の活動 · 2026年7月：HEMA-2: A Consolidation-Aware Tri-Memory Architecture with Multi-Channel Scheduling for Lifelong Conversational AI。

📝 用語解説

각주

N-gram：連続するN個のトークンの連なりです。「マシンラーニング」のように2個ならバイグラム、3個ならトライグラムと呼びます。頻出する組み合わせをあらかじめ記憶しておけば、文脈をより素早く把握できます。 ↩
HBM（広帯域メモリ）：GPUのすぐ隣に積み上げ、毎秒数テラバイトのデータをやり取りするメモリです。一般的なサーバー向けDRAMよりもはるかに高速かつ高価で、現在はお金があっても調達が困難な部品です。 ↩
プリフェッチ（prefetch）：必要となるデータを事前読み込みしておく手法です。料理人が次の料理の材料をあらかじめ取り出しておくように、計算が終わる前にメモリからの読み出しを開始して待機時間をなくします。 ↩
混合エキスパート（MoE、Mixture of Experts）：モデル内に小規模な専門家ネットワークを複数配置し、トークンごとにいくつかを選んで稼働させるアーキテクチャです。パラメータ全体は大きいものの、トークンあたりの演算量は小さく抑えられます。ただし、選ばれなかった専門家もGPUメモリ上に載せておく必要があります。 ↩
プリフィル（prefill）とデコード（decode）：プリフィルは入力コンテキスト全体を一度に読み込むフェーズ、デコードは回答を1トークンずつ生成するフェーズです。入力文書が長くなるほどプリフィルが重くなり、回答が長くなるほどデコードが重くなります。 ↩
残差ストリーム（residual stream）：層と層の間を貫き、情報を受け渡す経路です。各層はこの経路から情報を取り出して計算を行い、その結果を再び足し合わせます。ベルトコンベヤーに近いイメージです。 ↩
FLOPs：浮動小数点演算の回数です。学習に要した計算量を表す単位ですが、実際のGPU時間やコストとは異なります。同じFLOPsであっても、GPUをどれだけ休ませずに稼働させ続けられるかによって請求額は変わってきます。 ↩
プレフィックスキャッシュ（prefix cache）：先頭部分が共通する入力を再度受け取った際に、あらかじめ計算しておいた結果を再利用する仕組みです。同一のシステムプロンプトやツール定義を毎回読み直すエージェントタスクにおいて、高いヒット率を誇ります。 ↩