重みは公開されても個人では動かせないオープンウェイト
Kimi K3は重みだけで1.5TBを超えます。演算に一部のパラメータしか使わないMoEモデルでも、自前で動かすには巨大なメモリが必要となる理由を掘り下げます。
AI・テック2.8兆パラメータのモデル、ダウンロードできても個人の環境では動かせない
7月17日、北京のMoonshot AIが「Kimi K3」を公開しました。パラメータ数は2兆8,000億個で、Moonshot自身が世界最大のオープンウェイト1モデルだと発表したモデルです。現在もHugging Faceから誰でもダウンロードできます。問題は、ダウンロードした先です。重みファイルだけで1.5テラバイトを超え、後述の実測値のように動かすには、一般的なパソコンをはるかに超えるメモリとサーバー構成が必要になるからです。
最近のフロンティア級オープンモデルは、誰もが重みをダウンロードできる一方で、実際に実行できる主体はクラウド事業者や大企業、政府機関へと狭まりました。その隔たりがどれほど大きいのか、メモリ要求量とサービング費用の数字から紐解いてみます。
わずか2週間で上位5枠が中国製モデルに塗り替わったランキング
まずはランキングから見ていきましょう。ベンチマーク機関Artificial Analysisの知能指数基準で、オープンウェイトの上位陣は現在、Kimi K3(57点)、GLM-5.2(51点)、DeepSeek V4 Flash(50点)の順となっています。4位と5位もKimiの軽量版とMiniMaxです。上位5枠がすべて中国のモデルで占められていることを意味します。
この順位表は、ここ2週間の間に塗り替えられました。7月17日にMoonshotがKimi K3を投入し、その2日後にはAlibabaが「Fable 5に次ぐ」という自己評価とともに、2兆4,000億パラメータの「Qwen3.8-Max」を予告しました。その間にOpenAIが主力モデルの価格を80%引き下げる動きがあり、7月31日にDeepSeekがV4 Flashの正式版を、8月3日にはAlibabaがQwen3.8-Maxの正式版をリリースしました。重みは来週公開予定となっています。
向上したのは性能だけではなく、モデルの規模も巨大化しました。GLM-5.2が7,530億個、DeepSeek V4-Proが1兆6,000億個、Qwen3.8-Maxが2兆4,000億個、Kimi K3が2兆8,000億個です。巨大化する理由は、フロンティア級の性能に追いつくためです。DeepSeek V4 Flashの50点はOpenAIの最新クローズドモデルとわずか1点差であり、Kimi K3に至ってはFableやSol級の知能を標榜しています。各社は最上位の性能を達成するために、モデルを巨大化させる戦略を選びました。そしてこれほど巨大化できるのは、昨今の大規模モデルが軒並み専門家混合(MoE)2アーキテクチャを採用しているからです。1つのトークンを処理する際、全パラメータのうち一部だけを計算に使う設計だからです。Qwen3.8-Maxは2兆4,000億個のうち950億個、DeepSeek V4 Flashは2,840億個のうち130億個だけが実際の計算に参加します。
ここにコスト構造の分岐点があります。演算コストはアクティブパラメータ数に比例しますが、メモリ要求量は全パラメータ数に比例します。 高速に応答するサービング構成では、どの専門家(Expert)が呼び出されても即座に対応できるよう、すべての重みをメモリ上に常駐させておく必要があるためです。そのため、API料金は極めて安価である一方(DeepSeekは出力100万トークンあたり0.28ドルです)、自宅で動かそうとすれば2兆8,000億個のパラメータすべてを収めるビデオメモリが求められます。APIが安い理由と自宅で動かせない理由は、まったく同一の設計に由来しているのです。
1.5テラバイトがどれほどの規模かというと、コンシューマー向け最上位グラフィックボードであるRTX 5090のビデオメモリが32ギガバイトです。単純にメモリ容量を足し算しただけでも約48枚分に匹敵するサイズであり、100万トークンのコンテキストを保持するためのKVキャッシュ3はまだ計算に入れてすらありません。容量の増加ペースも比較してみましょう。民生用GPUのメモリは、2020年の24ギガから2025年の32ギガへと、5年間で33%の増加にとどまりました。比較対象の期間は異なるものの、オープンモデルの最大サイズは2024年のLlama 405Bから2026年の2.8Tへと、わずか2年で7倍に跳ね上がりました。モデルサイズが拡大するスピードは、民生用GPUのメモリ容量が増えるペースをはるかに凌駕しています。