AI半導体のボトルネックが演算からメモリへと移行しました
Nvidiaによる15%のサーバー値上げとメモリ階層の分化、韓国製NPUの商機について整理しました。
AI・テックサーバー価格15%引き上げ、Nvidiaが認めたこと
Nvidiaが主要顧客に対し、サーバー価格の値上げを通告しました。
ブルームバーグは8月22日、消息筋の話として、Nvidiaが一部の主要顧客に対し、AIチップを搭載したサーバー価格を15%超引き上げると通告したと報じました。値上げ分は来年初めに出荷されるシステムから適用され、主力であるGrace Blackwellと次世代のVera Rubinの双方が対象です。理由はメモリ価格でした。
ブルームバーグはこの状況を異例だと評価しました。Nvidiaは半導体業界で最も収益性の高い企業と目されていますが、そのような企業が原価の上昇を吸収しきれず、顧客に転嫁したからです。
メモリの原価比率を示すデータもあります。今月出荷が始まったVera Rubinは、システム原価の62%がメモリを占めるという分析が出ました。
AI半導体の競争の軸が、演算からメモリへと移行しています。そしてこの変化は、これまでNvidiaの後塵を拝してきたNPU企業にとっても好機となっています。
AIメモリがHBM・HBF・SOCAMM2の3階層に分かれつつあります
最近の証券会社のリポートを見ると、AIメモリを3つの階層に分けて描くようになってきました。
HBMは、広く知られているあの高帯域幅メモリです。アクセラレータのすぐ隣に配置される超高速作業用メモリであり、HBM4基準で1スタックあたり36GB、帯域幅は2.8TB/sを超えます。最も高速ですが最も高価で、容量とパッケージングに制約があります。
HBF1はHBMより遅いものの、大容量を特徴とする階層です。NANDフラッシュベースであるため、公開スペック上はパッケージあたり最大512GBを搭載しつつ、0.4~3.0TB/sの帯域幅を目標としています。HBM級の速度に、はるかに大きな容量を組み合わせるという発想です。ただしNAND特有のレイテンシや耐久性の課題が残っており、まだ初期段階にあります。
SOCAMM2は、3階層のうちの最後の一つです。スマートフォンで使われていた低電力DRAMをサーバー用モジュールとして再設計した製品で、従来のサーバー用メモリモジュールであるRDIMMと比較すると帯域幅が2倍以上、エネルギー効率は75%以上向上しています。基板にハンダ付けせずコネクタで装着する方式のため、モジュールを取り外して交換することも可能です。
容量の数値は、発表時点と量産時点を区別して見る必要があります。資料にはよく「最大256GB」と記載されますが、256GBはMicronが今年3月に発表し顧客にサンプル出荷した仕様です。実際の量産の主力は192GBであり、サムスン電子が3月に1bプロセスで先行して量産を開始し、SKハイニックスが4月に1cプロセスで続きました。むしろ興味深いのは、逆方向のニュースです。低電力DRAMの供給が逼迫する中、NvidiaがSOCAMM2の容量を192GBから96GBに引き下げる方針を進めているという報道が6月に出たからです。単独報道であるため確定とは言えませんが、事実であれば象徴的です。部品が調達できずに完成品の仕様を削る状況だからです。
HBM単独で構成すると問題が生じます。推論において巨大なモデルを動かすには、モデルの重みと対話履歴をメモリ上に丸ごと載せておく必要がありますが、1スタックあたり36GBではすぐに限界を迎えます。さらに積層すればよいのではないかと思われがちですが、層を増やすほど発熱と消費電力が増加し、歩留まりは低下します。価格も一気に跳ね上がります。結局のところ、「最速のメモリをさらに多く」という解決策は、物理的にも経済的にも行き詰まったのです。そのため、頻繁に使うデータはHBMに、それほど急がない巨大なデータは下層に置くといった形で切り分けるのが合理的になります。
なぜこれほど階層が増えるのでしょうか。AIの重心が学習から推論へと移ったからです。学習は短期間に演算を集中させる作業であるため、最速のメモリが有利です。しかし推論は、巨大なモデルを長期にわたり、安価に、継続して稼働させなければならない作業です。この場合、最高速度だけが重要なのではなく、速度と容量、そして電気代のバランスをいかに取るかが重要になります。そのため、単一のメモリですべてを処理しようとしていた構造が、複数の階層へと分かれることになったのです。
去る8月4日に米国で開催されたメモリ学会「FMS 2026」におけるSKハイニックスの基調講演のタイトルが、この流れを如実に示しています。エージェンティックAIの時代において、階層型メモリによってAIインフラを最適化するという内容でした。
Nvidiaは自社製推論チップを断念し、外部のLPUを採用しました
この変化を最も明確に示したのは、メモリ企業ではなくNvidiaでした。この1年の間に起きた2つの出来事を並べて見てみましょう。
第1に、断念したチップ。 2025年9月、Nvidiaは「Rubin CPX」という推論専用アクセラレータを公開しました。要点は、HBMの代わりにGDDR7を使用する点にありました。高価なHBMを排しながらも、前世代比で7.5倍高いAI性能を発揮すると主張し、100万トークン単位の処理や動画生成に特化した製品でした。「推論はより安価なメモリでも対応できる」という宣言だったわけです。
ところがNvidiaは、今年3月のGTC 2026において、このチップをロードマップから除外してしまいました。公開からわずか6カ月後のことでした。
第2に、調達したチップ。 同じGTC 2026で公開されたVera Rubinプラットフォームは、7つの新しいチップで構成されています。Vera CPU、Rubin GPU、NVLink 6スイッチ、ConnectX-9 SuperNIC、BlueField-4 DPU、Spectrum-6イーサネットスイッチ、そしてGroq 3 LPU2です。
このうち最後の項目であるGroq 3 LPUは、Nvidiaが自社で設計したチップではなく、外部から導入したチップです。Nvidiaはこの構造において、GPUとLPUの役割を分けました。大規模なデータ演算はGPUが担い、超低遅延の応答はLPUが担います。この組み合わせにより、兆単位のパラメータを持つモデルの推論スループットを最大35倍まで引き上げると発表しました。前世代のBlackwellと比較すると、専門家混合モデル3の訓練に必要なGPU数は4分の1に減り、推論スループットとワット当たり性能は10倍、トークン当たりのコストは10分の1になるという数値もあわせて示されました。ジェンスン・フアンCEOはその席で、推論の変曲点が訪れたと語りました。
この2つの出来事をつなぎ合わせると、次のように読み解けます。Nvidiaは「推論においてGPUとHBMの組み合わせは最善ではない」という答えを自社設計で実現しようとして断念し、その答えを外部から買い求めたのです。
これがなぜ重要かといえば、これまでこの主張を展開してきたのがまさにNPU陣営だったからです。GPUは本来グラフィックス用途として生まれた汎用チップであるため推論に使うと無駄が生じる、したがって推論専用の設計のほうが電力やレイテンシの面で有利である、というのが彼らの論理でした。市場の支配者が、その論理を製品構成の面で認めた格好になったのです。
メモリ規格の議論にアクセラレータ企業が参入しました
8月4日、SanDiskとSKハイニックスがHBFの初となる標準規格をOCP4を通じて公開しましたが、その標準化プロセスにGoogleとTenstorrentがコンソーシアムとして合流し、技術検証や規格策定に参加しました。
GoogleはTPUを作り、TenstorrentはNPUを作っています。メモリ規格を決定する場に、メモリ企業だけでなくアクセラレータ企業も共に参加したことを意味します。 サムスン電子とMicronは現時点では静観の構えです。
推論チップの性能は、もはやチップ設計だけで決まるものではなく、どのようなメモリ階層を前提として設計されたかによって大きく左右されます。だからこそアクセラレータ企業各社は、自社チップに有利な階層規格を定める議論にあらかじめ参加しているのです。
韓国企業にも目を向けてみましょう。RebellionsはHBM3Eを採用した「REBEL Quad」を投入し、日本、サウジアラビア、米国で実証を進めており、FuriosaAIはLGのEXAONEへの導入事例を確保し、今年の売上高目標として1億ドルを掲げました。両社とも電力効率と低遅延を強みとして掲げ、推論市場をターゲットにしてきました。
しかし私が注目しているのは、これらの企業がどのようなメモリを採用しているかという点です。REBEL QuadはHBM3Eを使用しています。性能を確保するうえでは合理的な選択ですが、原価の大部分がNvidiaと同じ部品に縛られることをも意味します。先述の通り、システム原価におけるメモリの比率が高まる構造は、韓国製NPUにもまったく同じように当てはまるわけです。同様に高価なメモリを使いながら、価格面で優位に立つことは困難です。HBFや低電力DRAMの階層が実際に本格化すれば、韓国製NPUにとっては性能競争の前に、原価構造を根本から変える好機が生まれることになります。
ところが、先週の値上げのニュースはこの均衡を少し揺さぶっています。サーバー価格が15%を超えて跳ね上がれば、そのまま使い続けるコストが上がり続けることになります。一方でエコシステムを移行するコストは概ね一度支払えば済む固定費に近いです。そのためエコシステム移行の費用を回収する時期が前倒しになるわけです。 実際に今回の報道を受けて、サーバー価格の急騰がビッグテックの自社製チップ移行を加速させる要因になり得るとの見方が出ました。
もっとも、同じ見立てにおいて逆の側面も指摘されています。自社製チップを増やそうがNvidiaを使い続けようが、結局のところサムスン電子やSKハイニックス、Micronから十分なメモリを確保しなければならない点に変わりはないということです。どちらを選択しようとメモリの確保が成否を分けるという点において、主導権の重心がチップからメモリへと移行した事実を改めて物語っています。
したがって、私はNPUの未来をこのように見ています。今後はベンチマークのスコア以上に、分化したメモリ階層のどこをターゲットにして設計するかが勝敗を分けることになるでしょう。実際に韓国企業各社も、データセンターでの全面戦争を避け、エッジやオンデバイス、フィジカルAIといった領域へと舵を切り始めています。かつてコンピューティングがメインフレーム中心からPCやモバイルへと細分化していったように、AI半導体もまた推論、エッジ、オンデバイスへと分化していくという見通しです。
Oswarldの視点
GTM（Go-to-Market）戦略を策定する中で、繰り返し確認したことがあります。後発の製品が先行リーダーに勝利するポイントは、概してスペック表の上にはありませんでした。それは規格であるか、あるいは流通でした。
同一の条件下で性能だけをさらに引き上げれば勝てると思われがちですが、実際には競争の規格（ルール）を決める側のほうが圧倒的に有利です。そのため私は、GoogleやTenstorrentがHBFの標準化コンソーシアムに加わったことを、単なる技術協力ではなく市場における足場を固める動きとして捉えています。自社チップに適したメモリ規格をあらかじめ定める場に参画したからです。
韓国のNPU企業に今求められているものも、本質的には同じだと考えています。Nvidiaより数パーセント優れた電力効率を証明することよりも、次世代メモリの階層規格を定める議論のテーブルに着く権利を確保することのほうが、長期的にははるかに大きな効果をもたらすはずです。仮に政府支援を求めるのであれば、研究開発費そのものよりもそうした規格標準化への関与に注力するほうが費用対効果が高いと考えています。
一つ補足するなら、これは確信ではなく条件付きの観測です。標準化に参加することは始まりにすぎず、その規格の上で動作するソフトウェアを開発者たちが実際に採用するかどうかは、まったく別の問題だからです。
おわりに
本日の内容を3行にまとめると、次のようになります。
第1に、Nvidiaがサーバー価格を15%以上引き上げた理由も、Vera Rubinの原価の62%をメモリが占めていることも、根本は同じ話です。ボトルネックが演算からメモリへと移行しました。第2に、そのためメモリがHBM単独からHBFやSOCAMM2を含む階層構造へと分化しつつあり、NvidiaはHBMを排した推論チップの自社開発を断念した末、外部からLPUを導入しました。第3に、こうした激変の中で、NPU競争の成否を分ける鍵がチップ単体の性能からメモリ階層の規格を先んじて押さえることへと移行しています。
ですから今後AI半導体のニュースを目にする際は、性能の倍率ばかりに目を奪われるのではなく、そのチップがどのようなメモリを前提として設計されているのかにもぜひ目を向けてみてください。最近では、まさにそちらにこそ多くの示唆が含まれています。
もし実務において推論コストの削減に取り組まれたご経験があれば、何が最も大きな足かせとなったかぜひ教えてください。チップ価格だったでしょうか、電気代だったでしょうか、あるいはソフトウェアの移行コストだったでしょうか。コメント欄でお聞かせいただければ幸いです。次回のテーマへとつなげてまいります。
この記事は産業構造を分析したコンテンツであり、投資を勧誘するものではありません。言及されている企業や数値は、各時点における公開資料や報道に基づいたものであり、一部には単独報道や業界の推計が含まれるため、確定した事実ではない場合があります。
💬 推論コストを最も大きく押し上げた要因は何だったかコメントでお聞かせください · 📨 半導体やインフラに関心のある同僚の方にぜひこの記事をシェアしてください
参考資料と関連リンク
主要出典
- Ian Kingほか、“Nvidia Customers Notified About AI-Related Price Hikes Above 15%“、Bloomberg、2026. 8. 22. リンク ··· 今回の記事の出発点です。有料記事のため閲覧が難しい場合は、韓国メディアの引用報道などで要旨をご確認いただけます。値上げ率よりも「異例」という評価にぜひご注目ください。
- SanDisk・SKハイニックス、“Sandisk and SK hynix Advance Global Standardization of High Bandwidth Flash with Release of First OCP Technical Specification”、2026. 8. 3. リンク ··· GoogleとTenstorrentのコンソーシアム参加が明記された原文です。本稿において最も重要な一文がここにあります。
- キム・ヨンホ、「[GTC 2026] Nvidia「Vera Rubin」スペック公開、演算力3倍・推論効率10倍の飛躍」、電子新聞、2026. 3. 17. リンク ··· 7つの新型チップ一覧をそのまま確認できます。Groq 3 LPUがなぜそのリストに含まれているのかが、本日の問いかけです。
- イ・ギジョン、「Nvidia『Rubin CPX』発売不透明、メモリ・基板注文なし」、THE ELEC、2026. 5. 27. リンク ··· 開発を断念したチップの記録です。公開された製品が静かに姿を消していく経緯は報道されることが稀であり、貴重な資料です。
- SKハイニックス・ニュースルーム、「SKハイニックス、SOCAMM2 192GB本格量産開始」、2026. 4. 20. リンク ··· RDIMMに対する帯域幅およびエネルギー効率の数値の一次出典です。
背景知識
- ユジン投資証券、AIメモリ比較資料（『毎日経済 MK PLUS』グラフィック） ··· 本稿の第1セクションの図表はこちらに基づいています。ただし容量の数値はスペック上の上限であるため、量産時点と区別して見る必要があります。
- ハン・ジョンホ、「[現場] Nvidia独走に立ち向かう韓国産NPU、推論・フィジカルAIで勝負手」、ZDNet Korea、2026. 5. 28. リンク ··· Rebellions、FuriosaAI、Mobilintの戦略を当事者の発言から確認できます。
📝 用語解説
각주
-
HBF（High Bandwidth Flash）：NANDフラッシュを複数層積層し、HBMに近い速度を実現しながら容量を大幅に拡大したメモリです。HBMとSSDの間の空白を埋める階層とお考えください。2025年8月にSanDiskとSKハイニックスの合意によって始まり、今年8月に初の標準規格が策定されました。 ↩
-
LPU（Language Processing Unit）：言語モデルの推論、とりわけ応答遅延の短縮に特化したプロセッサです。米国企業のGroqが開発していますが、イーロン・マスク率いるxAIがリリースしたチャットボット「Grok」とは綴りも会社もまったく異なりますので、混同されないようご注意ください。 ↩
-
専門家混合モデル（MoE）：単一の巨大モデルがすべての質問に答えるのではなく、内部を複数の専門家モジュールに分割し、質問ごとに一部のモジュールのみを起動する方式です。同じモデルサイズでも計算量を大幅に削減できるため、昨今の大規模モデルで広く採用されています。 ↩
-
OCP（Open Compute Project）：データセンター向けハードウェアの仕様を、複数企業が共同でオープン標準として策定する団体です。ここで仕様が決定されると、部品メーカーもチップメーカーもその規格に準拠して製品を設計することになります。 ↩
あわせて読みたい過去の号
アリババがCPUメモリに置いた510億パラメータのルックアップテーブル
510億パラメータのN-gramルックアップテーブルをGPUではなくサーバーのCPUメモリに配置した理由と、9分の1や8.6倍といった発表数値が何を測定した値なのかを整理しました。
AI・テックエージェントの普及でサーバーCPU市場が6倍に拡大する見通し
補助的役割とみなされていたサーバーCPU市場が2030年に2,100億ドルへと6倍に成長するというBofAの予測を読み解きます。
AI・テック同一人物なのに名前を変えたら文が偽になりました
性能が同等になっても代替されない席があります。成果物だけを利用する席と、誰の名義で出されるかが効力を左右する席を区別して考えてみました。
AI・テック