AI 半導體的下一片戰場是記憶體
我們從上週的一則新聞開始聊起。 彭博社 8 月 22 日援引消息人士報導，NVIDIA 已通知部分主要客戶，搭載 AI 晶片的伺服器價格將調漲超過 15%。
前言
讀者 您好，我們從上週的一則新聞開始聊起。
彭博社 8 月 22 日援引消息人士報導，NVIDIA 已通知部分主要客戶，搭載 AI 晶片的伺服器價格將調漲超過 15%。漲價幅度將從明年年初出貨的系統開始適用，主力產品 Grace Blackwell 以及下一代 Vera Rubin 都在調整範圍內。原因，就是記憶體成本。
彭博社將此情況評為罕見。NVIDIA 向來被視為半導體業界獲利能力最高的公司，這樣一家企業竟然無法自行吸收成本上升，而是轉嫁給客戶。
再補充一個數字，畫面就更清晰了。本月初開始出貨的 Vera Rubin，有分析指出系統成本的 62% 都是記憶體。
先說結論。AI 半導體競爭的主軸，正在從運算轉向記憶體。而這個轉變，正在為過去一直落後於 NVIDIA 的 NPU 創造一種前所未有的機會。
HBM 上下各多了一層
先來梳理一下地形。最近看券商報告，AI 記憶體開始被畫成三個層級。
HBM 就是我們熟悉的那個高頻寬記憶體。它緊貼在加速器旁邊，是超高速的工作記憶體，以 HBM4 為基準，每個堆疊 36GB，頻寬超過 2.8TB/s。最快，但也最貴，而且容量和封裝都有限制。
HBF1 是它下面那一層。基於快閃記憶體（NAND Flash），公開規格上每個封裝最多可容納 512GB，目標頻寬為 0.4～3.0TB/s。概念是用接近 HBM 的速度搭配大得多的容量。不過快閃記憶體特有的延遲和耐用度問題仍然存在，目前還處於早期階段。
SOCAMM2 是上面那一層。它是將手機上使用的低功耗 DRAM 重新設計為伺服器用模組，與現有的伺服器記憶體模組 RDIMM 相比，頻寬提升兩倍以上，能效改善 75% 以上。採用連接器方式而非焊接，可以拔插更換。
這裡要特別說明一個細節。資料上常寫「最大 256GB」，但 256GB 是美光去年 3 月發表並向客戶提供樣品的規格。實際量產主力是 192GB，三星電子 3 月率先以 1b 製程開始量產，SK海力士 4 月以 1c 製程跟進。反而更有趣的是反方向的消息。由於低功耗 DRAM 供應吃緊，6 月有報導指出 NVIDIA 正推動將 SOCAMM2 容量從 192GB 降至 96GB 的方案。這是獨家報導，不能視為定論，但如果屬實，就很有象徵意義——因為是找不到零件，被迫降低成品規格。
只用 HBM 撐會遇到什麼問題，也來聊聊。推論中要跑大模型，必須把模型參數和對話紀錄整塊載入記憶體，但每個堆疊 36GB 很快就到極限了。多堆幾層不就好了？但層數越高，發熱越大、功耗越高、良率越低，價格也跟著飆升。最終，「用最快的記憶體、堆更多」這個答案，在物理上和经济上都被堵死了。所以，把常用資料放在 HBM，把不急的大塊資料放在下面一層，這種分層方式才合理。
為什麼層級會越來越多？因為 AI 的重心從訓練移向了推論。訓練是短時間高強度的工作，最快的記憶體就是答案。但推論是讓大模型長時間、低成本、持續運行的遊戲。這時候需要的不是極致速度，而是速度、容量和電費之間的配比。所以原本想用一種記憶體搞定一切的架構，被拆解成了階梯式結構。
8 月 4 日在美國舉行的記憶體學會 FMS 2026 上，SK海力士的主題演講標題直接反映了這個趨勢——在 Agentic AI 時代，以分層記憶體協調 AI 基礎設施。
NVIDIA 放棄的晶片和買進的晶片
但最戲劇化地印證這個局面的，不是記憶體公司，而是 NVIDIA 本身。過去一年間發生的兩件事，放在一起看會很有意義。
第一件，放棄的晶片。 2025 年 9 月，NVIDIA 發表了專為推論設計的加速器 Rubin CPX。核心是用 GDDR7 取代 HBM。他們宣稱即使去掉昂貴的 HBM，AI 效能仍比上一代高 7.5 倍，是一款專攻百萬 token 級處理和影像生成的產品。這等於是宣告「推論可以用更便宜的記憶體來做」。
然而，NVIDIA 在 3 月的 GTC 2026 上把這顆晶片從路線圖中移除了。距離發表才 6 個月。
第二件，買進的晶片。 同一場 GTC 2026 上發表的 Vera Rubin 平台由 7 顆新晶片組成：Vera CPU、Rubin GPU、NVLink 6 交換器、ConnectX-9 超級網卡、BlueField-4 DPU、Spectrum-6 乙太交換器，以及 Groq 3 LPU2。
最後一個名字才是關鍵。NVIDIA 在這個架構中將 GPU 和 LPU 的職責做了分工。大規模資料運算由 GPU 負責，超低延遲回應由 LPU 負責。他們表示，這個組合可將兆級參數模型的推論吞吐量提升最多 35 倍。與上一代 Blackwell 相比，訓練專家混合模型3所需的 GPU 數量減少到四分之一，推論吞吐量和每瓦效能提升 10 倍，每 token 成本降低到十分之一。執行長黃仁勳在現場表示，推論的轉折點已經到來。
把兩件事串起來讀，就是這樣：NVIDIA 試圖用自家設計來回答「推論不一定需要 GPU 加 HBM 的組合」，結果放棄了，轉而從外部買來了答案。
這為什麼重要？因為過去一直主張這個論點的，是 NPU 陣營。GPU 本質上是為圖形而生的通用晶片，用在推論上會有浪費，所以推論專用設計在功耗和延遲上更有優勢——這是他們的邏輯。市場霸主用產品組合認可了這個邏輯。
那 NPU 會發生什麼事
第一個訊號出現了。8 月 4 日，SanDisk 和 SK海力士透過 OCP4 公開了 HBF 的首個標準規格，標準化過程中 Google 和 Tenstorrent 以聯盟形式加入，參與技術驗證和規格制定。
Google 做 TPU，Tenstorrent 做 NPU。意思是，制定記憶體規格的房間裡，坐的不只是記憶體公司，還有加速器公司。 三星電子和美光目前還在觀望。
原因很簡單。推論晶片的效能，現在不再由晶片單獨決定。設計時假設了哪種記憶體層級，就佔了一半。所以他們要提前佔據對自家晶片有利的層級規格制定席位。
也來看看國內的情況。Rebellions 推出了搭載 HBM3E 的 Rebellions Quad，正在日本、沙烏地阿拉伯和美國進行實證；FuriosaAI 已拿下 LG Exaone 的導入案例，今年目標營收 1 億美元。兩家公司都以能效和延遲為武器，瞄準推論市場。
但我更關注的是這些公司使用什麼記憶體。Rebellions Quad 用的是 HBM3E。要確保效能，這是合理選擇，但也意味著成本結構中有很大一部分被綁定在與 NVIDIA 相同的零件上。前面提到的 62% 這個數字在這裡同樣適用。用同樣昂貴的零件卻要靠價格取勝，空間就很狹窄了。如果 HBF 或低功耗 DRAM 層級真正打開，對國產 NPU 來說，在效能競爭之前，就有了重新設計成本結構的機會。
但 上週的漲價消息，稍微動搖了這個平衡。伺服器價格漲超過 15%，意味著繼續使用的成本會不斷攀升。而轉換生態系統的成本，通常是一次性的固定支出。兩條曲線的交點，正在被提前拉來。 事實上，針對這則新聞，已有分析認為伺服器價格急漲可能成為大型科技公司加速轉向自研晶片的催化劑。
不過同樣的分析也有另一面。無論增加自研晶片還是繼續使用 NVIDIA，最終都必須從三星電子、SK海力士和美光那裡確保足夠的記憶體供應。這再次印證了運算的重心正在從晶片轉向記憶體。
所以我看 NPU 的未來是這樣的。未來的勝負，不在於基準測試分數，而在於在分化的層級中抓住哪一層。事實上，國內企業也已經不再全面進攻資料中心，而是轉向邊緣、裝置端、實體 AI 等領域分化發展。就像過去運算從大型主機中心分化到 PC 和行動裝置一樣，AI 半導體也將會分化為推論、邊緣和裝置端。
Oswald 的視角
在制定 GTM 策略時，我反覆確認過一件事：後發產品擊敗先驅的點，通常不是效能規格表，而是標準或通路。
在同一個擂台上打得更重似乎能贏，但決定擂台大小和回合數的那一方，最終更有優勢。所以我把 Google 和 Tenstorrent 進入 HBF 規格會議室這件事，視為定位新聞而非技術合作新聞。他們是去提前決定自家晶片能跑多寬的道路。
我認為國產 NPU 企業現在需要的也是同樣性質的事。證明比 NVIDIA 好幾個百分點的能效比，不如在下一代記憶體層級規格制定時搶到一個席位，後者長期來看是更大的槓桿。如果要向政府爭取資源，我認為那方面的效率比研發補助更高。
補充一點，這不是我的樂觀，而是有條件的觀察。參與標準制定只是入場券，在那之上運行的軟體是否被開發者真正採用，是完全不同的戰場。
結語
今天的話用三句話總結：
第一，NVIDIA 伺服器漲價超過 15% 的原因，和 Vera Rubin 成本的 62% 是記憶體，是同一件事。瓶頸從運算移向了記憶體。第二，所以記憶體從單一 HBM 裂化為包含 HBF 和 SOCAMM2 的層級結構，NVIDIA 嘗試自研去掉 HBM 的推論晶片後放棄，轉而從外部引入 LPU。第三，在這個縫隙中，NPU 的勝負手正在從晶片效能轉向層級規格的先發優勢。
所以接下來看 AI 半導體新聞時，不要只看效能倍數，也請一併看看那顆晶片是基於哪種記憶體來設計的。現在那邊蘊含了更多資訊。
如果您在實務中嘗試過降低推論成本，最卡住您的是什麼？是晶片價格、電費，還是軟體遷移的成本？歡迎在留言中分享。我會作為下一期的素材來探討。
本文是產業結構分析內容，不構成投資建議。提及的企業和數據以各時間點的公開資料和媒體報導為準，部分為獨家報導或業界估算，不屬確定事實。
💬 推論成本最大頭是吃在哪裡？歡迎留言分享 · 📨 請將此文分享給關注半導體或基礎設施的同事
參考資料 & 延伸閱讀
核心來源
- Ian King 等，“Nvidia Customers Notified About AI-Related Price Hikes Above 15%“，Bloomberg，2026. 8. 22. 連結 ··· 本文的起點。付費文章，如果無法存取，可以透過國內媒體的轉引報導了解要旨。比起漲幅，更值得關注的是「罕見」這個評價。
- SanDisk・SK海力士，“Sandisk and SK hynix Advance Global Standardization of High Bandwidth Flash with Release of First OCP Technical Specification”，2026. 8. 3. 連結 ··· 明確提及 Google 和 Tenstorrent 聯盟參與的原文。本文最重要的一句話就在這裡。
- 金永浩，“[GTC 2026] NVIDIA ‘Vera Rubin’ 規格公開，運算力 3 倍・推論效率 10 倍躍升”，電子新聞，2026. 3. 17. 連結 ··· 可以直接看到 7 顆新晶片的完整清單。Groq 3 LPU 為什麼在清單裡，就是今天的問題。
- 李基宗，“NVIDIA ‘Rubin CPX’ 發布不明朗，記憶體・基板訂單無”，TheElec，2026. 5. 27. 連結 ··· 放棄晶片的紀錄。已發布的產品悄悄消失的過程，報導很少，是珍貴的資料。
- SK海力士新聞室，“SK海力士，SOCAMM2 192GB 正式量產啟動”，2026. 4. 20. 連結 ··· 與 RDIMM 相比的頻寬和能效數據的一手來源。
背景知識
- 友利投資證券，AI 記憶體比較資料（每日經濟 每日經濟 PLUS 圖表）··· 本文第一節的表格來自這裡。不過容量數字是規格上限，量產時間點需分開看待。
- 韓定浩，“[現場] 挑戰 NVIDIA 獨走的國產 NPU，以推論・實體 AI 出牌”，ZDNet Korea，2026. 5. 28. 連結 ··· 可以透過當事人發言了解 Rebellions・FuriosaAI・Mobiline 的策略。
📝 術語說明
각주
-
HBF (High Bandwidth Flash)：將快閃記憶體（NAND Flash）多層堆疊，達到接近 HBM 的速度，同時容量大幅擴大的記憶體。可以想像為填補 HBM 和 SSD 之間空白的層級。2025 年 8 月由 SanDisk 和 SK海力士達成協議啟動，今年 8 月發布首個標準規格。 ↩
-
LPU (Language Processing Unit)：專為語言模型推論、特別是降低回應延遲而設計的處理器。由美國公司 Groq 開發，與 Elon Musk 的 xAI 推出的聊天機器人 Grok 在拼寫和公司上完全不同，請不要混淆。 ↩
-
專家混合模型 (MoE)：不讓一個巨大模型回答所有問題，而是將內部拆分成多個專家模組，每次只喚醒其中一部分來回應問題。同樣規模下可以減少運算量，因此近期大型模型廣泛採用。 ↩
-
OCP (Open Compute Project)：多家企業共同制定資料中心硬體公開標準的組織。在這裡制定的規格，會成為零件公司和晶片公司設計產品的依據。 ↩
