AI芯片瓶颈正从算力转向存储
梳理英伟达服务器提价15%、存储层级分化以及韩国国产NPU迎来的机遇
AI与科技服务器提价15%，英伟达默认了什么
英伟达已向主要客户通报服务器价格上涨。
彭博社8月22日援引知情人士消息报道，英伟达已向部分主要客户发出通知，搭载其AI芯片的服务器价格将上调超过15%。此次提价将适用于明年年初出货的系统，主力产品Grace Blackwell和下一代Vera Rubin均在列。提价的原因正是存储芯片成本。
彭博社评价这一情况非常罕见。因为英伟达被公认为半导体行业利润率最高的公司，而这样一家公司竟未能自行消化成本上涨，而是将其转嫁给了客户。
也有具体数据揭示了存储芯片占成本的比重。有分析指出，本月开始出货的Vera Rubin，存储芯片已占到系统成本的62%。
AI芯片竞争的重心正从算力转向存储。而这一转变，也正在为此前一直被英伟达压制的各类NPU厂商带来新的契机。
AI内存正在分化为HBM、HBF、SOCAMM2三个层级
从近期证券界发布的研报来看，业内已开始将AI内存划分为三个层级。
HBM就是我们熟知的高带宽内存。它是紧挨着加速器放置的超高速工作内存，以HBM4为基准，单栈容量达36GB，带宽超过2.8TB/s。它的速度最快，但成本也最高，在容量和封装上也面临诸多制约。
HBF1则是速度慢于HBM但容量更大的层级。它基于NAND闪存构建，公开规格显示其单封装容量最高可达512GB，目标带宽为0.4~3.0TB/s。其设计初衷是在接近HBM速度的同时提供大得多的容量。不过，NAND固有的延迟和耐用性问题依然存在，目前仍处于早期阶段。
SOCAMM2是这三个层级中的最后一环。它将此前用于智能手机的低功耗DRAM重新设计为服务器模块，与传统的服务器内存模块RDIMM相比，带宽提升了2倍以上，能效提升了75%以上。由于采用连接器插接而非焊接在基板上的方式，用户可以轻松拔下并更换模块。
对于容量数据，需要区分发布时点与量产时点。研报中常标注“最高256GB”，而256GB是美光（Micron）于3月发布并向客户送样时的规格。真正的量产主力其实是192GB，三星电子已于3月基于1b工艺率先开始量产，SK海力士则在4月基于1c工艺紧随其后。更有趣的反而是另一个走向的消息：随着低功耗DRAM供应趋紧，有媒体在6月报道称英伟达正推进将SOCAMM2容量从192GB降至96GB的方案。虽然这只是一篇独家报道，尚不能盖棺定论，但若属实，其象征意义非同小可——这意味由于无法筹措到足够的零部件，最终产品的规格不得不缩水。
如果只配置HBM，就会产生问题。在推理场景下运行大模型，必须将模型权重和对话历史完整加载到内存中，而单栈36GB的容量很快就会捉襟见肘。有人可能会想，继续往上堆叠不就行了吗？但堆叠层数越高，发热越大、功耗越高，良率也会随之下降，价格更是水涨船高。归根结底，“堆叠更多最快的内存”这条路，在物理和经济层面都走不通了。因此，把频繁使用的数据留在HBM中，把不那么紧急的大体量数据放在下层，这种分层思路便成了合乎情理的解法。
为什么层级会变得如此繁复？因为AI的重心已经从训练转向了推理。训练是在短期内集中高强度算力的任务，采用最快的内存最为有利。而推理则是需要长期、低成本且持续运行大模型的任务。此时，关键已不仅是极致的速度，更是如何在速度、容量和电费成本之间找到平衡。正因如此，原本试图依靠单一类型内存统揽全局的架构，逐渐演进成了多层级结构。
8月4日在美国举办的闪存峰会FMS 2026上，SK海力士发表的主题演讲题目便如实折射了这一趋势。其核心内容正是探讨在智能体AI（Agentic AI）时代，如何通过分层内存来协调与编排AI基础设施。
英伟达放弃自研推理芯片，引入了外部 LPU
最鲜明地展现这种变化的并非存储公司，而是英伟达。让我们把过去一年里发生的两起事件并列来看。
第一件事，放弃的芯片。 2025 年 9 月，英伟达发布了一款名为 Rubin CPX 的专用推理加速器。其核心在于用 GDDR7 替代了 HBM。英伟达声称，即使舍弃昂贵的 HBM，其 AI 性能仍比上一代提升了 7.5 倍，是一款专为百万 token 级处理和视频生成优化的产品。这无异于一次宣告：“推理用更便宜的存储器就足够了。”
然而，英伟达在今年 3 月的 GTC 2026 上却将这款芯片从产品路线图中剔除。距离发布仅仅过了 6 个月。
第二件事，买来的芯片。 在同届 GTC 2026 上亮相的 Vera Rubin 平台由 7 款新芯片组成：Vera CPU、Rubin GPU、NVLink 6 交换机、ConnectX-9 SuperNIC、BlueField-4 DPU、Spectrum-6 以太网交换机，以及 Groq 3 LPU2。
其中最后一项 Groq 3 LPU 并非英伟达自主设计的芯片，而是从外部引入的。英伟达在这种架构中划分了 GPU 与 LPU 的职责：大规模数据计算由 GPU 负责，超低延迟响应则由 LPU 负责。英伟达表示，这一组合能将万亿参数模型的推理吞吐量最高提升至 35 倍。与上一代 Blackwell 相比，训练混合专家模型3所需的 GPU 数量减少至四分之一，推理吞吐量与每瓦性能提升至 10 倍，每 token 成本则降至十分之一。CEO 黄仁勋（Jensen Huang）在现场表示，推理的拐点已经到来。
将这两起事件联系起来，可以得出这样的解读：英伟达曾试图通过自研设计来证明“对于推理而言，GPU 与 HBM 的组合并非最优解”，但在放弃自研后，他们选择从外部买下了这个答案。
这之所以重要，是因为此前一直坚持这种主张的正是 NPU 阵营。他们的逻辑是：GPU 本质上是为图形处理而生的通用芯片，用于推理难免存在浪费，因此专为推理优化的设计在功耗与延迟上更有优势。而如今，市场的主导者相当于用自己的产品组合认可了这一逻辑。
加速器企业加入内存规格讨论
8月4日，SanDisk与SK海力士通过OCP4公开了HBF的首个标准规格，在标准化过程中，谷歌与Tenstorrent以财团成员身份加入，参与了技术验证与规格制定。
谷歌研发TPU，Tenstorrent研发NPU。这意味着，在制定内存规格的会议桌上，不仅有内存厂商，加速器厂商也一同参与了进来。 三星电子和美光目前仍处于观望状态。
如今推理芯片的性能已不再仅仅取决于芯片设计本身，而在很大程度上受制于它是以何种内存层级为前提设计的。正因如此，加速器厂商才会提前参与到规格制定中，争取敲定对自家芯片有利的层级规范。
我们再来看看韩国本土企业。Rebellions推出了采用HBM3E的REBEL Quad，目前正在日本、沙特阿拉伯和美国进行验证；FuriosaAI则拿下了LG EXAONE的落地案例，并定下了今年实现1亿美元营收的目标。两家公司都将能效比与低延迟作为核心优势，持续瞄准推理市场发力。
但我格外关注的，是这些公司究竟在使用什么内存。REBEL Quad采用的是HBM3E。为了确保性能，这固然是一个合理的选择，但同时也意味着其成本的大头被绑定在与英伟达相同的零部件上。正如前文所见，系统成本中内存占比不断扩大的结构，同样适用于韩国本土的NPU。使用同样昂贵的内存，很难在价格上建立优势。如果HBF或低功耗DRAM层级真正打开局面，对本土NPU而言，在性能竞争之前，就将获得重新构建差异化成本结构的机会。
然而，上周传出的涨价消息稍稍打破了这一平衡。服务器价格上涨超过15%，意味着继续使用原生态的成本在持续攀升。相反，迁移生态的成本大体上接近于一次性付清的固定成本。因此，收回生态迁移成本的拐点实际上被提前了。事实上，针对此次报道，已有观点指出，服务器价格暴涨可能会成为加速大科技公司转向自研芯片的催化剂。
不过，同样的观察视角也指出了反面：无论是加大自研芯片比重，还是继续依赖英伟达，最终都需要从三星电子、SK海力士和美光手中抢购充足的内存，这一点并无二致。无论选择哪条路径，获取足够的内存都是制胜关键——这也再次印证了重心已从芯片全面转移至内存。
因此，我对NPU未来的判断是：今后决定胜负的将不再是跑分成绩，而是设计时究竟瞄准了哪一个细分内存层级。实际上，韩国本土企业也正在放弃与数据中心正面硬碰硬，转向边缘端、端侧AI以及具身智能（Physical AI）等领域开辟路径。正如过去计算架构从以大型机为核心逐步分化为PC和移动端一样，AI半导体也将不可避免地分化为推理、边缘计算和端侧设备等多个细分赛道。
Oswarld视角
在制定 GTM 策略的过程中，我反复确认了一件事：后来者超越领先者的突破口，往往不在规格参数表上，而在于标准或渠道。
在相同条件下，似乎只要把性能再往上推就能赢，但实际上，制定竞争标准的一方往往占据优势。正因如此，我认为谷歌和 Tenstorrent 加入 HBF 标准化联盟，并不仅仅是单纯的技术合作，而是在市场中确立立足点的举动。因为他们参与到了提前为自家芯片敲定适配内存标准的关键场合。
我认为，韩国本土 NPU 企业如今需要的也是同类举措。比起证明自身比英伟达高出几个百分点的能效比，从长远来看，获得参与制定下一代内存层级标准讨论的资格要有效得多。如果向政府寻求支持，我认为在这一方向上的效率也会高于单纯争取研发经费。
顺便补充一句，这并非绝对的断言，而是一个带有前提条件的观察。参与标准制定只是起点，开发者是否真正会在该标准之上使用其运行的软件，则是另一回事了。
结语
如果把今天的内容浓缩成三句话，大概是这样的：
第一，英伟达将服务器价格提高15%以上的原因，与Vera Rubin成本中62%都是内存是同一回事。瓶颈已经从算力转移到了内存。第二，正因如此，内存正从单纯的HBM单一形态，分化为涵盖HBF与SOCAMM2的层级结构；而英伟达在自主研发砍掉HBM的推理芯片未果后，转而从外部引入了LPU。第三，在这一变化之下，NPU竞争的关键正从芯片本身的性能，转向谁能率先确立内存层级规格。
因此，今后在阅读AI半导体相关新闻时，建议您不仅要看性能倍数，更要关注这款芯片是以何种内存为前提进行设计的。如今，那里面往往蕴含着更多的信息。
如果您在实际业务中曾尝试过降低推理成本，我很想知道最大的掣肘究竟是什么。是芯片价格、电费，还是软件迁移的成本？欢迎在评论区分享。我也会考虑将其作为下一期的选题素材。
本文属于产业结构分析内容，不构成任何投资建议。文中所提及的企业与数据均基于各时点的公开资料与媒体报道，部分内容源自独家报道或行业推测，并非既定事实。
💬 欢迎在评论区聊聊究竟是什么侵蚀了绝大部分推理成本 · 📨 请将本文分享给关注半导体或基础设施的同行伙伴
参考资料与延伸阅读
核心来源
- Ian King等，“Nvidia Customers Notified About AI-Related Price Hikes Above 15%”，Bloomberg，2026年8月22日。 链接 ··· 这是今天这篇文章的出发点。由于该报道为付费文章可能阅读受限，您也可以通过韩国国内媒体的转述报道了解要点。比起涨价幅度，更值得关注的是其被评价为“非同寻常”。
- 闪迪·SK海力士，“Sandisk and SK hynix Advance Global Standardization of High Bandwidth Flash with Release of First OCP Technical Specification”，2026年8月3日。 链接 ··· 这是明确注明谷歌与Tenstorrent参与联盟的原文。今天文章中最重要的一行字就在这里。
- Kim Young-ho（音译），“[GTC 2026] 英伟达公开‘Vera Rubin’规格，算力提升3倍、推理效率跃升10倍”，ETNews，2026年3月17日。 链接 ··· 在这里可以直接查看7款新芯片的完整清单。Groq 3 LPU为什么会出现在该名单中，正是我们今天提出的问题。
- Lee Ki-jong（音译），“英伟达‘Rubin CPX’发布前景不明，未见内存与基板订单”，The Elec，2026年5月27日。 链接 ··· 这是关于那款被砍掉芯片的记录。公开发布的产品悄然消失的过程鲜有报道，因此是非常珍贵的资料。
- SK海力士新闻室，“SK海力士全面量产SOCAMM2 192GB”，2026年4月20日。 链接 ··· 这是对比RDIMM的带宽与能效数据的原始出处。
背景知识
- 尤金投资证券（Eugene Investment & Securities），AI内存对比资料（《每日经济》MK PLUS图表）··· 今天文章第1节的表格便出自这里。不过容量数值为规格上限，阅读时需与实际量产时间点区分开来。
- Han Jeong-ho（音译），“[现场] 正面抗衡英伟达垄断的韩国产NPU：以推理与具身智能AI为胜负手”，ZDNet Korea，2026年5月28日。 链接 ··· 可以通过当事人的亲口发言了解Rebellions、FuriosaAI与Mobilint的战略。
📝 术语说明
注释
-
HBF（High Bandwidth Flash，高带宽闪存）：通过将NAND闪存多层堆叠，在实现接近HBM速度的同时大幅提升容量的内存。可以将其理解为填补HBM与SSD之间空白的层级。始于2025年8月闪迪与SK海力士的协议，今年8月推出了首个标准规范。 ↩
-
LPU（Language Processing Unit，语言处理单元）：专门用于语言模型推理、尤其是降低响应延迟的专用处理器。由美国企业Groq制造，与埃隆·马斯克旗下xAI推出的聊天机器人Grok在拼写和公司归属上都截然不同，请勿混淆。 ↩
-
混合专家模型（MoE，Mixture of Experts）：并非由一个庞大的模型回答所有问题，而是将内部划分为多个专家模块，针对每个问题仅激活其中一部分的方式。由于能在相同模型规模下减少计算量，近期已被众多大模型广泛采用。 ↩
-
OCP（Open Compute Project，开放计算项目）：由多家企业共同制定数据中心硬件开放标准的组织。一旦在此确立规范，零部件厂商与芯片厂商都将依据该规范设计产品。 ↩