들어가며

구독자님, 지난주에 나온 뉴스 하나로 시작할게요.

블룸버그가 8월 22일 소식통을 인용해, 엔비디아가 주요 고객사 일부에 AI 칩이 탑재된 서버 가격을 15% 넘게 올린다고 통보했다고 보도했어요. 인상분은 내년 초 출하되는 시스템부터 적용되고, 주력인 그레이스 블랙웰과 차세대 베라 루빈이 모두 대상이에요. 이유는 메모리값이었어요.

블룸버그는 이 상황을 이례적이라고 평가했어요. 엔비디아는 반도체 업계에서 가장 수익성이 높은 회사로 꼽히는데, 그런 회사가 원가 상승을 흡수하지 못하고 고객에게 넘겼으니까요.

숫자를 하나 더 붙이면 그림이 선명해져요. 이번 달 출하가 시작된 베라 루빈은 시스템 원가의 62%가 메모리라는 분석이 나왔어요.

결론부터 말씀드릴게요. AI 반도체 경쟁의 축이 연산에서 메모리로 넘어가고 있어요. 그리고 이 이동은 지금까지 엔비디아에 밀려 있던 NPU에게 이전과는 다른 종류의 기회를 만들고 있어요.

---

HBM 위아래로 층이 두 개 생겼어요

먼저 지형을 정리할게요. 최근 증권가 자료를 보면 AI 메모리가 세 층으로 나뉘어 그려지기 시작했어요.

HBM은 우리가 아는 그 고대역폭 메모리예요. 가속기 바로 옆에 붙는 초고속 작업 메모리고, HBM4 기준으로 스택당 36GB에 대역폭은 2.8TB/s를 넘어요. 가장 빠르지만 가장 비싸고, 용량과 패키징에 제약이 있어요.

HBF¹는 그 아래층이에요. 낸드플래시 기반이라 공개 스펙상 패키지당 최대 512GB까지 담으면서 0.4~3.0TB/s 대역폭을 목표로 해요. HBM급 속도에 훨씬 큰 용량을 붙이겠다는 발상이에요. 대신 낸드 특유의 지연 시간과 내구성 문제가 남아 있고, 아직 초기 단계예요.

SOCAMM2는 위층이에요. 스마트폰에 쓰이던 저전력 D램을 서버용 모듈로 재설계한 건데, 기존 서버 메모리 모듈인 RDIMM과 비교하면 대역폭이 2배 이상이고 에너지 효율은 75% 이상 좋아졌어요. 납땜이 아니라 커넥터 방식이라 뽑았다 끼울 수 있고요.

여기서 시점을 하나 짚고 갈게요. 자료에 흔히 “최대 256GB”로 적히는데, 256GB는 마이크론이 지난 3월 발표하고 고객사에 샘플을 낸 사양이에요. 실제 양산 주력은 192GB고, 삼성전자가 3월에 1b 공정으로 먼저 양산을 시작했고 SK하이닉스가 4월에 1c 공정으로 뒤따랐어요. 오히려 재미있는 건 반대 방향의 소식이에요. 저전력 D램 공급이 빠듯해지면서 엔비디아가 SOCAMM2 용량을 192GB에서 96GB로 낮추는 방안을 추진 중이라는 보도가 6월에 나왔거든요. 단독 보도라 확정으로 볼 수는 없지만, 사실이라면 상징적이에요. 부품을 못 구해서 완제품 사양을 깎는 상황이니까요.

HBM 하나로 버티면 뭐가 문제인지도 짚어볼게요. 추론에서 큰 모델을 돌리려면 모델 가중치와 대화 기록을 메모리에 통째로 올려둬야 하는데, 스택당 36GB로는 금방 한계가 와요. 더 쌓으면 되지 않느냐 싶지만, 층을 올릴수록 열이 나고 전력이 늘고 수율이 떨어져요. 값도 함께 뛰고요. 결국 “제일 빠른 메모리를 더 많이”라는 답이 물리적으로도 경제적으로도 막힌 거예요. 그러니 자주 쓰는 데이터는 HBM에, 덜 급한 큰 덩어리는 아래층에 두는 식으로 나누는 게 합리적이 돼요.

왜 이렇게 층이 늘어날까요. AI의 무게중심이 학습에서 추론으로 옮겨갔기 때문이에요. 학습은 짧고 굵게 몰아치는 작업이라 가장 빠른 메모리가 답이에요. 그런데 추론은 큰 모델을 오래, 싸게, 계속 돌리는 게임이에요. 이때 필요한 건 최고 속도가 아니라 속도와 용량과 전기요금 사이의 배합이에요. 그래서 한 종류의 메모리로 다 하려던 구조가 계단식으로 쪼개진 거예요.

지난 8월 4일 미국에서 열린 메모리 학회 FMS 2026에서 SK하이닉스가 올린 기조연설 제목이 이 흐름을 그대로 보여줘요. 에이전틱 AI 시대에 계층형 메모리로 AI 인프라를 조율한다는 내용이었어요.

---

엔비디아가 접은 칩과 사온 칩

그런데 이 판을 가장 극적으로 확인시켜 준 건 메모리 회사가 아니라 엔비디아였어요. 지난 1년 사이에 벌어진 두 사건을 나란히 놓고 보시면 좋겠어요.

첫 번째, 접은 칩. 2025년 9월 엔비디아는 루빈 CPX라는 추론 전용 가속기를 공개했어요. 핵심은 HBM 대신 GDDR7을 쓴다는 거였어요. 값비싼 HBM을 빼고도 이전 세대 대비 7.5배 높은 AI 성능을 낸다고 주장했고, 백만 토큰 단위 처리와 영상 생성에 특화한 제품이었어요. “추론은 더 싼 메모리로 해도 된다”는 선언이었죠.

그런데 엔비디아는 지난 3월 GTC 2026에서 이 칩을 로드맵에서 빼버렸어요. 공개한 지 6개월 만이었어요.

두 번째, 사온 칩. 같은 GTC 2026에서 공개된 베라 루빈 플랫폼은 7개의 새 칩으로 구성돼요. 베라 CPU, 루빈 GPU, NVLink 6 스위치, ConnectX-9 슈퍼NIC, BlueField-4 DPU, Spectrum-6 이더넷 스위치, 그리고 Groq 3 LPU²예요.

마지막 이름이 핵심이에요. 엔비디아는 이 구조에서 GPU와 LPU의 역할을 나눴어요. 대규모 데이터 연산은 GPU가 맡고, 초저지연 응답은 LPU가 맡아요. 이 조합으로 조 단위 매개변수 모델의 추론 처리량을 최대 35배까지 끌어올린다고 밝혔어요. 이전 세대 블랙웰과 비교하면 전문가 혼합 모델³을 훈련할 때 필요한 GPU 수는 4분의 1로 줄고, 추론 처리량과 와트당 성능은 10배, 토큰당 비용은 10분의 1이라는 수치도 함께 나왔고요. 젠슨 황 CEO는 그 자리에서 추론의 변곡점이 왔다고 말했어요.

두 사건을 이어 붙이면 이렇게 읽혀요. 엔비디아는 “추론에는 GPU와 HBM 조합이 최선이 아니다”라는 답을 자체 설계로 만들려다 접었고, 그 답을 밖에서 사왔어요.

이게 왜 중요하냐면, 지금까지 이 주장을 해온 쪽이 NPU 진영이었기 때문이에요. GPU는 원래 그래픽용으로 태어난 범용 칩이라 추론에 쓰면 낭비가 생긴다, 그러니 추론 전용 설계가 전기와 지연 시간에서 유리하다는 게 그들의 논리였어요. 시장 지배자가 그 논리를 제품 구성으로 인정한 셈이에요.

---

그래서 NPU에게 무슨 일이 생기나

여기서 첫 번째 신호가 나와요. 8월 4일 샌디스크와 SK하이닉스가 HBF의 첫 표준 규격을 OCP⁴를 통해 공개했는데, 표준화 과정에 구글과 텐스토렌트가 컨소시엄으로 합류해 기술 검증과 규격 수립에 참여했어요.

구글은 TPU를 만들고, 텐스토렌트는 NPU를 만들어요. 메모리 규격을 정하는 방에 메모리 회사가 아니라 가속기 회사들이 같이 앉아 있다는 뜻이에요. 삼성전자와 마이크론은 아직 관망 중이고요.

이유는 단순해요. 추론 칩의 성능은 이제 칩 혼자 결정하지 않아요. 어떤 메모리 계층을 전제로 설계했느냐가 절반이에요. 그러니 자기 칩에 유리한 계층 규격을 만드는 자리에 미리 가 있는 거예요.

국내 상황도 볼게요. 리벨리온은 HBM3E를 적용한 리벨 쿼드를 내놓고 일본, 사우디아라비아, 미국에서 실증을 진행 중이고, 퓨리오사AI는 LG 엑사원 도입 사례를 확보하고 올해 매출 1억 달러를 목표로 걸었어요. 두 회사 모두 전력 효율과 지연 시간을 무기로 추론 시장을 겨냥해 왔어요.

그런데 제가 눈여겨보는 건 이 회사들이 어떤 메모리를 쓰느냐예요. 리벨 쿼드는 HBM3E를 씁니다. 성능을 확보하기엔 합리적인 선택이지만, 원가 구조의 상당 부분이 엔비디아와 같은 부품에 묶인다는 뜻이기도 해요. 앞에서 본 62%라는 숫자가 여기서도 작동하는 거죠. 값비싼 부품을 똑같이 쓰면서 값으로 이기려면 남는 여지가 좁아져요. HBF나 저전력 D램 계층이 실제로 열린다면, 국산 NPU에게는 성능 경쟁 이전에 원가 구조를 다르게 짤 기회가 생기는 셈이에요.

다만 여기서 정직하게 반대편도 말씀드려야겠어요. 엔비디아가 추론까지 자기 플랫폼 안에 넣어버리면, 고객 입장에서는 익숙한 생태계를 그대로 쓰는 쪽이 합리적이에요. 소프트웨어 스택을 새로 배우는 비용이 전력비 절감분보다 클 수 있거든요. 국내 NPU 기업들이 상대적으로 경쟁이 덜한 추론 영역을 공략해 왔는데, 그 영역에 지배자가 직접 들어온 상황이에요. 기회와 위기가 같은 사건에서 나온 거죠.

그런데 지난주 가격 인상 소식이 이 균형을 조금 흔들어요. 서버값이 15% 넘게 오르면, 그대로 쓸 때의 비용이 계속 올라가는 거잖아요. 반면 생태계를 옮기는 비용은 대체로 한 번 치르면 되는 고정비에 가까워요. 두 곡선이 만나는 지점이 앞으로 당겨지는 셈이에요. 실제로 이번 보도를 두고 서버 가격 급등이 빅테크의 자체 칩 전환을 앞당기는 요인이 될 수 있다는 관측이 나왔어요.

다만 같은 관측은 반대편도 짚어요. 자체 칩을 늘리든 엔비디아를 계속 쓰든, 결국 삼성전자와 SK하이닉스와 마이크론에게서 충분한 메모리를 확보해야 한다는 점은 똑같다는 거예요. 계산의 무게중심이 칩에서 메모리로 옮겨갔다는 걸 다시 확인시켜 주는 대목이죠.

그래서 NPU의 미래를 저는 이렇게 봐요. 앞으로의 승부는 벤치마크 점수가 아니라 분화된 계층 중 어디를 잡느냐에서 갈릴 거예요. 실제로 국내 기업들도 데이터센터 전면전 대신 엣지와 온디바이스, 피지컬 AI 같은 영역으로 갈래를 나누고 있어요. 과거 컴퓨팅이 메인프레임 중심에서 PC와 모바일로 쪼개졌던 것처럼, AI 반도체도 추론과 엣지와 온디바이스로 분화될 거라는 전망이에요.

---

오스왈드의 시선

GTM 전략을 짜면서 반복해서 확인한 게 하나 있어요. 후발 제품이 선두를 이기는 지점은 대체로 성능표가 아니었어요. 규격이거나 유통이었어요.

같은 링에서 더 세게 치면 이길 것 같지만, 링의 크기와 라운드 수를 정하는 쪽이 결국 유리해요. 그래서 저는 구글과 텐스토렌트가 HBF 규격 방에 들어간 걸 기술 협력 뉴스가 아니라 포지셔닝 뉴스로 읽어요. 자기 칩이 잘 달릴 도로의 폭을 미리 정하러 간 거니까요.

국산 NPU 기업들에게 지금 필요한 것도 같은 성격이라고 봐요. 엔비디아보다 몇 퍼센트 나은 전성비를 증명하는 것보다, 다음 세대 메모리 계층 규격이 정해지는 자리에 의자를 하나 확보하는 게 장기적으로 더 큰 레버예요. 정부 지원을 요청한다면 연구개발비보다 그쪽이 효율이 높다고 생각하고요.

한 가지 덧붙이면, 이건 제 낙관이 아니라 조건부 관측이에요. 표준 참여는 입장권일 뿐이고, 그 위에서 돌아갈 소프트웨어를 개발자들이 실제로 쓰느냐는 완전히 별개의 싸움이에요.

---

마치며

오늘 이야기를 세 줄로 줄이면 이래요.

첫째, 엔비디아가 서버값을 15% 넘게 올린 이유도, 베라 루빈 원가의 62%가 메모리인 것도 같은 이야기예요. 병목이 연산에서 메모리로 옮겨갔어요. 둘째, 그래서 메모리가 HBM 하나에서 HBF와 SOCAMM2를 포함한 계층 구조로 쪼개지고 있고, 엔비디아는 HBM을 뺀 추론 칩을 자체 개발하려다 접은 뒤 외부에서 LPU를 들여왔어요. 셋째, 그 틈에서 NPU의 승부처가 칩 성능에서 계층 규격 선점으로 옮겨가고 있어요.

그러니 앞으로 AI 반도체 뉴스를 보실 때 성능 배수만 보지 마시고, 그 칩이 어떤 메모리를 전제로 설계됐는지를 같이 보시길 권해요. 요즘은 그쪽에 더 많은 정보가 담겨 있어요.

혹시 실무에서 추론 비용을 줄여보려고 시도해 보신 적 있다면, 무엇이 가장 크게 발목을 잡았는지 궁금해요. 칩 가격이었는지, 전기요금이었는지, 아니면 소프트웨어를 옮기는 비용이었는지 댓글로 들려주세요. 다음 호 소재로 이어볼게요.

이 글은 산업 구조를 분석한 콘텐츠이고 투자 권유가 아니에요. 언급한 기업과 수치는 각 시점의 공개 자료와 언론 보도를 기준으로 했고, 일부는 단독 보도나 업계 추정이라 확정 사실이 아니에요.

---

💬 추론 비용을 가장 크게 잡아먹은 게 무엇이었는지 댓글로 들려주세요 · 📨 반도체나 인프라를 보는 동료분께 이 글을 공유해 주세요

---

참고자료 & 더 읽기

핵심 출처

• Ian King 외, “Nvidia Customers Notified About AI-Related Price Hikes Above 15%”, Bloomberg, 2026. 8. 22. 링크 ··· 오늘 글의 출발점이에요. 유료 기사라 접근이 어려우시면 국내 매체의 인용 보도로 요지를 확인하실 수 있어요. 인상률보다 “이례적”이라는 평가에 주목해 보세요.
• 샌디스크·SK하이닉스, “Sandisk and SK hynix Advance Global Standardization of High Bandwidth Flash with Release of First OCP Technical Specification”, 2026. 8. 3. 링크 ··· 구글과 텐스토렌트의 컨소시엄 참여가 명시된 원문이에요. 오늘 글에서 가장 중요한 한 줄이 여기 있어요.
• 김영호, “[GTC 2026] 엔비디아 ‘베라 루빈’ 스펙 공개, 연산력 3배·추론 효율 10배 도약”, 전자신문, 2026. 3. 17. 링크 ··· 7개 신규 칩 목록을 그대로 확인할 수 있어요. Groq 3 LPU가 왜 그 목록에 있는지가 오늘의 질문이에요.
• 이기종, “엔비디아 ‘루빈 CPX’ 출시 불투명, 메모리·기판 주문 無”, 디일렉, 2026. 5. 27. 링크 ··· 접은 칩의 기록이에요. 공개된 제품이 조용히 사라지는 과정은 보도가 드물어서 귀한 자료예요.
• SK하이닉스 뉴스룸, “SK하이닉스, SOCAMM2 192GB 본격 양산 개시”, 2026. 4. 20. 링크 ··· RDIMM 대비 대역폭과 에너지 효율 수치의 1차 출처예요.

배경 지식

• 유진투자증권, AI 메모리 비교 자료 (매일경제 매경PLUS 그래픽) ··· 오늘 글 1번 섹션의 표가 여기서 왔어요. 다만 용량 수치는 스펙 상한이라 양산 시점과 구분해서 보셔야 해요.
• 한정호, “[현장] 엔비디아 독주 맞서는 국산 NPU, 추론·피지컬 AI로 승부수”, ZDNet Korea, 2026. 5. 28. 링크 ··· 리벨리온·퓨리오사AI·모빌린트의 전략을 당사자 발언으로 볼 수 있어요.

---

필자 안광섭 (오스왈드)은 세종대학교 겸임교수, INLEVEL9 전략 컨설턴트입니다. 경력, 연구, 저서와 최신 활동은 저자 소개에서 계속 갱신합니다. 최근 소식 · 2026년 8월: 2026 세종도서 교양부문 우수도서 선정.

📝 용어 설명

각주

1. HBF (High Bandwidth Flash): 낸드플래시를 여러 층으로 쌓아 HBM에 가까운 속도를 내면서 용량은 훨씬 키운 메모리예요. HBM과 SSD 사이의 빈 칸을 메우는 계층이라고 생각하시면 돼요. 2025년 8월 샌디스크와 SK하이닉스의 합의로 시작해 올해 8월 첫 표준 규격이 나왔어요. ↩

2. LPU (Language Processing Unit): 언어 모델의 추론, 특히 응답 지연을 줄이는 데 특화된 프로세서예요. 미국 기업 Groq이 만드는데, 일론 머스크의 xAI가 내놓은 챗봇 Grok과는 철자도 회사도 완전히 다르니 헷갈리지 않으시면 좋겠어요. ↩

3. 전문가 혼합 모델 (MoE): 하나의 거대한 모델이 모든 질문에 다 답하는 대신, 내부를 여러 전문가 모듈로 나눠 질문마다 일부만 깨우는 방식이에요. 같은 크기에서 계산량을 줄일 수 있어서 최근 대형 모델이 많이 채택해요. ↩

4. OCP (Open Compute Project): 데이터센터용 하드웨어 규격을 여러 기업이 함께 공개 표준으로 만드는 단체예요. 여기서 규격이 정해지면 부품 회사와 칩 회사 모두 그 규격에 맞춰 제품을 설계하게 돼요. ↩

이 글이 도움이 됐다면 공유해 주세요

링크 복사XLinkedInThreadsKakaoTalk네이버 밴드