들어가며

구독자님, 수요일 밤 자정(한국 시간)에 알리바바 Qwen 팀이 Qwen3.8-Flash-Next의 가중치를 열었어요. 완성된 플래그십이 아니라, 다음 세대 Qwen4에 넣을 설계를 먼저 공개해 검증받는 모델이에요. 전체 파라미터는 1,250억인데 토큰 하나를 처리할 때 실제로 움직이는 건 60억이고, 여기에 자주 나오는 토큰 조합을 미리 기억해 두는 510억짜리 N-gram¹ 메모리를 붙였어요.

스펙표에서 제 눈이 멈춘 건 성능 숫자가 아니었어요. 그 510억이 GPU 안이 아니라 서버의 일반 메모리에 산다는 한 줄이었어요. 저는 두 번에 걸쳐 “AI의 진짜 병목은 연산 칩이 아니라 HBM”²이라고 썼는데요. 그 병목을 칩이 아니라 설계로 우회하는 시도가 나온 거예요.

결론부터 말씀드리면, 이 발표의 본질은 성능이 아니라 비용 구조의 재설계예요. 파라미터가 사는 메모리 층이 한 칸 내려왔고, 숫자들은 각각 분모를 붙여 읽어야 하며, 같은 밤 나온 두 Flash는 가격이 아니라 라이선스에서 갈렸어요.

---

510억은 왜 GPU 밖에 있을까

언어 모델은 토큰 하나마다 벡터 하나를 사전에서 꺼내 시작해요. Qwen은 여기에 사전을 하나 더 붙였어요. 직전 두세 개 토큰의 조합을 열쇠로 쓰는 2,000만 칸짜리 표예요. 마지막 토큰 몇 개를 해시해 주소를 만들고, 표에서 벡터를 꺼내 두 번째 층의 표현에 섞어요. 곱셈이 아니라 읽기라서 토큰당 연산은 거의 늘지 않아요.

핵심은 이 표가 어디 사느냐예요. 주소가 결정적이라 토큰만 알면 읽을 칸이 정해지고, GPU가 첫 층을 계산하는 동안 CPU 메모리에서 미리 가져다 놓을 수 있어요. 이 프리페치³가 첫 층 연산과 겹치면서 이동 지연이 숨겨져요. vLLM 배포 레시피에 그 결과가 있어요. GPU 쪽 FP8 체크포인트 172.78GiB는 그대로이고, 거기에 “N-gram 오프로드용 호스트 메모리 51GB 이상”이 한 줄 추가돼요.

전문가 혼합(MoE)⁴과 비교하면 의미가 보여요. MoE도 토큰당 연산은 줄이지만 512개 전문가가 전부 GPU 메모리에 있어야 해요. 조회표는 나가 있어도 돼요. 모델 카드의 “메모리 제약 가속기에 효율적, MoE보다 오프로딩에 적합”이 정확히 이 차이예요.

원적은 중국이 아니라 구글이에요. 작년 2월 구글 연구진의 SCONE 논문은 “주메모리와 SSD는 가속기 메모리보다 훨씬 싸다”는 문장으로 시작해 N-gram 임베딩을 가속기 밖에 두자고 제안했어요. 논문 단가표로 시스템 메모리는 GB당 약 2달러, SSD는 0.1달러예요. 같은 해 젬마 3n도 층별 임베딩을 CPU에 두는 방식을 썼고요. 이 계보를 1,250억 규모에 510억이라는 크기로 얹은 건, 제가 아는 한 처음이에요.

리포트가 스스로 밝힌 한계도 있어요. N-gram 어휘를 키우면 학습 손실은 계속 내려가지만 다운스트림 정확도는 어느 지점에서 포화해요.

100만 토큰 중 2,048개만 보는 어텐션

Qwen3.8-Flash-Next의 층 구조. GDN 셋과 QSA 하나가 한 블록, 동그라미 네 개가 넓어진 잔차 스트림이에요. (출처: Qwen)

두 번째 부품은 긴 문맥의 비용을 겨냥해요. 48개 층 가운데 36개는 게이티드 델타넷(GDN)이라는 선형 어텐션 층이에요. 문맥이 길어져도 고정 크기의 상태 하나에 압축해 두니까 비용이 길이에 비례해서만 늘어요. 나머지 12개 층, 네 층에 하나꼴로만 진짜 어텐션이 들어가고, 그 자리에 Qwen 희소 어텐션(QSA)이 앉아요.

QSA는 가벼운 색인기가 문맥을 작은 블록으로 잘라 중요도를 매기고, 토큰당 최대 512블록 또는 2,048토큰만 골라 정밀하게 봐요. 100만 토큰 문맥에서도 각 어텐션 층이 실제로 보는 건 2,048개예요. 딥시크가 작년에 낸 DSA와 같은 갈래인데, 색인기 비용이 길이의 제곱으로 느는 문제를 키를 압축해서 줄였어요. 리포트 수치는 100만 토큰 기준 프리필⁵ 7.6배, 디코드 4.9배인데, 모델 전체가 아니라 어텐션 커널 하나의 속도예요.

세 번째 부품은 다이어그램에서 동그라미 네 개로 그려진 잔차 스트림⁶이에요. 층 사이를 잇는 컨베이어 벨트를 한 줄에서 네 줄로 넓혔고, 각 부품은 읽기 게이트로 필요한 만큼만 꺼내 쓰고 쓰기 게이트로 되돌려 놓아요. 리포트의 강조점은 안정성이에요. 최적 학습률의 4배로 올리는 스트레스 테스트에서 이전 구조는 손실이 자주 튀었고 새 구조는 안정적이었으며, 본학습에서는 손실 스파이크가 한 번도 없었대요.

네 번째는 레시피예요. 행렬 가중치에는 Muon, 그 밖에는 AdamW를 나눠 썼고, 스케일링 법칙을 다시 맞춰 배치와 학습률을 올린 덕에 배치 워밍업을 없앴어요. 워밍업은 옵티마이저 스텝을 18.8% 더 쓴다는 게 근거예요.

9분의 1의 분모

공식 발표문은 “Qwen3.7-Plus 대비 학습 비용 9분의 1”이라고 했는데, 리포트의 표현은 달라요. 학습 FLOPs⁷가 약 9분의 1이고, 분해하면 활성 파라미터 3분의 1 곱하기 학습 토큰 3분의 1이에요. 베이스 모델 기준 14개 벤치마크 중 8개에서 앞서고 6개는 최대 2.6점 뒤져요. 정확히 옮기면 “동급 성능을 9분의 1 FLOPs로”이지 “전면 상회”는 아니에요. FLOPs와 GPU 시간은 다른 단위라, 실제 청구서가 9분의 1인지는 리포트에 없어요.

7.6배는 커널 속도이고, 발표문의 8.6배는 조건이 붙어요. 프리픽스 캐시⁸ 적중률 90%일 때 Qwen3.7-Plus 대비 프리필 처리량이 8.6배라는 거예요. 적중률 90%는 같은 시스템 프롬프트와 도구 정의를 수십 번 반복해 읽는 에이전트 작업이에요. 성능 자랑이라기보다, 이 모델이 어떤 일을 위해 만들어졌는지 알려주는 자백에 가까워요.

가장 많이 인용될 표는 Claude Opus 4.6과의 비교예요. SWE-bench Pro 62.5 대 53.4, CoWorkBench 73.9 대 68.2, JobBench 55.7 대 36.6. 다만 각주가 세 줄 붙어요. 첫째, CoWorkBench와 RecreationBench는 Qwen이 직접 만든 벤치마크예요. 둘째, SWE-bench Pro는 Qwen 계열만 “문제 있는 과제를 수정한 개정판”으로 재측정했고 Opus는 공식 발표치를 옮겼어요. 같은 시험지가 아니에요. 셋째, Opus 4.6은 두 세대 전이에요. 앤스로픽은 4.7을 거쳐 5월 28일 4.8을 냈고, 같은 밤 나온 GLM-5.3-Flash는 비교 대상을 4.8로 잡았어요. 인간 최후의 시험(HLE)에서는 40.0 대 35.9로 Opus가 앞서고요.

숫자는 전부 진짜이고, 60억 활성으로 이 점수는 놀라워요. 하지만 “Opus를 이겼다”는 문장은 각주 세 줄을 떼면 성립하지 않아요. 각주를 붙여도 남는 숫자는 가격이에요. 정식 API 버전 Qwen3.8-Flash는 100만 토큰당 입력 0.16달러, 출력 0.47달러로 예고됐어요. Opus 4.8은 5달러와 25달러예요. 입력은 31배, 출력은 53배 차이예요.

같은 밤, 같은 가격, 다른 자물쇠

그 가격은 혼자가 아니었어요. 같은 밤 Z.ai가 연 GLM-5.3-Flash는 입력 0.15달러, 출력 0.50달러예요. 3,200억 중 180억 활성이고, 희소·선형 하이브리드 어텐션에 잔차 스트림을 넓힌 mHC까지 부품 목록이 Qwen과 겹쳐요. Z.ai는 “전부 중국 AI 칩에서 돌아간다”고 덧붙였고요. 중국산 Flash의 값은 15센트와 50센트 언저리에서 만났어요. Artificial Analysis의 독립 측정에서 GLM-5.3-Flash는 지능 지수 57로 같은 가격대 173개 모델 중 1위, 과제당 비용은 0.09달러였어요. 대신 평가 중 출력 토큰이 1억 5,000만 개로 중간값의 두 배가 넘어요. 토큰당 가격이 같아도 청구서는 말 많은 쪽이 더 나와요.

가격이 만나니 남는 차이는 조문이에요. Qwen은 이번 모델부터 라이선스를 Apache 2.0에서 Qwen Community License 1.0으로 바꿨어요. 한 달 전 Qwen3.8-27B까지는 Apache였어요. 새 조문의 요구는 둘이에요. 월 활성 사용자 1억 명 또는 월 매출 2,000만 달러를 넘는 제품은 화면에 모델 이름을 표시해야 하고, 모델을 API로 되파는 사업(Model as a Service)과 코딩·사무용 AI 비서 사업은 상업적 사용 전에 Qwen과 별도 계약을 맺어야 해요. 사내 사용은 예외고요. 어제 편의 커서 같은 코딩 도구, 하비의 모델을 돌려주는 파이어웍스 같은 호스팅 회사가 조문대로라면 대상이에요. 법률 자문이 아니라 제 해석이에요.

설계도는 열되, 자기 API 사업(QwenCloud)과 자기 비서 제품(Qoder·QwenWork)에 부딪히는 두 사업만 잠근 거예요. 7월 “문을 잠그기 시작한 중국” 편의 물증이 하필 이 밤에 나왔는데 형태가 달라요. 국경의 수출 통제가 아니라 회사 문 앞의 회전문이고, 옆집 Z.ai는 같은 밤 MIT로 문을 더 열었어요. 잠그는 쪽과 여는 쪽이 한 나라 안에서 갈렸어요.

HBM 병목의 우회로

지난달 “봉쇄가 키운 중국” 편과 8월 중순 “헐값이 된 지능” 편에서 저는 AI의 병목이 HBM이라고 썼고, 두 편 다 한국이 그 길목에 앉아 있다는 이야기로 끝났어요. 오늘 발표는 그 논지에 각주를 하나 달아요. 병목은 우회로를 부른다는 각주예요.

Qwen은 설계 이유를 “메모리 제약이 있는 가속기”라고만 썼지 HBM이나 수출 통제를 입에 올리지 않았어요. 연결은 제 해석이고, 근거는 있어요. 권장 서빙 프레임워크에 CPU 메모리로 전문가를 내보내는 KTransformers가 들어 있고, 같은 밤 Z.ai는 아예 중국 칩에서 돌린다고 밝혔어요. HBM이 귀할수록 이 설계가 달콤해져요.

51GB는 서버 한 대 램의 일부예요. HBM을 정직하게 잡아먹는 건 캐시로 아낄 수 없는 출력 토큰이고, 그 흐름은 이 설계와 무관하게 커져요. 바뀌는 건 수요량이 아니라 방향이에요. 지금까지 모델이 커진다는 건 HBM이 더 필요하다는 뜻이었는데, 이 설계에서는 용량의 일부가 HBM을 거치지 않고 자라요. 한국 메모리 산업에는 두 갈래 신호예요. 병목의 지렛대는 영원하지 않다는 것, 그리고 우회로가 향하는 곳도 결국 D램이라는 것. 같은 회사들이 만드는, 마진이 다른 제품이에요.

---

오스왈드의 시선

제가 이번 발표에서 가장 오래 본 건 설계도가 아니라 공개 순서예요. 테크노드가 전한 공개 이유는 “개발자 커뮤니티가 Qwen4 제품군에 대비할 기회를 주기 위해서”예요. 발표 하루 만에 Unsloth와 llama.cpp가 데이제로 지원에 붙었고, vLLM과 SGLang 레시피가 같은 날 올라왔어요. 정식 Qwen4가 나오는 날 추론 스택이 이미 그 구조를 돌릴 줄 아는 상태를 만드는 거예요. Z.ai는 반대 방향으로 같은 일을 했어요. GLM-5.3-Flash는 8월 20일부터 엿새 동안 오픈라우터에서 이름 없는 무료 모델 ‘Ox Alpha’로 돌며 실사용을 받았어요. 한쪽은 설계도를 먼저 열고, 한쪽은 모델을 먼저 흘려요.

노션 한국 커뮤니티를 맡았을 때 배운 게 있어요. 플랫폼은 기능이 좋아서 퍼지는 게 아니라 남들이 그 위에서 미리 움직일 때 퍼져요. 출시 전에 템플릿을 만드는 사람들이 있으면 출시일은 시작이 아니라 수확일이 돼요. 닫힌 연구소는 이 각본을 못 써요. 설계도가 곧 영업 비밀이니까요.

한국과 대비하면 선명해요. LG의 엑사원 4.0 리포트는 슬라이딩 윈도 어텐션을 고른 이유를 “오픈소스 프레임워크가 널리 지원해서”라고 적었고, 올해 1월 K-EXAONE 모델 카드에는 “라이브러리가 공식 지원할 때까지 우리 버전을 설치하라”는 안내가 붙어 있었어요. 한쪽은 프레임워크가 지원하는 구조를 고르고, 다른 쪽은 프레임워크가 자기 구조를 지원하게 만들어요. 독자 파운데이션 모델을 평가할 때 벤치마크 옆에 “발표 당일 vLLM이 돌아가는가”를 두면 어떨까 싶어요.

---

마치며

정리하면 세 가지예요. 첫째, Qwen3.8-Flash-Next의 핵심은 성능이 아니라 설계이고, 그 설계의 핵심은 510억 파라미터를 GPU 밖 CPU 메모리로 내보낸 결정이에요. 둘째, 9분의 1은 FLOPs이고 7.6배는 커널이고 Opus 비교표에는 각주가 세 줄 붙어요. 각주를 떼도 남는 건 가격인데, 그 가격은 같은 밤 GLM-5.3-Flash와 15센트 자리에서 만났고 갈린 건 라이선스예요. 셋째, 이 설계는 HBM 병목 논지의 반박이 아니라 각주예요. 병목은 우회로를 만들고, 그 우회로도 결국 D램으로 향해요.

이번 주에 해볼 일 하나. 조직에서 돌리는 에이전트 작업의 로그를 열어 프리픽스 캐시 적중률을 확인해보세요. 90%에 가깝다면 이 모델이 겨냥한 작업이 바로 그것이고, 50% 아래라면 발표문의 8.6배는 구독자님과 상관없는 숫자예요.

긴 문맥 에이전트를 실무에서 돌리고 계시다면, 캐시 적중률이 실제로 얼마나 나오는지, 비용에서 프리필과 디코드 중 어느 쪽이 더 무거운지 댓글로 들려주세요. 모아서 다음 호에서 ‘에이전트 비용의 분모’ 편으로 이어가볼게요.

---

💬 긴 문맥 에이전트의 캐시 적중률과 비용 구조를 댓글로 들려주세요. 다음 호에 반영해볼게요. 📨 추론 인프라를 고민하는 동료가 있다면 이 글을 공유해 주세요.

---

📎 참고자료 & 더 읽기

핵심 출처

• Qwen Team, “On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability”, Alibaba Group, 2026.8.26. ··· 오늘 글의 1차 출처예요. “가속기 밖에 둔 51B”, “FLOPs 9분의 1”, “14개 중 8개”, 학습률 4배 스트레스 테스트가 전부 여기 있어요. 초록과 1장만 읽어도 설계 철학이 잡혀요. 2.3절이 N-gram 임베딩이에요.
• Qwen, “Qwen3.8-Flash-Next 모델 카드”, Hugging Face, 2026.8. ··· 파라미터 구성, 층 배치(GDN 3 : QSA 1), 벤치마크 표와 각주가 있어요. 표 아래 각주 2번과 5번이 본문에서 말한 ‘개정판 시험지’와 ‘자체 벤치마크’의 근거예요.
• vLLM, “Qwen3.8-Flash-Next Recipe”, 2026.8. ··· “호스트 메모리 51GB 이상”과 체크포인트 크기가 여기 적혀 있어요. 커널 가속 수치(10.2배·6.6배)가 리포트와 다르게 적혀 있다는 점도 확인해보세요.
• Qwen, “Qwen3.8-Flash-Next 공식 발표”, X, 2026.8.26. ··· 정식 버전 Qwen3.8-Flash의 예고 가격(입력 0.16달러, 출력 0.47달러)과 “캐시 적중률 90%에서 8.6배”의 출처예요.
• TechNode, “Alibaba’s Qwen to open-source Qwen3.8-Flash-Next, previewing Qwen4 architecture”, 2026.8.26. ··· “개발자 커뮤니티가 Qwen4에 대비할 기회”라는 공개 이유가 여기 있어요.
• Anthropic, “Introducing Claude Opus 4.8”, 2026.5.28. ··· 비교 대상의 현재 세대와 가격(입력 5달러, 출력 25달러)을 확인한 출처예요.
• Qwen, “Qwen Community License 1.0”, 2026.8. ··· 조문은 두 단락뿐이에요. 1항이 모델명 표시 의무(월 활성 사용자 1억 명 또는 월 매출 2,000만 달러), 2항이 Model as a Service와 AI Work Assistant의 별도 계약 의무예요. 직접 읽어보시길 권해요. Qwen3.8-27B까지는 Apache 2.0이었어요.
• Z.ai, “Introducing GLM-5.3-Flash”, X, 2026.8.26. ··· 3,200억·180억 활성, MIT 라이선스, “Ox Alpha로 미리 공개”, “전부 중국 AI 칩에서 구동”, 가격(입력 0.15달러, 출력 0.50달러)의 출처예요.
• Z.ai, “GLM-5.3-Flash 모델 카드”, Hugging Face, 2026.8. ··· 희소·선형 하이브리드 어텐션과 mHC 채택, 그리고 비교 대상이 Opus 4.8이라는 점을 여기서 확인했어요. 권장 서빙 프레임워크 네 개가 Qwen과 같아요.
• Bloomberg, “China’s Z.ai Made Ox Alpha, Stealth Model That Rivals DeepSeek”, 2026.8.26. ··· Z.ai가 Ox Alpha를 자사 모델로 처음 인정한 보도예요.
• Artificial Analysis, “GLM-5.3-Flash Intelligence, Performance & Price Analysis”, 2026.8. ··· 지능 지수 57(같은 가격대 173개 중 1위), 과제당 비용 0.09달러, 평가 출력 토큰 1억 5,000만 개(중간값 6,400만)의 출처예요. 토큰당 가격과 과제당 비용이 왜 다른지 여기서 보여요.
• Decrypt, “AI Model Ox Alpha Is Free, Beats Claude Fable, and Nobody Knows Who Built It”, 2026.8. ··· 8월 20일 익명 공개부터 커뮤니티가 토크나이저로 GLM을 지목하기까지의 과정이에요. 10개 과제 기준 벤치 주장이 113개 전체 실행에서 어떻게 달라졌는지도 있어요.

배경 지식

• Da Yu 외 (Google), “Scaling Embedding Layers in Language Models”, NeurIPS, 2025. ··· N-gram 임베딩을 가속기 밖에 두는 설계(SCONE)의 원 논문이에요. 4.3절의 단가표(시스템 메모리 GB당 약 2달러, SSD 약 0.1달러)가 이 설계의 경제학이에요.
• InfoQ, “Gemma 3n Introduces Novel Techniques for Enhanced Mobile AI Inference”, 2025.7. ··· 층별 임베딩을 CPU에 두어 80억 모델을 40억 메모리로 돌린 젬마 3n의 설명이에요. 같은 아이디어의 모바일 버전이에요.
• LG AI Research, “EXAONE 4.0 Technical Report”, arXiv, 2025. ··· 2.1절에 슬라이딩 윈도 어텐션을 고른 이유가 “오픈소스 프레임워크의 폭넓은 지원”이라고 적혀 있어요. 시선 섹션의 대비가 여기서 나왔어요.
• LG AI Research, “K-EXAONE-236B-A23B 모델 카드”, Hugging Face, 2026.1. ··· 요구 사항 항목에 “라이브러리가 공식 지원할 때까지 우리 버전을 설치하라”는 안내가 있어요.
• AlternativeTo, “Alibaba releases open-source Qwen3-Next model”, 2025.9. ··· 작년 9월 Qwen3-Next 공개 당시의 기록이에요. 이번과 같은 각본이었다는 걸 확인하실 수 있어요..

---

필자 안광섭 (오스왈드)은 세종대학교 겸임교수, INLEVEL9 전략 컨설턴트입니다. 경력, 연구, 저서와 최신 활동은 저자 소개에서 계속 갱신합니다. 최근 소식 · 2026년 8월: 2026 세종도서 교양부문 우수도서 선정.

📝 용어 설명

---

각주

1. N-gram: 연속된 N개의 토큰 묶음이에요. “머신 러닝”처럼 두 개면 바이그램, 세 개면 트라이그램이라고 불러요. 자주 붙어 다니는 조합은 따로 기억해두면 문맥을 더 빨리 읽을 수 있어요. ↩

2. HBM(고대역폭 메모리): GPU 바로 옆에 쌓아 올려 초당 수 테라바이트를 주고받는 메모리예요. 일반 서버 D램보다 훨씬 빠르고 훨씬 비싸며, 지금은 돈이 있어도 물량을 구하기 어려운 부품이에요. ↩

3. 프리페치(prefetch): 필요해질 데이터를 미리 가져다 놓는 기법이에요. 요리사가 다음 요리 재료를 먼저 꺼내두는 것처럼, 계산이 끝나기 전에 메모리에서 읽기를 시작해서 기다리는 시간을 없애요. ↩

4. 전문가 혼합(MoE, Mixture of Experts): 모델 안에 작은 전문가 네트워크를 여러 개 두고, 토큰마다 몇 개만 골라 쓰는 구조예요. 전체 파라미터는 크지만 토큰당 연산은 작아요. 다만 고르지 않은 전문가도 GPU 메모리에 올라가 있어야 해요. ↩

5. 프리필(prefill)과 디코드(decode): 프리필은 입력 문맥 전체를 한 번에 읽어 들이는 단계, 디코드는 답을 한 토큰씩 만들어내는 단계예요. 긴 문서를 넣을수록 프리필이 무겁고, 긴 답을 뽑을수록 디코드가 무거워요. ↩

6. 잔차 스트림(residual stream): 층과 층 사이를 관통해 정보를 실어 나르는 통로예요. 각 층은 이 통로에서 정보를 꺼내 계산하고 결과를 다시 더해 넣어요. 컨베이어 벨트에 가까워요. ↩

7. FLOPs: 부동소수점 연산 횟수예요. 학습에 든 계산량을 세는 단위인데, 실제 GPU 시간이나 비용과는 달라요. 같은 FLOPs라도 GPU를 얼마나 쉬지 않고 돌리느냐에 따라 청구서가 달라져요. ↩

8. 프리픽스 캐시(prefix cache): 앞부분이 같은 입력을 다시 받았을 때, 이미 계산해둔 결과를 재활용하는 장치예요. 같은 시스템 프롬프트와 도구 설명을 매번 다시 읽는 에이전트 작업에서 적중률이 높아요. ↩

이 글이 도움이 됐다면 공유해 주세요

링크 복사XLinkedInThreadsKakaoTalk네이버 밴드