제 노트북이 생각만 하다 멈췄어요

들어가며

구독자님, 지난 주말에 저는 노트북에 오픈 모델 하나를 내려받았어요. 지난 14일 알리바바가 공개한 Qwen 3.8 27B인데요. 파일 크기가 17GB예요. 요즘 게임 하나보다 작은 용량으로 코딩하고 이미지 보고 도구까지 부르는 모델이 돌아간다는 게 신기해서 바로 받아봤어요.

그런데 질문을 던지고 한참을 기다렸는데 답이 안 왔어요. 화면에는 생각 중이라는 표시만 계속 돌았고요. gguf로 돌려도, 맥용 mlx로 돌려도 같았어요. 죽었다고 해야 할지 타임아웃이 났다고 해야 할지 애매한 상태로 멈춰 있더라고요.

원인을 파고들면서 알게 된 건 모델이 고장 났다는 사실이 아니었어요. 기본 설정이 저를 향해 맞춰져 있지 않았다는 것이었어요. 결론부터 말씀드릴게요. 오늘 이야기는 특정 모델의 버그 리포트가 아니에요. AI 제품의 기본값이 누구를 위해 정해지는가에 대한 이야기예요.

---

원 하나 그려달라고 했더니 작품이 왔어요

증상부터 볼게요. 저만 겪은 일이 아니거든요.

개발자 사이먼 윌리슨이 16일에 같은 모델을 두 대의 기기에서 돌려본 기록을 공개했어요. 128GB 맥북 프로와 엔비디아 DGX 스파크, 둘 다 17GB짜리 4비트 양자화¹ 빌드였고요.

그가 처음 던진 프롬프트는 자전거 탄 펠리컨을 SVG로 그려달라는 것이었어요. 결과물은 그가 로컬 모델에서 뽑아본 것 중 최고였다고 해요. 자전거 프레임 모양이 정확했고, 다리가 양쪽에 하나씩 붙었고, 날개가 핸들까지 닿았고요.

문제는 그 결과가 나오기까지 21분이 걸렸다는 거예요. 추론에 22,276토큰을 태워서 출력 3,223토큰을 냈어요. 생각이 결과물의 일곱 배였던 셈이에요. 같은 프롬프트를 추론 없이 돌리니 137초 만에 끝났고요. 품질은 떨어졌지만 21분어치는 아니었다는 게 그의 평가였어요.

더 인상적인 건 다음 실험이었어요. 그가 이번엔 아주 단순하게 요청했어요. 원 하나를 SVG로 그려달라고요. 모델의 생각 기록은 이렇게 시작해요.

단순한 요청이지만 정성껏 만든 작품으로 가고 싶다. 단순한 원 태그를 넘어서는 무언가를, 기하학 습작 같은 성격에 미묘한 애니메이션과 겹겹의 링, 독특한 색조를 담아보자.

몇 분 뒤에 나온 건 동심원 가이드선과 눈금, 그라디언트, 천천히 회전하는 점선 링이 들어간 애니메이션 도형이었어요. 아름다웠지만 요청한 물건은 아니었죠.

같은 성향은 코드를 짤 때도 나왔어요. 그가 사진 위에 좌표 상자를 그려주는 간단한 웹 도구를 만들어달라고 하자, 모델은 요청에 없던 기능들을 스스로 붙였어요. 테스트할 사진이 없는 사용자를 위해 직접 그림을 그려 넣는 예시 화면까지 만들어뒀거든요. 생각 기록을 보면 “자체 완결적이고 시연 가능하니 재미있겠다”는 대목이 나와요. 시키지 않은 배려였죠.

제가 겪은 멈춤 현상도 여기서 갈라져 나와요. 윌리슨은 LM Studio의 기본 컨텍스트 한도인 8,192토큰에서 곧바로 막혔다고 적었어요. 아주 사소한 질문에도 모델이 그 예산을 생각만으로 전부 태워버렸거든요. 한도를 262,144토큰으로 올리자 그 문제는 사라졌고요. 답이 안 나오는 게 아니라, 답을 낼 자리가 남지 않았던 거예요.

---

이 기본값은 실수가 아니에요

여기서 대부분의 기사는 “중국 모델의 완성도 문제”로 넘어가요. 저는 그 해석이 틀렸다고 봐요. 이건 실수가 아니라 합리적인 선택의 결과거든요.

Qwen 3.8은 추론 깊이를 조절하는 설정을 공식 지원해요. xhigh, medium, low 세 단계인데, 기본값이 가장 높은 xhigh예요. 문서에도 복잡한 과제의 철저한 분석용이라고 적혀 있고요.

왜 이걸 기본값으로 뒀을까요. 벤치마크 측정 조건을 보면 답이 나와요.

이전 세대인 Qwen 3.6의 모델 카드에는 평가 조건이 상세히 공개돼 있어요. 터미널 작업 벤치마크는 3시간 타임아웃에 CPU 32개, 램 48GB, 최대 출력 8만 토큰, 컨텍스트 25만 6천 토큰으로 돌리고 5회 평균을 냈어요. 소프트웨어 엔지니어링 벤치마크는 20만 토큰 컨텍스트에서 자체 에이전트 하네스²를 썼고요.

이 조건에서 최적 전략은 명확해요. 최대한 오래, 최대한 깊이 생각하는 거예요. 3시간을 주는데 3분 만에 끝낼 이유가 없으니까요. 채점자는 걸린 시간을 보지 않고 맞았는지만 보거든요.

그리고 그 전략은 실제로 먹혔어요. Qwen 자체 발표 기준으로 3.8은 직전 세대 대비 터미널 벤치마크에서 10점, 컴퓨터 조작 평가에서 20점, 웹 작업에서 16점, 안드로이드 작업에서 12점이 올랐어요. 단일 하네스에서 측정한 자체 수치라는 점은 감안해야 하지만, 방향은 분명해요.

이제 사용자 쪽 조건을 나란히 놓아볼게요. 노트북 한 대, 기본 컨텍스트 8,192토큰, 시도 한 번, 기다릴 수 있는 시간은 길어야 몇 분. 같은 설정이 한쪽에서는 최적해이고 다른 쪽에서는 재앙이에요.

흥미로운 건 커뮤니티의 반응이에요. 3.8이 벤치마크에서 앞서는데도, 로컬 사용자들 사이에서는 4개월 전에 나온 3.6이 여전히 데일리 드라이버로 불려요. 3.6이 더 차분하고 나선형으로 빠지지 않는다는 이유로요. 실제로 3.6은 넉 달 동안 다운로드 700만 회를 넘겼어요. 점수판의 승자와 실사용의 승자가 갈리고 있는 거예요.

---

벤더가 알면서 남겨둔 트레이드오프

기본값이 점수판을 향하고 있다는 증거는 하나 더 있어요. 이번엔 아예 문서에 적혀 있어요.

Qwen 3.8 모델 카드에는 이런 안내가 있어요. 끝없는 반복이 생기면 반복 억제 값³을 0에서 2 사이로 올려보라고요. 그리고 바로 다음 문장에서, 그 값을 높이면 간헐적으로 언어 혼입이 발생하고 성능이 조금 떨어질 수 있다고 경고해요.

저는 이 두 문장이 나란히 붙어 있는 게 이번 릴리스의 성격을 가장 정확히 보여준다고 생각해요. 루핑을 막는 처방이 다른 증상을 만든다는 걸 벤더가 알고 있고, 그 상태로 출시했다는 뜻이니까요.

실제로 저는 한국어로 질문했을 때 답변에 일본어와 아랍어가 섞여 나오는 걸 봤어요. 이게 왜 발생하는지에 대해서는 참고할 만한 연구가 있어요. 이중언어 추론에서의 언어 혼입을 정량화한 논문을 보면, 한 추론 모델의 수학 문제 풀이에서 중국어로 질문했을 때 답변의 77.4%가 언어 혼입을 보였고 문제당 평균 7.22회 언어를 갈아탔어요. 영어로 질문했을 때는 0.6%였고요. 이 계열 모델의 지배적 사고 언어가 영어라는 뜻이에요.

바꿔 말하면, 한국어 사용자는 구조적으로 이 실패 모드를 더 자주 만나는 자리에 서 있어요. 그런데 이 실패는 어느 벤치마크 표에도 칸이 없어요. 측정되지 않으니 기본값 설계에 반영될 이유도 없고요.

여기에 하나가 더 겹쳐요. 기본값 문제는 모델 안에만 있는 게 아니거든요.

같은 모델을 하루 종일 여러 설정으로 돌려본 한 사용자의 기록을 보면, RTX 5090 한 대에서 초당 12토큰부터 137토큰까지 열 배 넘게 벌어졌어요. 그리고 여러 토큰을 미리 추측해 속도를 올리는 기능⁴을 켠 셋업에서는 전부 타임아웃이 났다고 해요. 실행 환경의 호환성 문제였고 모델 잘못은 아니라고 본인이 덧붙였고요. 반대로 윌리슨은 같은 기능을 붙여서 기본 빌드 대비 72% 빠른 결과를 얻었어요.

같은 기능이 누구에게는 72% 부스트이고 누구에게는 전면 정지예요. 제가 gguf와 mlx 양쪽에서 겪은 멈춤도 여기에 걸려 있었을 가능성이 커요. 오픈 웨이트 모델의 실제 성능은 가중치가 아니라 그 위에 얹는 실행 스택이 결정하는데, 그 스택의 기본값을 정하는 주체는 또 다른 곳이에요. 모델을 만든 팀, 양자화 빌드를 올린 팀, 실행 도구를 만든 팀이 전부 다르거든요. 어느 누구도 제 노트북을 기준으로 설정을 정하지 않았어요.

혹시 지금 이 모델을 직접 돌려보고 계시다면, 순서는 이렇게 잡으시길 권해요. 컨텍스트 한도를 먼저 넉넉히 올리고, 추론 단계를 낮춰서 과잉 사고를 잡고, 샘플링의 상위 후보 개수⁵를 20으로 명시해 두세요. 반복 억제 값으로 루핑을 막는 건 마지막 수단으로 미루시고요. 그 값이 바로 언어 혼입을 부르니까요.

물론 균형을 위해 덧붙일 게 있어요. 과하게 생각하는 게 이 모델만의 문제는 아니에요. 커뮤니티 실험에서 구글 젬마 4 26B는 같은 질문에 오히려 더 많은 토큰을 썼어요. 그리고 허깅페이스에서는 이 현상이 가중치 자체의 구조적 결함이라는 주장과 그 분석이 날조됐다는 반박이 지금도 붙고 있는데, 아직 결론이 안 났어요. 가중치가 전부 공개된 모델인데도요.

---

오스왈드의 시선

저는 GTM 전략을 짜면서 제품의 기본값을 놓고 다투는 회의에 여러 번 들어가 봤어요. 그때마다 반복되는 구도가 있어요.

기본값을 정하는 자리에는 늘 두 개의 압력이 들어와요. 하나는 “처음 써보는 사람이 성공하게 하자”는 쪽이고, 다른 하나는 “우리가 가장 잘 보이는 상태로 두자”는 쪽이에요. 후자가 이기는 경우가 생각보다 많아요. 데모에서 잘 나오는 설정, 리뷰어가 켜볼 설정, 비교표에서 이기는 설정이 그대로 출고 기본값이 되는 거죠.

문제는 이 선택이 티가 안 난다는 데 있어요. 기능을 뺀 것도 아니고 성능을 속인 것도 아니거든요. 설정 하나를 어디에 두느냐일 뿐이에요. 그런데 사용자 입장에서 기본값은 사실상 제품 그 자체예요. 대부분은 설정 화면을 열지 않으니까요.

그래서 저는 기본값을 제품이 누구를 향해 만들어졌는지 드러내는 가장 정직한 신호로 읽어요. 마케팅 문구는 모두를 향해 쓰이지만, 기본값은 한 명만 선택할 수 있거든요.

이번 건이 흥미로운 이유는 그 신호가 유난히 선명하다는 점이에요. 오픈 웨이트 모델은 경쟁 수단이 벤치마크 표밖에 없어요. 영업 조직도, 유통 계약도, 사용자 데이터도 없이 리더보드 한 장으로 존재를 증명해야 하죠. 그런 회사가 채점 조건에 맞춘 기본값을 고르는 건 이상한 일이 아니에요. 오히려 구조가 시키는 일이에요.

다만 그 구조를 이해하는 것과 그대로 쓰는 건 다른 문제예요. 저는 이번 주에 그걸 21분과 몇 번의 멈춤으로 배웠어요.

---

마치며

세 줄로 정리하면 이래요.

• Qwen 3.8 27B의 추론 기본값은 가장 높은 단계예요. 원 하나를 요청해도 작품을 만들어내고, 좁은 컨텍스트에서는 답을 낼 자리를 남기지 않아요.
• 이건 실수가 아니라 채점 조건에 맞춘 선택이에요. 3시간 타임아웃과 8만 토큰 출력을 허용하는 평가에서는 오래 생각하는 쪽이 이기니까요.
• 사용자의 조건은 그 반대예요. 그래서 점수판의 승자와 실사용의 승자가 갈리고, 넉 달 전 모델이 여전히 데일리 드라이버로 남아 있어요.

이 질문 하나는 이 모델을 넘어서도 쓸모가 있어요. 지금 쓰고 계신 AI 도구를 열어서 설정 화면을 한 번 보세요. 이 기본값은 나를 위해 정해졌을까요, 아니면 이 제품을 평가하는 사람을 위해 정해졌을까요. 둘의 답이 다른 도구가 생각보다 많을 거예요.

구독자님은 AI 도구를 기본 설정 그대로 쓰다가 손해를 보신 적이 있나요? 어떤 도구의 어떤 설정이었는지, 바꾸고 나서 무엇이 달라졌는지 댓글로 들려주세요. 사례가 모이면 다음 호에서 정리해 볼게요.

---

💬 기본 설정 때문에 겪은 일을 댓글로 들려주세요 · 📨 로컬 모델을 검토 중인 동료가 있다면 이 글을 전달해 주세요

---

이 글이 도움이 됐다면 공유해 주세요

링크 복사XLinkedInThreadsKakaoTalk네이버 밴드

참고자료 & 더 읽기

핵심 출처

• Simon Willison, “Qwen 3.8 27B is excellent, but it defaults to wildly overthinking things”, Simon Willison’s Weblog, 2026. 8. 16. 링크 ··· 21분과 22,276토큰의 출처예요. 원 그리기 사례의 생각 기록 전문이 링크로 걸려 있으니 그것만이라도 열어보시길 권해요.
• Qwen, “Qwen3.8-27B Model Card”, Hugging Face, 2026. 8. 14. 링크 ··· 추론 단계 기본값과 반복 억제 값 경고가 나오는 원문이에요. 벤더가 무엇을 알고 있었는지 확인하기 좋아요.
• Qwen, “Qwen3.6-27B Model Card”, Hugging Face, 2026. 4. 링크 ··· 3시간 타임아웃과 8만 토큰이라는 벤치마크 측정 조건이 여기 적혀 있어요. 오늘 글의 핵심 근거예요.
• “Why Qwen3.8-27B overthinks? Here the reason”, Hugging Face Community Discussion #76, 2026. 8. 링크 ··· 구조적 결함 주장과 반박이 오가는 스레드예요. 가중치가 공개돼도 행동은 합의가 안 된다는 걸 보여주는 사례이기도 해요.

배경 지식

• Yihao Wang et al., “The Impact of Language Mixing on Bilingual LLM Reasoning”, arXiv:2507.15849, 2025. 링크 ··· 언어 혼입 비율 77.4%와 0.6%의 출처예요. 비영어권 사용자가 왜 다른 경험을 하는지 설명해 줘요.

함께 읽으면 좋은 지난 호

• 수학 올림피아드 만점, AI 감독관은 없었다 ··· 점수가 아니라 채점 절차를 보라는 이야기였어요. 오늘 글은 그 옆 칸, 측정 조건에 대한 이야기예요.
• 구글이 가격표 대신 청구서를 줄였다 ··· 작업 하나에 토큰을 얼마나 쓰는가가 왜 중요해졌는지를 다뤘어요. 21분의 정체가 궁금하시면 함께 보세요.

---

필자 안광섭 (오스왈드)은 세종대학교 겸임교수, INLEVEL9 전략 컨설턴트입니다. 경력, 연구, 저서와 최신 활동은 저자 소개에서 계속 갱신합니다. 최근 소식 · 2026년 8월: 2026 세종도서 교양부문 우수도서 선정.

📝 용어 설명

---

각주

1. 양자화 (Quantization): 모델의 숫자들을 더 낮은 정밀도로 줄여 파일 크기와 메모리 사용량을 낮추는 작업이에요. 고해상도 사진을 화질을 조금 낮춰 저장하는 것과 비슷해요. 덕분에 27B 모델이 17GB로 줄어들어 노트북에 들어가요. ↩

2. 하네스 (Harness): 모델을 평가하거나 실행할 때 감싸는 바깥 껍데기예요. 어떤 도구를 쓸 수 있게 할지, 몇 번 시도하게 할지, 언제 멈출지를 여기서 정해요. 같은 모델도 하네스가 다르면 점수가 달라져요. ↩

3. 반복 억제 값 (presence_penalty): 이미 나온 표현이 다시 나올 확률을 낮추는 설정이에요. 같은 말을 계속 반복하는 증상을 줄여주지만, 값을 높이면 모델이 원래 쓰던 단어를 피하다가 엉뚱한 언어의 단어를 고르기도 해요. ↩

4. 다중 토큰 예측 (MTP, Multi-Token Prediction): 가벼운 장치가 다음 단어 여러 개를 미리 찍어두고 본 모델이 맞았는지만 빠르게 확인하는 방식이에요. 잘 맞으면 속도가 크게 올라가지만, 실행 환경이 이 기능을 제대로 지원하지 않으면 오히려 멈춰버려요. ↩

5. 상위 후보 개수 (top_k): 다음 단어를 고를 때 확률이 높은 순으로 몇 개까지만 후보에 남길지 정하는 값이에요. 이 값을 제한하지 않으면 확률이 아주 낮은 희귀한 단어까지 후보에 남아서, 가끔 예상 밖의 문자가 튀어나와요. ↩