인공지능 벤치마크 이대로 괜찮은가?

들어가며

7월 16일 상하이에서 국제수학올림피아드(IMO)가 끝났어요. 666명이 응시했고, 42점 만점을 받은 학생은 7명이었어요.

그런데 그 다음 주가 더 시끄러웠어요. 일주일 사이에 여섯 개의 AI 시스템이 “우리도 42점 만점”이라고 발표했거든요. 화웨이, 샤오홍슈, 그리고 독립 테스트에서 나온 네 개 모델까지요.

구독자님, 여기서 한 가지만 짚고 갈게요. 이 여섯 중에서 IMO 주최 측에 실제로 답안을 넘긴 건 둘뿐이에요. 나머지 넷은 채점자가 사람이 아니라 Claude 기반 에이전트였어요. 그리고 해당 저장소는 “강력하지만 공인된 결과는 아니다”라고 스스로 밝혀뒀어요.

결론부터 말씀드릴게요. 지금 AI에게 부족한 건 더 어려운 문제가 아니에요. 답안을 누가, 어떤 조건에서, 어떻게 채점했는지를 남기는 제도예요. 그러니까 벤치마크 말고, 시험이요.

---

만점의 계절, 그런데 시험장은 여섯 군데였다

먼저 무슨 일이 있었는지 정리해 볼게요.

인간 쪽 성적은 명확해요. 666명 중 7명이 만점. 학생들은 이틀에 걸쳐 총 9시간 동안 6문제를 풀었어요. 같은 날, 같은 시간, 같은 방에서요. AI 쪽은 이렇게 갈려요.

공식 채점 경로: 화웨이의 Celia와 샤오홍슈의 dots-note-3.0이 인간 대회가 끝난 뒤 문제를 받아 정해진 시간 안에 답안을 제출했고, 그 답안을 IMO 주최 측에 넘겼어요. 샤오홍슈는 “어떤 형태의 인간 개입도 엄격히 금지했다”고 밝혔고요.

독립 테스트 경로: 나머지 넷은 한 연구자가 직접 짠 테스트 환경에서 나온 결과예요.

모델	첫 시도	최종	비용	소요 시간
Claude Fable 5	42/42	42/42	약 51달러	2.5시간
GPT-5.6 Sol (xhigh)	39/42	42/42	약 21달러	3.8시간
Kimi K3	36/42	42/42	약 31달러	17.4시간
AxiomProver	형식 증명	42/42	비공개	약 25시간

숫자만 보면 놀랍긴 해요. Fable 5는 한 번에 풀었고, 학생들에게 주어진 9시간의 3분의 1도 안 걸렸어요. AxiomProver는 결이 다른데, Lean 4¹라는 형식 증명 언어로 6문제를 총 7,722줄에 걸쳐 기계가 검증 가능한 증명으로 만들었어요. 3번 문제 하나에만 4,229줄, 869분이 들었고요.

그런데 이 표를 보면서 제가 계속 걸렸던 건 성적이 아니라 조건이었어요.

네 모델의 채점자는 사람 메달리스트가 아니라 AI 에이전트였어요. 노력 설정(effort tier)을 어떻게 두느냐에 따라 같은 모델이 11점씩 움직였고요. 그리고 가장 불편한 대목 하나. 같은 테스트에서 Meta의 Muse Spark와 DeepSeek V4 Pro가 3번 문제에 똑같은 오답을 냈어요.

사람 시험장이었으면 이건 곧바로 조사 대상이에요. 두 답안이 같은 방식으로 틀렸다는 건 독립적으로 푼 게 아닐 가능성이 높다는 뜻이니까요. 학습 데이터가 겹쳤다는 신호일 수도 있고요. 그런데 벤치마크에는 그 상황을 다룰 절차 자체가 없어요. 그냥 둘 다 ‘오답 1개’로 기록되고 끝이에요.

---

1062년, 고려는 답안지에서 이름을 지웠다

여기서 시간을 한참 뒤로 돌려볼게요.

시험이라는 제도를 이야기할 때 우리는 보통 문제를 떠올려요. 어떤 문제가 나왔고, 얼마나 어려웠고, 누가 맞혔는지요. 그런데 시험 제도의 역사를 보면 진짜 공들여 발전한 부분은 문제가 아니에요. 부정을 막고 결과를 검증하는 절차예요.

대표적인 게 봉미(封彌)예요. 답안지 오른쪽에 적힌 응시자의 신분, 이름, 나이, 본관을 접어서 풀로 붙여버리는 거예요. 채점자가 누가 쓴 답인지 모르게요. 중국 송대에 확립됐고, 고려에서는 1062년 문종 16년에 정유산의 건의로 시행되기 시작했어요. 조선까지 그대로 이어졌고요.

여기서 끝이 아니에요. 이름을 가려도 필체로 알아볼 수 있잖아요. 그래서 답안을 제3자가 통째로 옮겨 적게 하는 역서(易書) 같은 장치까지 붙었어요.

천 년 전 사람들이 이런 걸 왜 만들었을까요. 채점자를 못 믿어서가 아니에요. 시험 결과에 사회적 효력을 부여하려면, 그 결과가 어떻게 만들어졌는지를 나중에 따져볼 수 있어야 했기 때문이에요.

과거 급제는 단순한 점수가 아니었어요. 관직으로 이어지는 자격이었어요. 자격을 주는 순간, 시험은 측정이 아니라 제도가 돼요. 제도가 되는 순간 필요한 건 더 어려운 문제가 아니라 이의 제기 절차, 감독관, 기록 보존, 그리고 결과에 책임지는 주체예요.

재밌는건, 이 방식은 논문을 평가하는 방식에서도 쓰여요. 블라인드 피어 리뷰(Blind Peer Review)라고불리는 방식은 저자의 학교나, 지도교수 등이 배경이 되어 리뷰어에게 압박이 되거나 권위를 부여하지 않도록 가리고 해당 논문을 평가하게 하고 있어요. 그리고, 지금 AI 평가가 딱 그 문턱에 서 있어요.

---

8월 4일 아스타나, AI가 처음으로 감독을 받는다

그런 점에서 다음 주에 시작되는 행사 하나를 저는 꽤 흥미롭게 보고 있어요.

8월 2일부터 8일까지 카자흐스탄 아스타나에서 제3회 국제인공지능올림피아드(IOAI)가 열려요. 그리고 올해 처음으로 IOAI²: AI Model Track이라는 별도 트랙이 생겼어요. AI 시스템이 참가자로 등록해서, 사람 참가자와 분리된 순위표에서 겨루는 트랙이에요. 등록 마감이 바로 내일, 7월 27일이고요.

규정을 읽어보면 재미있는 지점이 여럿 나와요.

• 정해진 시간: 8월 4일과 6일, 각 6시간씩 두 세션. 세션당 3문제.
• 인간 개입 금지: 최초 실행 프롬프트 이후로는 자율 수행.
• 응시 횟수 제한: 과제당 최대 50회 제출.
• 표준 채점 환경: 실행은 참가 조직의 하드웨어에서 하지만, 채점은 표준화된 GPU에서.
• 결과 공개 선택권: 세션 후 24시간 내에 백분위 점수를 비공개로 받고, 48시간 안에 조직명으로 공개할지 익명으로 갈지 결정.
• 검증 조건: 메달을 받으려면 모든 모델 입출력, 툴 호출, 프롬프트가 담긴 실행 트레이스²를 제출해야 해요. 이 기록은 배심원단 외에는 공개되지 않고요.
• 응시료: 조직당 1개 모델은 무료(스폰서는 2개), 추가 모델은 각 2만 5천 유로.

이 목록을 벤치마크와 비교해 보면 차이가 선명해져요.

벤치마크는 언제든, 몇 번이든, 어떤 조건에서든 응시할 수 있어요. 점수만 남고 과정은 남지 않아요. 반면 이 트랙은 응시 시각이 고정돼 있고, 시도 횟수가 제한되고, 결과를 인증받으려면 과정 기록을 제출해야 해요. 그리고 배심원단이 있어요.

봉미가 채점자에게서 응시자의 이름을 가린 장치였다면, 실행 트레이스 제출은 배심원에게 응시 과정을 열어 보이는 장치예요. 방향은 반대지만 목적은 같아요. 결과를 사후에 검증 가능하게 만드는 것.

응시료 2만 5천 유로도 그냥 수익 모델로만 볼 게 아니에요. 응시료가 있다는 건 응시 행위에 비용과 책임이 붙는다는 뜻이에요. 무료로 무한히 돌릴 수 있는 평가와, 돈을 내고 등록해서 정해진 날에 치르는 평가는 참가자의 행동을 다르게 만들어요.

---

벤치마크가 무너지고 있다는 증거들

“그래도 벤치마크로 충분하지 않나요?”라고 물으실 수 있어요. 최근 몇 년 데이터를 보면 그렇지 않아요.

첫째, 포화(saturation)³예요. GPQA Diamond는 2023년 말 39%에서 2026년 초 94%로 올라왔어요. 2년 남짓 만에 쓸 수 있는 구간을 다 써버린 셈이에요. AIME 2025도 상위권 모델들이 80대 후반에서 90대 중반에 몰려 있어요. 이렇게 되면 점수 차이가 실력 차이를 뜻하지 않게 돼요. GPQA Diamond는 문항이 198개인데, 이 규모에서 95% 신뢰구간은 대략 ±3점이에요. 3점 차이로 순위를 매기는 마케팅 문구 대부분이 통계적으로 의미가 없다는 뜻이에요.

둘째, 오염(contamination)⁴이에요. Scale AI가 GSM8K와 난이도를 맞춘 새 문제 세트 GSM1k를 만들어 같은 모델들을 다시 테스트했더니, 일부 모델은 최대 13점이 떨어졌어요. 그리고 그 하락 폭은 해당 모델이 GSM8K 문제를 통째로 뱉어내는 빈도와 상관관계가 있었어요. 배운 게 아니라 외운 거였다는 이야기예요.

셋째, 심판 문제예요. LLM을 채점자로 쓰면 답이 길수록 점수가 15~30점 높아지는 편향이 관찰돼요. 보기 순서에 따라 선호가 달라지는 편향도 있고요. 이건 무작위 잡음이 아니라 방향성이 있는 편향이라, 최적화 압력이 걸리면 그쪽으로 쏠려요.

이걸 다 합치면 결론은 하나예요. 리더보드 숫자는 결과가 아니라 가설이에요.

---

오스왈드의 시선

저는 이 문제를 조금 다른 각도에서 봐요. 평가 방법론의 문제가 아니라 구매 결정의 문제라고요.

GTM 전략을 짜면서 수없이 봐온 장면이 있어요. 벤더가 벤치마크 점수를 들고 옵니다. 담당자는 그 숫자를 품의서에 옮겨 적어요. 그런데 두 달 뒤 실무에서 성능이 안 나오면, 그 숫자를 근거로 아무도 책임을 물을 수 없어요. 애초에 그 점수가 어떤 조건에서 나왔는지 아무도 모르거든요. 저는 이 상황을 여러 번 봤고, 매번 같은 결론에 도달했어요. 벤치마크 점수는 조달 근거가 아니라 마케팅 자산이라고요.

기업이 AI를 도입할 때 실제로 필요한 건 “우리 모델이 94점”이 아니에요. “이 조건에서, 이 시각에, 이런 과정을 거쳐 이 결과가 나왔고, 그 기록이 남아 있다”예요. 회계 감사를 생각해 보면 쉬워요. 우리는 기업의 실적 발표를 그냥 믿지 않아요. 감사인이 있고, 감사 조서가 있고, 나중에 들여다볼 수 있는 기록이 있어서 믿는 거예요.

AI 성능 주장에는 아직 그 인프라가 없어요. IOAI² 같은 시도가 흥미로운 이유가 여기 있어요. 이건 더 어려운 문제를 내겠다는 시도가 아니라, 점수에 감사 가능성을 붙이겠다는 시도예요. 저는 그 방향이 지금 시점에 훨씬 중요하다고 봐요.

물론 첫 회부터 잘될 거라고 생각하진 않아요. 자체 하드웨어에서 실행하고 채점만 표준 환경에서 한다는 구조는 빈틈이 있어요. 시도 50회를 허용한다는 건 최고 성적만 뽑아 올릴 여지를 남긴다는 뜻이고요. 2만 5천 유로라는 응시료는 자원이 많은 조직에 유리하게 작동해요. 그래도 방향은 맞다고 봐요. 제도는 원래 허술하게 시작해서 구멍을 메우며 자라니까요. 봉미도 처음엔 이름만 가렸다가, 나중에 필체까지 가리게 됐잖아요.

---

마치며

정리하면 이래요.

1. IMO 2026에서 인간은 666명 중 7명이 만점이었고, AI는 여섯 시스템이 만점을 주장했어요. 그중 공식 채점 경로를 밟은 건 둘이에요.
2. 벤치마크는 포화, 오염, 심판 편향이라는 세 가지 이유로 이미 변별력을 잃어가고 있어요.
3. 다음 단계는 더 어려운 문제가 아니라, 응시 조건과 검증 절차를 갖춘 시험 제도예요. 8월 아스타나에서 그 첫 실험이 시작돼요.

읽고 나서 하나만 시험해 보시길 권해요. 다음에 누군가 AI 성능 숫자를 들고 오면, 점수를 묻지 말고 이렇게 물어보세요. “그 점수, 누가 언제 어떤 조건에서 채점했고 기록은 남아 있나요?” 대답이 막히는 경우가 생각보다 많을 거예요.

혹시 실무에서 AI 도구를 도입하면서 벤치마크 점수와 실제 성능이 어긋난 경험이 있으셨다면, 어느 지점에서 가장 크게 어긋났는지 댓글로 들려주세요. 사례가 모이면 다음 호에서 “실무자를 위한 AI 성능 검증 질문 리스트”로 정리해 볼게요.

---

💬 벤치마크와 현실이 어긋났던 순간을 댓글로 들려주세요 · 📨 AI 도입을 검토 중인 동료가 있다면 이 글을 전달해 주세요

---

참고자료 & 더 읽기

핵심 출처

• IOAI, “AI Model Track: Rules and Competition Format,” International Olympiad in Artificial Intelligence 2026. 링크 ··· 실행 트레이스 제출과 검증 점수 조항이 오늘 글의 핵심 근거예요. 규정 원문을 직접 보시면 ‘시험’과 ‘벤치마크’의 설계 차이가 훨씬 선명해져요.
• Axiom Math, “AxiomProver at IMO 2026,” GitHub, 2026. 링크 ··· 6문제의 Lean 4 형식 증명 전문이 공개돼 있어요. 기계 검증이 가능한 증명이 어떤 모양인지 궁금하시면 3번 문제 파일을 열어보세요.
• Digital Applied, “Four AIs Scored a Perfect 42/42 on IMO 2026. So What?”, 2026. 링크 ··· 모델별 비용·시간·재시도 횟수와 채점 주체의 차이를 표로 정리한 글이에요. 언론 보도가 뭉뚱그린 부분을 구분해서 볼 수 있어요.
• Acing AI, “The LLM Evaluation Crisis: Contamination, Saturation, and the Judge Problem,” 2026. 링크 ··· GPQA Diamond 신뢰구간과 GSM1k 재현 실험 수치가 여기서 나왔어요. 벤치마크를 다루는 분이라면 통계 파트만이라도 읽어보시길 권해요.
• AFP, “AI catches up with humans to score 100% at top maths contest,” 2026년 7월 23일. 링크 ··· 화웨이·샤오홍슈 발표를 다룬 통신사 보도예요. 기업 발표를 언론이 어떻게 옮기는지 관찰하기 좋은 사례이기도 해요.

배경 지식

• 「봉미(封彌)」, 조선왕조실록 전문사전, 한국학중앙연구원. ··· 1062년 고려 문종 대 도입 경위가 정리돼 있어요. 시험 제도의 핵심이 문제가 아니라 절차였다는 걸 확인하기 좋아요.
• 「중국의 과거제」, 위키백과. 링크 ··· 송대 과거 개혁의 전체 맥락을 빠르게 훑기에 적당해요.

---

📝 용어 설명

필자 안광섭은 세종대학교 경영학과 교수이자 OBF(Oswarld Boutique Consulting Firm) 리드 컨설턴트이다. 대학에서 경영데이터 관리, 비즈니스 애널리틱스 등 통계 및 데이터 분석을 가르치는 한편, 현장에서는 GTM 전략과 인공지능 전략 컨설팅을 이끌며 기술과 비즈니스의 접점을 설계하고 있다. AI 대화 시스템의 기억 아키텍처(HEMA) 연구로 학술 논문을 발표했으며, 매일 글로벌 AI 논문을 큐레이션하는 Daily Arxiv 프로젝트를 운영하고 있다. 고려대학교 기술경영전문대 석사과정와 KMBA을 졸업했다. 지은 책으로 《생각을 맡기는 사람들: 호모 브레인리스》가 있다.

각주

1. Lean 4: 수학 증명을 컴퓨터가 한 줄씩 검사할 수 있는 형태로 적는 프로그래밍 언어예요. 사람이 읽고 “맞는 것 같다”고 판단하는 대신, 기계가 논리적 빈틈을 자동으로 잡아내요. ↩

2. 실행 트레이스 (execution trace): AI가 문제를 푸는 동안 주고받은 모든 입력, 출력, 도구 호출, 프롬프트를 시간순으로 남긴 기록이에요. 시험으로 치면 답안지가 아니라 CCTV 영상에 가까워요. ↩

3. 포화 (saturation): 모델 성능이 올라가면서 평가 문제가 너무 쉬워져, 상위권이 모두 만점 근처에 몰리는 현상이에요. 이 상태가 되면 점수 차이로 실력을 구분할 수 없게 돼요. ↩

4. 오염 (contamination): 평가에 쓰일 문제가 모델의 학습 데이터에 이미 들어가 있는 상황이에요. 시험 문제를 미리 보고 들어간 것과 같아서, 점수가 실력이 아니라 암기를 반영하게 돼요. ↩