Qwen3.8 Max 벤치마크 점수는 올랐는데 비용은 왜 2배인가

Qwen3.8 Max 가 Artificial Analysis Intelligence Index 에서 발표 당시 보도 기준으로 56점을 받아 Claude Opus 4.8 과 같은 자리에 올랐습니다. 백만 토큰당 입력 단가는 2.50달러에서 2.00달러로, 출력은 7.50달러에서 6.00달러로 내려갔습니다. 그런데 같은 지수를 한 번 돌리는 데 드는 비용은 과제당 0.53달러에서 1.14달러로 두 배 넘게 늘었습니다. 단가가 20% 내렸는데 총비용이 두 배가 된 이 구조가 이 글에서 다룰 내용입니다.

지수 56점과 58점이 같이 돌아다니는 이유

Artificial Analysis Intelligence Index 는 단일 시험 점수가 아닙니다. 아홉 개 평가를 묶은 종합값입니다. GDPval-AA v2, tau3-Banking, Terminal-Bench v2.1, SciCode, Humanity's Last Exam, GPQA Diamond, CritPt, AA-Omniscience, AA-LCR 이 들어갑니다. 업무형 과제와 도구 호출, 코딩, 지식, 긴 문맥 처리를 한 숫자로 압축한 값이라고 보면 됩니다.

발표 당시 보도는 Qwen3.8 Max 를 56점으로, 이전 버전 Qwen3.7 Max 를 46점으로 적었습니다. 지금 Artificial Analysis 의 Qwen3.8 Max 모델 페이지에는 58점으로 표시되는데, 발표 이후 집계가 갱신된 것으로 보입니다. 아래 비교는 보도 시점과 맞물리는 56점 기준으로 쓰며, 이 기준에서 Qwen3.8 Max 는 Claude Opus 4.8 과 동률입니다.

GDPval-AA 1,739 Elo, 위에 두 모델이 있습니다

업무형 과제를 다루는 GDPval-AA 에서 Qwen3.8 Max 는 1,739 Elo 를 받았습니다. 이전 버전보다 468 Elo 오른 값이라 상승폭 자체는 큽니다. Kimi K3 는 1,685 로 아래에 있습니다.

다만 이 평가에서 Qwen3.8 Max 위에 있는 모델은 하나가 아닙니다.

• Claude Opus 5 max: 1,852
• Claude Fable 5: 1,743
• Qwen3.8 Max: 1,739
• GPT-5.6 Sol max: 1,730
• Kimi K3: 1,685

"Claude Opus 5 만 앞섰다" 는 요약은 표를 잘못 읽은 것입니다. Fable 5 도 위에 있습니다. 반대로 1,739 와 1,743 의 간격은 4 Elo 라, 순위표에서 줄은 세울 수 있어도 실제 업무에서 갈릴 만한 차이인지는 다른 문제입니다. Opus 5 max 와의 113 Elo 격차와 같은 무게로 다루면 안 됩니다.

이 구간의 모델들은 점수만 놓고 보면 사실상 한 덩어리입니다. 그러면 다른 축으로 나눠야 하는데, 에이전트로 굴리는 입장에서 그 축은 대개 토큰입니다.

턴이 14에서 64로, 입력 토큰은 15배로

같은 GDPval-AA 에서 Qwen3.8 Max 의 과제당 평균 턴 수는 64 입니다. Qwen3.7 Max 는 14 였습니다. 한 과제를 끝내는 데 네 배 넘는 왕복을 씁니다.

• 과제당 평균 턴: 14 에서 64
• 입력 토큰: 약 15배
• 출력 토큰: 45% 증가, 총 1억 4,500만

출력은 45% 늘었는데 입력이 15배 늘어난 비대칭이 눈에 띕니다. 턴이 늘어날 때 입력이 훨씬 가파르게 붇기 때문입니다. 에이전트 루프는 매 턴 이전 대화 전체를 다시 실어 보냅니다. 턴이 4.5배가 되면 재전송되는 누적 문맥은 그보다 훨씬 크게 불어납니다. 출력은 그 턴에 새로 쓴 글자만 세니 증가폭이 완만합니다.

같은 시기 가격은 이렇게 바뀌었습니다.

• 입력: 2.50달러에서 2.00달러 (20% 인하)
• 출력: 7.50달러에서 6.00달러 (20% 인하)
• 캐시 적중: 0.50달러에서 0.25달러 (50% 인하)

산수를 그대로 해보면 됩니다. 입력 단가는 0.8배가 됐는데 입력량이 15배가 됐으니, 입력 쪽 비용만 12배입니다. 출력은 0.8배 단가에 1.45배 물량이라 1.16배 정도입니다. 둘을 합친 결과가 과제당 0.53달러에서 1.14달러입니다. 캐시 단가가 절반으로 내려간 것이 그나마 이 증가폭을 눌러 준 부분입니다.

여기서 얻을 교훈은 Qwen 에 국한되지 않습니다. 단가표는 청구서의 절반짜리 정보입니다. 나머지 절반인 호출량은 모델이 결정하고, 모델이 바뀌면 같이 바뀝니다.

종합 지수와 개별 평가가 갈릴 때

Kimi K3 를 옆에 놓으면 두 지표가 반대 방향을 가리킵니다. 종합 지수는 Kimi K3 가 57점으로 Qwen3.8 Max 의 56점보다 1점 위입니다. 반면 GDPval-AA 에서는 Qwen3.8 Max 가 1,739, Kimi K3 가 1,685 로 순서가 뒤집힙니다. the-decoder 의 정리는 여기에 비용을 얹어, Kimi K3 가 과제당 0.86달러로 Qwen3.8 Max 의 1.14달러보다 25% 싸면서 종합 점수는 더 높다고 짚습니다.

둘 중 하나가 틀린 게 아닙니다. 재는 대상이 다를 뿐입니다. 업무형 과제 위주로 에이전트를 돌린다면 GDPval-AA 쪽이 내 워크로드에 가깝고, 지식 질의나 긴 문맥이 섞이면 종합 지수 쪽이 더 설명력이 있습니다. 종합 지수 한 줄만 보고 모델을 고르면 정작 내가 쓰는 구간의 성능을 못 보게 됩니다.

지수 안에서 방향이 엇갈린 항목도 있습니다. 같은 보도에 따르면 AA-Omniscience 에서 정답률은 31% 부근을 유지했는데 환각률은 23%에서 40%로 올랐습니다. 종합 점수가 10점 오르는 동안 모르는 것을 모른다고 말하는 능력은 나빠진 셈입니다. 사람이 검수하지 않는 자동화 파이프라인에 붙일 모델이라면 이 항목이 종합 점수보다 중요할 수 있습니다.

에이전트 비용은 이렇게 가늠합니다

실무에서 쓸 수 있게 정리하면 이렇습니다.

• 단가표가 아니라 과제당 비용으로 비교
• 모델 교체 전후로 과제당 평균 턴 수 측정
• 입력과 출력을 나눠서 집계
• 캐시 적중률을 별도 지표로 관리

과제당 턴 수는 대시보드에 잘 안 올라오는 값이라 직접 세야 합니다. 실제 워크로드를 열 건에서 스무 건 정도 골라 놓고 모델만 갈아 끼워 돌려 보는 편이 빠릅니다. 이때 토큰 로그를 받아 줄 작은 수집 엔드포인트가 하나 있으면 편한데, FastAPI로 만드는 간단한 Todo List 앱 수준의 서버로 충분합니다. 요청마다 모델명, 입력 토큰, 출력 토큰, 캐시 적중 토큰, 턴 번호를 한 줄씩 쌓아 두면 월말에 청구서와 대조할 수 있습니다.

캐시는 따로 볼 값어치가 있습니다. 캐시 적중 단가가 0.25달러면 입력 정가의 8분의 1입니다. 턴이 64회까지 늘어나는 워크로드에서는 프롬프트 앞부분을 얼마나 안정적으로 유지하느냐가 청구서를 크게 흔듭니다. 도구 목록이나 시스템 프롬프트를 요청마다 조금씩 바꾸면 적중률이 떨어지는데, 이건 지표를 보기 전에는 눈치채기 어렵습니다.

겉에 드러난 숫자와 실제 원인이 어긋나는 상황은 인프라 쪽에서도 익숙합니다. Pod 가 갑자기 안 뜨는데 인증서 만료가 원인이던 사례처럼, 보이는 증상과 청구서에 찍히는 항목이 다른 층에서 만들어질 때가 많습니다. 그래서 모델을 바꾸는 작업은 Vault Raft 장애 복구를 리허설하듯 다뤄야 합니다. 벤치마크 표를 읽고 결정하는 게 아니라, 내 과제 셋으로 한 번 돌려 보고 토큰 로그를 확인한 다음 결정하는 순서입니다.

단가표 대신 확인할 숫자

긴 에이전트 루프를 돌린다면 단가 20% 인하는 체감되지 않습니다. 턴 수가 14에서 64로 늘면서 입력 토큰이 약 15배가 됐고, 과제당 비용은 0.53달러에서 1.14달러로 올랐습니다. 짧은 단발 호출 위주라면 인하분이 그대로 남습니다.

점수로 고르기는 애매합니다. 종합 지수는 보도 56점과 모델 페이지 58점이 갈리고 Kimi K3가 1점 위인데, GDPval-AA는 Qwen이 1,739 Elo로 앞서고 Fable 5와는 4 Elo 차입니다. 점수는 발표 뒤에도 갱신되니, 시점을 못 박지 않은 숫자는 비교 근거로 삼기 어렵습니다.