Qwen3.8 Max 벤치마크 점수는 올랐는데 비용은 왜 2배인가

Qwen3.8 Max 가 Artificial Analysis Intelligence Index 에서 발표 시점 보도 기준 56점을 받아 Claude Opus 4.8 과 같은 자리에 올랐습니다. 백만 토큰당 입력 단가는 2.50달러에서 2.00달러로, 출력은 7.50달러에서 6.00달러로 내려갔습니다. 그런데 같은 지수를 한 번 돌리는 데 드는 비용은 과제당 0.53달러에서 1.14달러로 두 배 넘게 늘었습니다. 단가가 20% 내렸는데 총비용이 두 배가 된 이 구조가 이 글에서 다룰 내용입니다.

지수 56점과 58점이 같이 돌아다니는 이유

Artificial Analysis Intelligence Index 는 단일 시험 점수가 아닙니다. 아홉 개 평가를 묶은 종합값입니다. GDPval-AA v2, tau3-Banking, Terminal-Bench v2.1, SciCode, Humanity's Last Exam, GPQA Diamond, CritPt, AA-Omniscience, AA-LCR 이 들어갑니다. 업무형 과제와 도구 호출, 코딩, 지식, 긴 문맥 처리를 한 숫자로 압축한 값이라고 보면 됩니다.

발표 당시 보도는 Qwen3.8 Max 를 56점으로 적었습니다. 이전 버전인 Qwen3.7 Max 가 46점이었으니 10점이 오른 셈입니다. 그런데 지금 Artificial Analysis 의 Qwen3.8 Max 모델 페이지를 열어 보면 58점으로 표시됩니다. 발표 이후 집계가 갱신된 것으로 보입니다.

어느 쪽이 맞다고 단정할 근거는 없으니 두 숫자를 같이 적어 둡니다. 종합 지수를 인용할 때 "언제 기준" 이 빠지면 두 사람이 같은 모델을 놓고 다른 숫자를 말하게 됩니다. 아래 비교는 보도 시점과 맞물리는 56점 기준으로 씁니다. 이 기준에서 Qwen3.8 Max 는 Claude Opus 4.8 과 동률입니다.

GDPval-AA 1,739 Elo, 위에 두 모델이 있습니다

업무형 과제를 다루는 GDPval-AA 에서 Qwen3.8 Max 는 1,739 Elo 를 받았습니다. 이전 버전보다 468 Elo 오른 값이라 상승폭 자체는 큽니다. Kimi K3 는 1,685 로 아래에 있습니다.

다만 이 평가에서 Qwen3.8 Max 위에 있는 모델은 하나가 아닙니다.

• Claude Opus 5 max: 1,852
• Claude Fable 5: 1,743
• Qwen3.8 Max: 1,739
• GPT-5.6 Sol max: 1,730
• Kimi K3: 1,685

"Claude Opus 5 만 앞섰다" 는 요약은 표를 잘못 읽은 것입니다. Fable 5 도 위에 있습니다. 반대로 1,739 와 1,743 의 간격은 4 Elo 라, 순위표에서 줄은 세울 수 있어도 실제 업무에서 갈릴 만한 차이인지는 다른 문제입니다. Opus 5 max 와의 113 Elo 격차와 같은 무게로 다루면 안 됩니다.

이 구간의 모델들은 점수만 놓고 보면 사실상 한 덩어리입니다. 그러면 다른 축으로 갈라야 하는데, 에이전트로 굴리는 입장에서 그 축은 대개 토큰입니다.

턴이 14에서 64로, 입력 토큰은 15배로

같은 GDPval-AA 에서 Qwen3.8 Max 의 과제당 평균 턴 수는 64 입니다. Qwen3.7 Max 는 14 였습니다. 한 과제를 끝내는 데 네 배 넘는 왕복을 씁니다.

• 과제당 평균 턴: 14 에서 64
• 입력 토큰: 약 15배
• 출력 토큰: 45% 증가, 총 1억 4,500만

출력은 45% 늘었는데 입력이 15배 늘어난 비대칭이 눈에 띕니다. 턴이 늘어날 때 입력이 훨씬 가파르게 붇기 때문입니다. 에이전트 루프는 매 턴 이전 대화 전체를 다시 실어 보냅니다. 턴이 4.5배가 되면 재전송되는 누적 문맥은 그보다 훨씬 크게 불어납니다. 출력은 그 턴에 새로 쓴 글자만 세니 증가폭이 완만합니다.

같은 시기 가격은 이렇게 바뀌었습니다.

• 입력: 2.50달러에서 2.00달러 (20% 인하)
• 출력: 7.50달러에서 6.00달러 (20% 인하)
• 캐시 적중: 0.50달러에서 0.25달러 (50% 인하)

산수를 그대로 해보면 됩니다. 입력 단가는 0.8배가 됐는데 입력량이 15배가 됐으니, 입력 쪽 비용만 12배입니다. 출력은 0.8배 단가에 1.45배 물량이라 1.16배 정도입니다. 둘을 합친 결과가 과제당 0.53달러에서 1.14달러입니다. 캐시 단가가 절반으로 내려간 것이 그나마 이 증가폭을 눌러 준 부분입니다.

여기서 얻을 교훈은 Qwen 에 국한되지 않습니다. 단가표는 청구서의 절반짜리 정보입니다. 나머지 절반인 호출량은 모델이 결정하고, 모델이 바뀌면 같이 바뀝니다.

종합 지수와 개별 평가가 갈릴 때

Kimi K3 를 옆에 놓으면 두 지표가 반대 방향을 가리킵니다. 종합 지수는 Kimi K3 가 57점으로 Qwen3.8 Max 의 56점보다 1점 위입니다. 반면 GDPval-AA 에서는 Qwen3.8 Max 가 1,739, Kimi K3 가 1,685 로 순서가 뒤집힙니다. the-decoder 의 정리는 여기에 비용을 얹어, Kimi K3 가 과제당 0.86달러로 Qwen3.8 Max 의 1.14달러보다 25% 싸면서 종합 점수는 더 높다고 짚습니다.

둘 중 하나가 틀린 게 아닙니다. 재는 대상이 다를 뿐입니다. 업무형 과제 위주로 에이전트를 돌린다면 GDPval-AA 쪽이 내 워크로드에 가깝고, 지식 질의나 긴 문맥이 섞이면 종합 지수 쪽이 더 설명력이 있습니다. 종합 지수 한 줄만 보고 모델을 고르면 정작 내가 쓰는 구간의 성능을 못 보게 됩니다.

지수 안에서 방향이 엇갈린 항목도 있습니다. 같은 보도에 따르면 AA-Omniscience 에서 정답률은 31% 부근을 유지했는데 환각률은 23%에서 40%로 올랐습니다. 종합 점수가 10점 오르는 동안 모르는 것을 모른다고 말하는 능력은 나빠진 셈입니다. 사람이 검수하지 않는 자동화 파이프라인에 붙일 모델이라면 이 항목이 종합 점수보다 중요할 수 있습니다.

에이전트 비용은 이렇게 가늠합니다

실무에서 쓸 수 있게 정리하면 이렇습니다.

• 단가표가 아니라 과제당 비용으로 비교
• 모델 교체 전후로 과제당 평균 턴 수 측정
• 입력과 출력을 나눠서 집계
• 캐시 적중률을 별도 지표로 관리

과제당 턴 수는 대시보드에 잘 안 올라오는 값이라 직접 세야 합니다. 실제 워크로드를 열 건에서 스무 건 정도 골라 놓고 모델만 갈아 끼워 돌려 보는 편이 빠릅니다. 이때 토큰 로그를 받아 줄 작은 수집 엔드포인트가 하나 있으면 편한데, FastAPI로 만드는 간단한 Todo List 앱 수준의 서버로 충분합니다. 요청마다 모델명, 입력 토큰, 출력 토큰, 캐시 적중 토큰, 턴 번호를 한 줄씩 쌓아 두면 월말에 청구서와 대조할 수 있습니다.

캐시는 따로 볼 값어치가 있습니다. 캐시 적중 단가가 0.25달러면 입력 정가의 8분의 1입니다. 턴이 64회까지 늘어나는 워크로드에서는 프롬프트 앞부분을 얼마나 안정적으로 유지하느냐가 청구서를 크게 흔듭니다. 도구 목록이나 시스템 프롬프트를 요청마다 조금씩 바꾸면 적중률이 떨어지는데, 이건 지표를 보기 전에는 눈치채기 어렵습니다.

겉에 드러난 숫자와 실제 원인이 어긋나는 상황은 인프라 쪽에서도 익숙합니다. Pod 가 갑자기 안 뜨는데 인증서 만료가 원인이던 사례처럼, 보이는 증상과 청구서에 찍히는 항목이 다른 층에서 만들어질 때가 많습니다. 그래서 모델을 바꾸는 작업은 Vault Raft 장애 복구를 리허설하듯 다뤄야 합니다. 벤치마크 표를 읽고 결정하는 게 아니라, 내 과제 셋으로 한 번 돌려 보고 토큰 로그를 확인한 다음 결정하는 순서입니다.

정리

• 종합 지수: 발표 시점 보도 56점, 현재 모델 페이지 58점. 인용할 때 시점을 함께
• GDPval-AA 1,739 Elo 위로 Claude Opus 5 max(1,852)와 Claude Fable 5(1,743). Fable 5 와는 4 Elo 차
• 단가 20% 인하, 그런데 턴 수 14 → 64 에 입력 토큰 약 15배. 과제당 0.53달러 → 1.14달러
• 종합 지수는 Kimi K3 가 1점 위, GDPval-AA 는 Qwen 이 위. 지표가 갈리니 내 워크로드에 가까운 쪽으로
• 비교 기준은 단가표가 아니라 과제당 비용. 턴 수와 캐시 적중률은 직접 재 보는 편이 안전합니다.