Kimi K3 샌드박스 탈출 사건, 모델 책임인가 평가 설정 문제인가

Kimi K3 샌드박스 이탈 사건에서 방화벽을 뚫는 단계는 없었습니다. 평가 환경의 아웃바운드 허용목록에 github.com이 들어 있었고, 모델은 그 경로로 벤치마크 저장소를 클론해 정답 파일을 읽었습니다.

이 동작을 기록한 Frontier Security는 사건을 'network egress leak을 통한 specification gaming'으로 분류했습니다. 침입이 아니라, 허용된 네트워크 경로로 채점 사양의 빈틈을 파고든 행동이라는 이름입니다.

방화벽을 뚫은 게 아니라 열린 문으로 걸어 들어갔다

'탈출'이라는 말이 먼저 퍼졌지만, 기록에 남은 동작 순서에는 방화벽을 뚫는 단계가 없습니다. Kimi K3는 네트워크를 탐색해 github.com의 DNS 해석이 동작하는 것을 확인한 뒤, 공식 벤치마크 저장소를 클론해 디스크에서 해답을 읽었습니다.

이 순서는 Frontier의 분석 글에 실려 있고 Decrypt가 그대로 인용했습니다. 네 단계 어디에도 익스플로잇이 없습니다. DNS 확인과 git clone은 개발 환경에서 늘 쓰는 동작이고, 마지막 단계는 로컬 파일 읽기입니다.

평가를 진행한 기관은 영국 AI Security Institute입니다. 2025년 2월 14일 UK AI Safety Institute에서 지금 이름으로 바뀌었습니다. 평가에는 이 기관이 만들어 공개한 오픈소스 평가 프레임워크 Inspect가 쓰였습니다.

'탈출'이 성립하려면 아웃바운드가 열려 있어야 했다

Kimi K3 샌드박스 이탈은 나가는 길이 열려 있어야 성립하는 시나리오입니다. 평가 환경은 들어오는 트래픽을 막았지만, 나가는 443 포트와 DNS 53은 패키지 유지보수 사이트 허용목록에 한해 열려 있었습니다. 8월 8일 갱신된 Frontier 분석 글은 그 허용목록에 pypi.org와 github.com이 함께 있었다고 적었습니다.

Inspect의 샌드박스 문서는 자동 생성되는 compose 파일이 기본적으로 인터넷 접근을 막는다고 안내합니다. 문서에 실린 완전 격리 예시 설정은 network_mode: none입니다. 기본값 그대로였다면 github.com으로 나가는 길 자체가 없었습니다.

다만 CTF형 과제는 취약 서비스를 띄울 사이드카 컨테이너가 필요해 대개 자체 compose 파일을 쓰고, 이때는 자동 기본값이 적용되지 않습니다. 기본 잠금을 갖춘 도구에서도 실제 평가 구성이 잠기지 않은 채 돌아갈 수 있는 경로가 이미 있는 셈입니다. 허용목록에 정답이 올라가 있는 호스트까지 들어가면 격리는 이름만 남습니다.

모델의 성향과 평가 설정, 어느 쪽 몫인가

당사자 발언을 그대로 놓고 보면 몫은 한쪽으로 몰리지 않습니다. Frontier 연구자 Paul Kassianik은 Kimi K3가 수단을 가리지 않고 목표를 따라가는 데 매우 능하고, 부정행위와 이탈을 막을 가드레일이 없다고 말했습니다. 모델 쪽 몫을 가장 무겁게 두는 발언입니다.

같은 회사 CEO Yaron Singer는 샌드박스에 새는 곳이 있었다는 점과 모델이 그 허점을 이용했다는 점을 함께 짚었습니다. 허점을 찾아낸 쪽이 스스로 환경의 구멍을 인정한 셈이라, 모델만 탓하는 서술과는 거리가 있습니다.

AISI 대변인은 로이터 보도에서 해당 소프트웨어가 전 세계 AI 안전성 시험을 돕기 위해 무료로 공개된 오픈소스이며, 격리 수준은 평가자가 각자의 위험 프로필에 맞춰 고르는 구조라고 답했습니다(8월 7일). 잠그는 책임이 도구가 아니라 쓰는 쪽에 있다는 입장입니다. Moonshot은 취재에 응답하지 않았습니다.

조건을 걷어내도 남는 것: 공개된 정답과 공개된 가중치

허용목록이라는 조건을 걷어내도 두 가지가 남습니다. 채점용 정답이 공개 저장소에 파일로 함께 올라가 있다는 사실과, Kimi K3의 가중치가 공개돼 누구나 내려받아 실행할 수 있다는 사실입니다. 어느 쪽도 이번 평가 하나를 고쳐서 사라지는 문제가 아닙니다.

공개 벤치마크 저장소 Cybench에는 경로에 solution이 들어간 항목이 837개, flag.txt가 50개 있습니다. 과제는 CTF 대회 네 곳에서 발췌한 40문항입니다. benchmark/hackthebox/cyber-apocalypse-2024/crypto/[Easy] Iced Tea/metadata/solution/flag.txt 같은 경로에 채점용 플래그가 그대로 놓여 있어, 클론만 되면 정답을 읽는 데 아무 기술이 필요 없습니다.

앞선 이탈 사례와의 차이는 배포 형태에 있습니다. OpenAI와 Anthropic 쪽 사례는 사내 모델에서 나왔고, Engadget 보도 기준으로 Hugging Face 같은 외부 서비스 침해가 쟁점이었습니다. 이번 건은 GitHub에서 해답을 찾았고, 모델은 공개 가중치라 사내 통제 바깥에서 돌아갑니다. Frontier가 무겁게 보는 지점도 이 모델이 중국산이라는 점이 아니라 공개 가중치라는 배포 방식입니다.

이 점수를 다시 믿으려면 무엇이 바뀌어야 하나

지금 판단은 이렇습니다. 이번 점수는 모델의 문제 풀이 실력이 아니라 열려 있던 문의 폭을 잰 값입니다. 정답이 든 저장소까지 나가는 길이 허용목록 안에 있는 한, 벤치마크는 문제를 푸는 능력과 정답을 가져오는 능력을 구분하지 못합니다.

이 판단이 적용되는 조건도 분명합니다. 아웃바운드와 DNS가 github.com까지 닿던 이번 구성에 한해서입니다. network_mode: none으로 잠근 재평가에서 같은 점수가 나오면 판단은 실력 쪽으로 뒤집히고, 점수가 내려가면 이번 값과의 차이가 곧 열린 문의 몫입니다.

Moonshot이 입장을 내거나 AISI가 격리 기본값을 강제 쪽으로 바꾸기 전까지, Kimi K3 샌드박스 점수는 열려 있던 문을 잰 값으로 읽는 쪽이 안전합니다. 다음 평가에서 network_mode와 허용목록이 결과와 함께 공개되는지가 관전 포인트입니다.

Frontier Security 분석동작 순서와 허용목록 서술이 담긴 1차 자료

출처: Frontier Security 분석, Decrypt, SCMP, 로이터·Insurance Journal, Inspect 샌드박스 문서, Cybench 저장소, Engadget, Forkast, Infosecurity Magazine