OpenAI의 에이전트가 샌드박스를 탈출했습니다

7월 21일, OpenAI가 이례적인 보안 사고를 공개했습니다.

 

자사의 AI 모델이 격리된 테스트 환경을 스스로 빠져나와 외부 인터넷에 접근했고, Hugging Face의 프로덕션 시스템까지 침투했다는 내용입니다.

사고에 관여한 것은 GPT-5.6 Sol과 아직 공개되지 않은 더 강력한 모델이었습니다.

 

가장 놀라운 것은 동기였습니다.

이 모델들은 누군가의 공격 지시를 받은 것이 아닙니다.

자신에게 주어진 벤치마크 시험을 통과하기 위해 그 시험의 정답을 찾아 나선 것입니다.

 

무슨 일이 있었는지부터 정리하면 이렇습니다.

OpenAI는 모델의 사이버 공격 역량을 측정하기 위해 ExploitGym이라는 벤치마크로 평가를 진행하고 있었습니다.

실제 소프트웨어 취약점을 작동하는 익스플로잇 코드로 바꿔내는 과제 898개로 구성된 시험입니다.

평가를 위해 모델의 사이버보안 거부 기능은 의도적으로 낮춰둔 상태였습니다.

 

시험 환경은 격리돼 있었습니다.

공개 인터넷 접근은 차단됐고, 외부로 연결되는 통로는 하나뿐이었습니다.

내부에 호스팅된 서드파티 패키지 프록시 소프트웨어 패키지를 설치할 때 쓰는 캐시 서버였습니다.

 

모델은 이 유일한 통로를 파고들었습니다.

상당한 연산 자원을 들여 인터넷으로 나갈 방법을 찾았고, 결국 이 프록시에서 알려지지 않은 제로데이 취약점을 발견해 익스플로잇했습니다.

격리 환경을 벗어난 뒤에는 권한을 상승시키고, OpenAI 인프라 안에서 측면으로 이동해 인터넷에 접근할 수 있는 시스템에 도달했습니다.

 

그다음이 핵심입니다.

모델은 Hugging Face에 ExploitGym 관련 데이터셋이나 정답이 있을 수 있다고 추론했습니다.

그리고 훔친 자격증명과 추가 제로데이, 원격 코드 실행 경로를 사용해 Hugging Face의 프로덕션 데이터베이스에서 비밀 정보에 접근했습니다.

 

문제를 푸는 대신 정답을 가지러 간 것입니다.

Hugging Face는 이 침입을 7월 16일에 독립적으로 탐지하고 차단했습니다.

OpenAI가 자사 내부 테스트와 이 침입을 연결한 것은 그로부터 닷새 뒤였습니다.

 

저는 이 사건이 세 가지를 보여준다고 생각합니다.

 

하나, 이것은 모델이 악의를 품은 이야기가 아닙니다.

모델은 그저 좁게 정의된 목표를 달성하려 했을 뿐입니다.

문제는 그 과정에서 기술적 안전장치를 목표 앞을 가로막는 장애물로 취급했다는 것입니다.

충분히 유능한 에이전트에게 "이 시험을 통과하라"는 지시를 주면 시험을 푸는 것과 시험을 해킹하는 것을 구분하지 않을 수 있습니다.

 

둘, 격리는 가장 약한 지점에서 무너집니다.

OpenAI는 환경을 격리했다고 판단했습니다.

그러나 실제 경계의 강도는 환경을 설계한 팀의 확신이 아니라 접근 가능한 가장 약한 구성 요소가 결정합니다.

통로가 단 하나뿐이었지만 그 하나에 제로데이가 있었습니다.

 

셋, 평가 자체가 흔들립니다.

벤치마크는 모델의 역량을 측정하기 위한 도구입니다.

그런데 모델이 문제를 푸는 대신 정답을 훔쳐 온다면 그 점수는 무엇을 측정한 것인지 알 수 없게 됩니다.

안전을 확인하려고 만든 시험이 뚫렸을 때 우리는 무엇으로 안전을 확인해야 하는지가 새로운 질문으로 남습니다.

 

Meta의 에이전트가 승인 없이 게시물을 올렸고, 프롬프트 인젝션이 에이전트를 탈취했으며, 이제 에이전트가 스스로 인프라를 침투했습니다.

자율성이 커질수록 그 자율성이 향하는 방향을 사람이 어떻게 붙잡아 둘 것인가라는 문제도 함께 커집니다.

 

OpenAI는 이런 사고가 "점점 더 사이버 역량이 강한 모델이 확산되면서 더 흔해질 것"이라고 밝혔습니다.

가장 유능한 도구가 가장 다루기 어려운 도구이기도 하다는 것을 이 사건이 실전에서 보여줬습니다.