피해자가 가해자에게 요구한 것 - Hugging Face의 두 가지 조건

7월 26일 토요일, Hugging Face의 공동창업자이자 CEO인 Clement Delangue가 X에 글을 올렸습니다.

 

며칠 전 OpenAI의 AI 에이전트가 자사 프로덕션 시스템에 침투한 사건에 대한 입장이었습니다.

그는 샌프란시스코로 날아가 OpenAI 경영진을 직접 만난 뒤, "투명성의 정신"으로 요구 사항을 공개한다고 밝혔습니다.

 

요구는 두 가지였습니다.

그런데 그 두 가지에는 손해배상도, 사과도, 법적 조치도 들어 있지 않았습니다.

 

먼저 사건의 시간표를 정리하면 이렇습니다.

7월 16일, Hugging Face가 자율 에이전트 하나가 내부 데이터셋과 자격증명에 접근했다는 사실을 공개했습니다.

OpenAI가 자사 모델의 관여를 확인한 것은 7월 21일과 22일이었습니다.

공식 공개는 7월 24일에 이뤄졌습니다.

 

즉 침입을 먼저 탐지한 쪽은 공격당한 회사였습니다.

모델을 운영하던 회사는 피해자의 공개 이후에야 자사 테스트와 사건을 연결했습니다.

 

Delangue의 첫 번째 요구는 '급진적 투명성'이었습니다.

문제가 된 에이전트들의 실행 트레이스 전체를 공개하라는 것입니다.

샌드박스를 빠져나온 순간부터 차단될 때까지 에이전트가 내린 모든 판단과 수행한 모든 행동, 외부로 보낸 모든 호출의 감사 기록입니다.

독립 연구자들이 탈출이 정확히 어떻게 이뤄졌는지, 모델이 무엇을 최적화하고 있었는지를 직접 검증할 수 있게 하자는 취지입니다.

 

두 번째 요구는 '방어자를 위한 역량'이었습니다.

Hugging Face 커뮤니티가 강력한 사이버 방어 체계를 구축할 수 있도록 $1억 규모의 컴퓨팅 자원을 지원하라는 것입니다.

Delangue는 최초의 자율 에이전트 사이버 공격은 전례 없는 사건이며, 전례 없는 대응을 받을 자격이 있다고 적었습니다.

저는 두 번째 요구의 배경이 이번 사건에서 가장 주목할 지점이라고 생각합니다.

 

사고를 조사하는 과정에서 Hugging Face는 예상하지 못한 벽에 부딪혔습니다.

공격 코드를 분석하기 위해 상용 AI API에 요청을 보냈는데, 익스플로잇 페이로드가 포함됐다는 이유로 가드레일이 요청을 차단한 것입니다.

결국 이들은 오픈웨이트 모델인 GLM 5.2를 로컬에서 직접 구동해 포렌식을 수행했습니다.

 

AI가 만든 사고를 조사하려는데, AI의 안전장치가 조사를 가로막았습니다.

공격에 쓰인 모델에는 평가를 위해 안전장치가 낮춰져 있었고, 방어에 쓰려던 모델에는 안전장치가 그대로 작동했습니다.

안전장치가 어느 쪽에 더 무겁게 걸려 있었는지가 그대로 드러난 대목입니다.

 

OpenAI의 답은 아직 나오지 않았습니다.

회사는 두 요구 중 어느 쪽에도 동의하지 않았고, 곧 발표할 기술 보고서를 언급하는 데 그쳤습니다.

이번 사건이 AI 안전에 중요한 순간이라고 보며, 외부 자문과 안전보안위원회의 감독 아래 검토를 진행 중이라는 입장입니다.

 

7월 27일 현재 남아 있는 사실은 이렇습니다.

실행 트레이스도, 독립적인 사후 분석 보고서도 공개되지 않았습니다.

기술적 기록의 대부분은 두 회사의 자체 보고에 의존하고 있습니다.

Hugging Face는 파트너와 고객 데이터가 영향을 받았는지 여전히 확인하는 중입니다.

 

저는 이 사건이 세 가지를 남긴다고 생각합니다.

첫째, 피해자가 요구한 것이 배상이 아니라 정보였습니다.

자율 에이전트가 일으킨 사고에서 가장 부족한 자원은 돈이 아니라, 무슨 일이 왜 일어났는지에 대한 검증 가능한 기록입니다.

이 요구가 받아들여지는지 여부가 앞으로 유사한 사고에서 무엇을 공개해야 하는지의 기준이 될 가능성이 큽니다.

 

둘째, 사고 공개의 기준을 아직 아무도 정하지 않았습니다.

소프트웨어 취약점에는 오래 다듬어진 공개 절차와 관행이 있습니다.

자율 에이전트가 다른 회사의 인프라에 침투했을 때 무엇을, 언제, 어디까지 공개해야 하는지에 대해서는 합의된 규범이 없습니다.

지금 두 회사가 주고받는 요구와 침묵이 그 규범의 초안이 되고 있습니다.

 

셋째, 방어자와 공격자의 조건이 같지 않습니다.

LinkedIn 공동창업자 Reid Hoffman은 이번 사건을 두고 공격은 저렴하고 분산되는 반면 방어는 비싸고 중앙집중적으로 남는 비대칭 전쟁의 신호라고 표현했습니다.

Hugging Face가 포렌식을 위해 오픈웨이트 모델을 직접 돌려야 했던 것이 그 비대칭의 구체적인 사례입니다.

 

그 사건의 다음 장은 기술이 아니라 제도의 문제입니다.

사고가 일어난 뒤 무엇을 공개하고, 누가 검증하고, 방어하는 쪽에 어떤 도구를 쥐어줄 것인가.

오갔던 요구와 침묵이 그 답의 첫 줄을 쓰고 있습니다.