본문 바로가기

카테고리 없음

역대 최대 규모의 디스틸레이션 공격 - Anthropic vs Alibaba

6월 24일, CNBC가 Anthropic이 미국 상원에 보낸 서한을 입수해 보도했습니다.

내용은 이렇습니다. Anthropic이 중국 기업 Alibaba를 "노골적이고(brazenly) 불법적으로(illicitly)" 자사 AI 역량을 빼내려 했다고 고발했습니다.  

 

"지금까지 Anthropic이 확인한 가장 큰 규모의 디스틸레이션 공격(distillation attack)."이라는 내용이었습니다. 

서한은 6월 10일자로, 상원 은행위원회의 Tim Scott 위원장과 Elizabeth Warren 간사에게 전달됐습니다. 단순한 기업 간 분쟁이 아니라, 의회를 향한 공식 문제 제기였습니다.

 

먼저 디스틸레이션이 무엇인지부터 짚어야 합니다.

디스틸레이션(Distillation)은 그 자체로는 합법적인 머신러닝 기법입니다. 강력한 모델의 출력을 학습 데이터로 사용해 더 작고 가벼운 모델을 만드는 방식입니다. 큰 모델이 선생님 역할을 하고, 작은 모델이 그 답변을 보고 배우는 구조입니다. 자사 모델을 대상으로 할 때는 문제가 없습니다.

 

문제는 경쟁사의 모델을 허락 없이 대상으로 삼을 때입니다. 이 경우 디스틸레이션은 지식재산 도용의 한 형태가 됩니다. 원본 모델의 가중치(weights)에 접근하지 않고도, 질문과 답변 쌍만 충분히 모으면 그 모델의 능력을 상당 부분 복제할 수 있기 때문입니다. 수십억 달러를 들여 훈련한 모델의 역량을, 훈련 비용 없이 가져가는 것입니다.

 

Anthropic이 서한에서 제시한 수치는 구체적입니다.

Alibaba의 AI 연구소 Qwen과 연관된 운영자들이 2026년 4월 22일부터 6월 5일까지 약 6주 동안, 약 25,000개의 사기 계정을 만들어 Claude와 2,880만 건의 대화를 주고받았습니다. 표적이 된 것은 Claude의 가장 가치 있는 역량들이었습니다. 

에이전트 추론(Agentic Reasoning), 소프트웨어 엔지니어링, 그리고 장기 작업 수행 능력. 프론티어 모델을 이전 세대 AI와 구분 짓는 바로 그 능력들입니다.

 

이것은 2월에 Anthropic이 공개한 사건보다 큰 규모입니다. 당시 Anthropic은 DeepSeek, Moonshot, MiniMax 세 개 중국 AI 연구소가 약 24,000개의 사기 계정으로 1,600만 건의 대화를 추출했다고 밝혔습니다. 이번 Alibaba 한 곳의 규모가 그 세 곳을 합친 것을 넘어섭니다.

 

Anthropic의 정책 총괄 Sarah Heck는 상원에 이렇게 설명했습니다. 이 공격이 "미국 프론티어 연구소들의 AI 역량을 산업적 규모로 수확해, 훈련과 연구개발 비용을 들이지 않고 자신들의 것으로 재포장하기 위해 불법적이고 체계적으로 수행됐다" 그리고 이 관행이 "수십억 달러의 미국 투자와 연구개발을 지정학적 경쟁자에 대한 거대한 보조금으로 전환시키고 있다"고 표현했습니다.

 

이 사건에서 가장 중요한 것은 Anthropic이 선택한 대응 방식입니다.

Anthropic은 법원에 소송을 제기하지 않았습니다. 상원으로 갔습니다. 디스틸레이션 공격은 구조적으로 막기가 매우 어렵기 때문입니다. 

API 수준에서 보면 디스틸레이션을 위한 질문과 정상적인 질문은 완전히 동일하게 보입니다. 구분할 방법이 없습니다. 

이것을 확실하게 차단하는 유일한 방법은 모델을 아예 접근 불가능하게 만드는 것뿐인데, 그것은 AI 회사의 사업 모델 자체와 정면으로 충돌합니다. 

질문에 답하는 것이 제품인 회사가, 질문에 답하지 않을 수는 없습니다.

 

지리적 접근 제한도 해법이 되지 못합니다. 

사기 계정과 프록시 서비스를 통하면 어느 나라에서든 접근할 수 있기 때문입니다. 그래서 Anthropic은 이용약관 위반 신고를 넘어, 이 문제를 국가 안보 사안으로 규정하고 입법적 해결을 요청한 것입니다.

 

실제로 의회가 움직이기 시작했습니다. 

Bill Hagerty 상원의원과 Andy Kim 상원의원이 국방 법안에 적대적 디스틸레이션을 수행하는 기업을 제재하거나 블랙리스트에 올리는 수정안을 추가하려 하고 있습니다. 

문제 해결의 축이 약관 집행에서 무역법과 국가 안보로 이동하고 있습니다.

 

저는 이 사건이 AI 경쟁의 본질이 변하고 있음을 보여준다고 생각합니다.

지금까지 AI 경쟁은 누가 더 좋은 모델을 만드는가의 문제였습니다. 

그런데 모델이 충분히 강력해지자, 그 모델 자체가 빼앗길 수 있는 자산이 됐습니다. 

스탠퍼드 HAI 연구에 따르면 3월 기준 미국 최상위 모델과 중국 모델의 성능 격차는 2.7%에 불과합니다. 그 격차의 일부가 디스틸레이션으로 좁혀진 것이라면, 이것은 단순한 기술 경쟁이 아니라 투자 회수의 문제가 됩니다.

 

흥미로운 것은 타이밍입니다. 이 고발은 Anthropic이 미국 정부로부터 Fable 5, Mythos 5 수출 통제를 받은 직후에 나왔습니다. 

한쪽에서는 정부가 Anthropic의 모델을 외국 국적자로부터 차단하라고 명령하고, 다른 쪽에서는 Anthropic이 외국 기업의 모델 추출을 막아달라고 정부에 요청합니다.

AI 모델이 국가 전략 자산이 되면서, 그것을 둘러싼 통제와 보호가 동시에 강해지고 있습니다.

 

모델을 만드는 경쟁에서, 모델을 지키는 경쟁으로서 AI 산업이 새로운 국면에 들어서고 있습니다.