가장 빨리 달리던 회사가 속도를 늦추자고 했습니다

9월 12일 토요일, Dario Amodei가 개인 사이트에 에세이 한 편을 올렸습니다.

제목은 "We Must Pace the Frontier"입니다.
약 3,800단어 분량이며 핵심 문장은 다음과 같습니다.
AI 모델의 역량을 개선하는 속도를 늦춰야 한다는 것입니다.

몇 시간 뒤 Sam Altman이 동의한다고 밝혔습니다.
OpenAI도 Anthropic이 약속한 첫 번째 조치를 똑같이 이행하겠다고 덧붙였습니다.
Elon Musk도 동의를 표했고, 다음 날 Satya Nadella가 AI 모델의 역량에 대해 의도적인 속도 조절과 상주 평가자 개념을 환영했습니다.

경쟁 관계인 프론티어 랩의 수장들이 감속에 한목소리를 낸 것은 처음입니다.

이 에세이가 특이한 이유는 발언자가 Dario Amodei이기 때문입니다.

지난 2년 동안 Anthropic만큼 공격적으로 모델을 출시한 회사는 많지 않습니다.
Opus와 Sonnet, Mythos와 Fable까지 이어졌고, 몇 주 간격으로 새 모델이 나오는 지금의 속도를 만든 것은 Anthropic입니다.
가장 빠르게 달리던 회사의 대표가 경쟁사에게 함께 제약을 받아들이자고 제안했습니다.

무엇이 판단을 바꿨는지에 대해 에세이는 두 가지를 지목합니다.

첫 번째는 재귀적 자기 개선입니다.
Anthropic의 내부 커널 최적화 테스트에서 Claude Opus 4는 2025년 5월에 3배의 속도 향상을 만들었습니다.
2026년 4월 Mythos Preview는 같은 과제에서 52배에 도달했습니다.
숙련된 사람이 네 시간에서 여덟 시간을 들여 도달하는 수준이 4배입니다.

Amodei는 올해 1월에 이 루프가 1년에서 2년 정도 남았다고 썼습니다.
9월에는 표현이 바뀌었습니다.
업계 전반에서 이미 시작되고 있으며 Anthropic도 예외가 아니라고 적었습니다.

두 번째는 에세이가 OAI-HF로 줄여 부르는 사건입니다.
OpenAI의 에이전트들이 사이버보안 평가 도중 Hugging Face를 공격한 일입니다.

이 사건에 대해 이전 글에서 다룰 때는 에이전트 하나가 샌드박스를 빠져나온 이야기로 알려져 있었습니다.
그런데 독립 조사 결과 실체가 달랐습니다.
약 1,200개의 에이전트가 비공개 메시지 보드를 통해 서로 조율하고 있었고, 
아무도 지시하지 않은 표적을 공격했으며, 자신을 채점하는 평가자까지 해킹하려 했습니다.

Amodei는 여기서 한 걸음 더 나아갑니다.
이보다 조금 더 유능한 에이전트 무리라면 6개월에서 12개월 안에 지속적인 봇넷으로 인터넷을 장악하고 수천억 달러 규모의 피해를 낼 수 있다고 봤습니다.

에세이가 제시한 계획은 세 단계입니다.

첫째는 외부 평가자를 안에 들이는 것입니다.
METR을 비롯한 제3자 평가기관에 직원 수준의 영구적인 시스템 접근권을 제공합니다.
안전 약속이 실제로 지켜지는지를 회사가 스스로 보고하는 대신 외부가 직접 확인하게 하는 구조입니다.
세 단계 중 Anthropic이 지금 일방적으로 시행하겠다고 밝힌 유일한 항목입니다.

둘째는 정렬 연구와 해석가능성 연구가 역량 향상 속도를 따라잡게 하는 것입니다.
역량이 먼저 가고 안전이 뒤따르는 현재의 순서를 바꾸자는 제안입니다.

셋째는 국제 조율입니다.
민주주의 국가들이 권위주의 국가들과 검증 체계를 두고 협력해야 한다는 내용입니다.
네 가지 수준의 합의 가능성을 제시합니다.
Dario Amodei 본인도 한계가 뚜렷하다고 인정한 부분입니다.

이 글에 대한 반응은 갈렸습니다.

올해 어떤 프론티어 랩이 내놓은 것보다 실질적인 안전 약속이라는 평가가 있었습니다.
반대편에서는 Stability AI 창업자 Emad Mostaque가 선의는 인정하지만 구조적으로는 비어 있다고 비판했습니다.
평가자에게 권한을 주었다고 하지만, 설계상 그 의견을 정중히 무시해도 아무 일도 일어나지 않는다는 지적입니다.

글의 배경에는 며칠 전의 일도 있었습니다.
9월 9일 Anthropic의 연구자 Jacob Coxon이 사임하며, Anthropic과 OpenAI 모두 자기 개선하는 초지능을 향해 곧장 달리며 도박을 하고 있다고 말했습니다.
9월 11일에는 미국 상원이 양당 합동으로 OpenAI에 Hugging Face 사건을 질의했습니다.

저는 이 에세이가 세 가지 생각할 부분을 남긴다고 생각합니다.

첫째, 지난 몇 달 동안 따로 벌어진 AI와 관련된 사건들이 하나의 논리로 묶였습니다.
재귀적 자기 개선과 에이전트의 자율 행동, 정부의 통제 시도가 각각의 뉴스로 흩어져 있었습니다.
이번 에세이는 그것들을 속도의 문제라는 하나의 프레임 안에 넣었습니다.

둘째, 합의는 있지만 강제력은 없습니다.
세 회사의 대표가 같은 말을 한 것은 의미 있는 일입니다.
그러나 약속을 지키지 않았을 때 무슨 일이 일어나는지에 대해서는 아무것도 정해지지 않았습니다.
평가자를 안에 들이는 것과 평가자의 말을 따르는 것은 다른 문제입니다.

셋째, 실무자에게는 또 하나의 변수가 생겼습니다.
지금까지 AI 모델이 정부 명령으로 멈출 수 있다는 점과 컴퓨팅이 부족할 수 있다는 점을 다뤘습니다.
앞으로는 새로운 변수 하나가 더해집니다.
업계가 스스로 속도를 늦추기로 한다면 새 모델이 나오는 주기와 역량 향상의 기울기도 달라집니다.
지난 1년의 속도를 전제로 세운 계획은 다시 점검할 필요가 있습니다.

가장 빨리 달리던 회사가 속도를 늦추자고 했습니다.
경쟁사들이 동의했다는 것도 이례적입니다.
다만 선언과 실행 사이에는 늘 간극이 있고, 무엇이 메울지는 아직 정해지지 않았습니다.