Claude가 Anthropic 연구의 4분의 1을 이끕니다

9월 17일, Anthropic Institute가 내부 측정 결과를 처음으로 공개했습니다.
2026년 8월 기준 Claude가 Anthropic의 AI 연구개발 업무 가운데 26%를 ‘이끌고 있다’는 내용입니다.

2월에는 1%에도 미치지 못했습니다. 불과 6개월 사이의 변화입니다.
이번 발표는 지난주 Dario Amodei가 공개한 에세이와 함께 보면 더 인상적입니다.

AI 개발 속도를 늦추는 방안을 제안한 회사가 닷새 뒤, 
자기 회사의 AI 개발 속도계를 공개한 셈이기 때문입니다.

Anthropic은 Epoch AI가 만든 여섯 단계의 자동화 척도를 사용했습니다.

AI가 전혀 관여하지 않는 AL0부터 사람의 개입 없이 완전히 자율적으로 움직이는 AL5까지입니다.

이 가운데 AL3은 사람의 밀착 지시 아래 AI가 업무의 상당 부분을 수행하는 협업 단계, AL4부터 AI가 업무를 이끄는 단계입니다.

AL4에서는 사람이 높은 수준의 목표만 제시하고, AI가 작업 대부분을 처음부터 끝까지 수행합니다. 
사람은 그 과정을 감독하고 최종 결정을 내립니다.

예를 들어 데이터 파이프라인에 장애가 발생하면 Claude가 로그를 확인하고 원인을 찾고, 수정안을 테스트하고, 복구 결과까지 검증합니다. 다만 실제 배포 여부는 엔지니어가 결정합니다.

8월 기준 Anthropic의 모델 연구개발 업무 가운데 90% 이상이 AL3 이상이었습니다.
반면 AL5에 도달한 영역은 하나도 없었습니다.

즉 Claude가 연구개발 대부분에 깊게 관여하고 있지만, 
완전히 자율적으로 움직이는 영역은 아직 없다는 뜻입니다.

저는 26%라는 숫자보다 이 숫자를 어떻게 만들었는지가 더 인상적입니다.
Anthropic은 7월 한 달 동안 매주 모델 연구개발에 참여하는 각 부서 직원의 20%를 무작위로 추출했습니다.

Claude 연구 에이전트가 Slack과 내부 문서 등을 분석해 각 직원이 수행한 업무를 정리했고, 약 15,000개의 세부 작업이 만들어졌습니다.

이를 다시 542개의 업무 노드로 구성하고, 별도의 Claude 판정자가 각 업무의 자동화 수준을 평가했습니다.

특정 달을 평가할 때는 그 달 이전의 증거만 사용할 수 있도록 제한했고, 
단순 업무 개수가 아니라 사람의 투입 시간으로 가중치를 적용했습니다.

많은 사람이 오래 수행하는 업무일수록 전체 지표에서 더 큰 비중을 차지하도록 만든 것입니다.
이번 발표에는 자동화 수준 외에도 눈에 띄는 수치가 있습니다.

8월 기준 Anthropic의 주요 내부 플랫폼에서는 
약 3만 개의 AI 에이전트가 동시에 연구와 엔지니어링 업무를 수행했습니다.

에이전트들이 내린 결정은 10억 건 이상이었고, 
온라인 모니터가 차단한 것은 약 4만 7천 건당 1건 수준이었습니다.

AI를 단순한 연구 도구로 사용하는 단계를 넘어, 수만 개의 에이전트가 실제 연구개발 시스템 안에서 지속적으로 의사결정을 수행하는 구조가 만들어지고 있다는 의미입니다.

7월 한 주 동안 AI 연구개발에 쓰인 컴퓨팅 가운데 약 6%가 안전 관련 작업에 사용됐습니다. AI가 주도한 연구개발로 범위를 좁히면 12%까지 올라갑니다.

Anthropic은 컴퓨팅이 상대적으로 측정하기 쉬운 투입 요소이기 때문에 향후 업계가 AI 개발 속도를 조절하려 할 때 실질적인 통제 수단이 될 수 있다고 설명했습니다.

이번 발표에는 분명한 한계도 있습니다.
같은 날 전문가 100여 명은 외부 평가자들이 이러한 수치를 독립적으로 검증할 실질적인 접근권이 아직 부족하다고 지적했습니다.

이번 측정의 상당 부분을 Claude가 수행했다는 점도 논쟁거리입니다.
Anthropic에 따르면 모델의 평가와 직원의 평가가 정확히 일치한 비율은 59%, 
직원끼리 일치한 비율은 35%였습니다.

자동화 수준 자체가 사람에게도 상당히 주관적인 평가 대상이라는 뜻입니다.

또 3만 개의 에이전트 가운데 일부가 문제를 일으켰을 때 어떤 일이 발생하는지, 
그리고 모니터를 다시 누가 감시하는지까지 이번 발표가 보여주지는 않습니다.

따라서 이 수치는 중요한 내부 측정 결과이지만, 
동시에 독립적인 외부 검증이 필요한 수치이기도 합니다.

저는 이번 발표가 세 가지를 보여준다고 생각합니다.

첫째, 예측으로 이야기하던 것이 실측치가 됐습니다.

이전에 재귀적 자기 개선에 관한 글에서 AI가 AI를 만드는 과정에 
다시 투입되는 루프가 가까워지고 있다고 작성한 적이 있습니다.

이번 발표는 그 루프가 실제 연구 현장에서 어디까지 왔는지를 숫자로 보여줍니다.
완전 자율에 도달한 영역은 아직 0입니다.

하지만 연구개발 업무의 4분의 1 이상을 AI가 이끌고 있고, 
90% 이상의 업무에 협업자 이상의 수준으로 관여하고 있습니다.

둘째, 속도를 늦추려면 먼저 속도를 측정해야 합니다.

Amodei의 에세이는 AI 개발 속도를 어떻게 조절할 것인지에 대한 문제를 제기했습니다.
이번 발표는 그런 논의가 실제로 작동하려면 무엇이 필요한지를 보여줍니다.
측정할 수 없는 것은 합의하기 어렵고, 합의할 수 없는 것은 조절하기 어렵습니다.

Anthropic이 다른 프론티어 AI 연구소에도 
같은 방식으로 자동화 수준을 측정하고 공개하자고 제안한 이유입니다.

앞으로 AI 안전 논의에서는 모델의 크기나 벤치마크 점수뿐 아니라 
AI가 실제 연구개발 과정에서 얼마나 많은 일을 수행하고 있는가 역시 중요한 지표가 될 수 있습니다.

셋째, 측정하는 쪽과 측정되는 쪽이 같습니다.

이번 지수의 측정과 상당 부분의 판정을 Claude가 수행했습니다.
조금 과장해서 표현하면,
Anthropic이 자기 회사에서 AI가 얼마나 일하고 있는지를 AI에게 물어본 셈입니다.

그렇다고 결과가 틀렸다는 뜻은 아닙니다. 
이런 규모의 업무를 사람이 직접 분류하고 평가하는 것 역시 현실적으로 어렵습니다.

다만 이 숫자가 업계의 공통 지표가 되려면 외부에서도 같은 결과를 검증할 수 있어야 합니다.
측정 지표를 만드는 것과 그 지표를 누가 검증할 것인지는 결국 한 묶음의 문제입니다.