인터럽트 기반 스티어링 - AI 에이전트를 언제 멈추게 할지 아는 것

AI 에이전트를 처음 쓰기 시작하면 대부분 이렇게 사용합니다.

에이전트가 한 단계씩 실행할 때마다 확인하고, 승인하고, 다음으로 넘깁니다.

모든 행동을 검토하는 것이 안전하다고 느끼기 때문입니다.

그런데 경험이 쌓이면 패턴이 바뀝니다.

 

Anthropic은 최근 수백만 건의 에이전트 사용 데이터를 분석한 연구를 공개했습니다.

경험이 많은 사용자일수록 에이전트를 더 많이 자동 승인합니다.

초보 사용자는 20% 정도만 자동 승인하지만,

숙련 사용자는 40% 이상의 세션에서 자동 승인을 씁니다.

 

그런데 동시에, 인터럽트도 더 자주 합니다.

모든 행동을 하나하나 확인하는 대신,

에이전트가 알아서 실행하도록 두다가

무언가 어긋나는 순간 개입하는 방식으로 바뀌는 것입니다.

 

이것이 인터럽트 기반 스티어링입니다.

기술적으로 이 패턴은 에이전트 프레임워크 수준에서 구현됩니다.

LangGraph를 예로 들면, 그래프 실행 흐름 안에 interrupt() 함수를 삽입해

특정 노드에서 실행을 일시 정지시킬 수 있습니다.

이때 에이전트의 상태(state)는 체크포인터(checkpointer)에 저장되고,

사람의 입력이 들어오면 정확히 그 지점부터 다시 실행이 재개됩니다.

 

인터럽트 시점은 크게 세 가지로 설계합니다.

1) 실행 전 승인: 외부 API 호출, 이메일 발송, DB 쓰기처럼 되돌리기 어려운 작업 직전에 멈춥니다.

2) 중간 결과 검토: 에이전트가 생성한 초안이나 판단 결과를 사람이 확인한 뒤 수정하거나 그대로 계속합니다.

3) 상태 편집: 에이전트가 잘못된 방향으로 진행 중일 때 그래프 상태를 직접 수정하고 재실행합니다.

 

Anthropic 연구에 따르면 Claude가 스스로 멈추는 이유의 

35%는 접근 방식 선택지 제시, 21%는 진단 정보 수집, 13%는 요청 명확화입니다.

에이전트가 자신의 불확실성을 인식하고 먼저 멈추도록 설계되어 있다는 뜻입니다.

 

중요한 것은 모든 툴 호출에 인터럽트를 거는 것이 아니라는 점입니다.

읽기 전용 작업, 반복적인 조회, 낮은 비용의 단순 실행은 자동 승인합니다.

쓰기, 외부 연동, 민감한 판단이 필요한 지점에만 명시적으로 멈춥니다.

이 설계가 곧 에이전트 신뢰의 구조입니다.

 

가장 복잡한 작업에서는, Claude Code가 스스로 멈추고 질문을 요청하는 빈도가

사람이 개입하는 빈도보다 두 배 이상 높습니다.

사람과 에이전트 양쪽에서 서로를 조율하고 있는 것입니다.

 

이 데이터를 보며 든 생각이 있습니다.

 

에이전트 도입 초기에는 체크리스트를 만드는 것이 맞습니다.

어떤 작업이 되돌릴 수 없는지, 어디서 사람의 판단이 반드시 필요한지.

이 기준이 곧 인터럽트 포인트가 됩니다.

 

그리고 팀이 에이전트를 쓰면서 쌓이는 수정 이력이 있다면,

그것은 단순한 에러 로그가 아닙니다.

어디서 멈춰야 하는지에 대한 팀의 집단 지식입니다.

그것을 인터럽트 정책으로 문서화하는 것이 에이전트 운영의 성숙 단계입니다.

 

흥미롭게도 Anthropic은 이 연구 직후, Claude Code에 Auto Mode를 도입하겠다고 발표했습니다.

낮은 위험의 작업은 Claude가 스스로 승인하고, 높은 위험의 작업만 멈춰 확인을 요청하는 방식입니다.

인터럽트 기반 스티어링이 이제 제품 레벨에서 구현되고 있는 것입니다.

 

더 자세한 내용은 Anthropic이 공개한 아래 글에서 확인할 수 있습니다.

https://www.anthropic.com/research/measuring-agent-autonomy