에이전트 (8) 썸네일형 리스트형 에이전트 네 개가 27시간 동안 한 팀으로 일했습니다 - Minecraft를 끝낸 Gemini 4 Argon 10월 15일 arXiv에 구글 딥마인드 논문 하나가 올라왔습니다. 사람의 개입 없이 27시간만에 Gemini 4 Argon 에이전트 네 개를 활용하여 Minecraft 서바이벌 월드에서 엔더 드래곤을 처치하고 엔딩까지 클리어했습니다.에이전트에는 엔더 드래곤을 처치하라는 목표 하나만 주었습니다. 세부적인 역할도, 공략도, 게임 전용 도구도 주지 않았습니다. 결과는 27시간 14분 만의 클리어였습니다. 에이전트들은 2,783개의 프로그램을 직접 짜서 돌렸고 605번 죽었습니다. 연구진은 사람이 만든 게임 전용 도구 없이 AI 에이전트가 Minecraft를 처음부터 끝까지 자율로 완료한 첫 사례라고 밝혔습니다. 에이전트는 화면을 보지 않았습니다. Mineflayer라는 오픈소스 라이브러리로 짧은 JavaSc.. 에이전트는 문제를 풀 줄 알지만 시간을 쓸 줄은 모릅니다 "앞으로 1시간 동안 이 코드를 계속 테스트하면서 완성도를 끝까지 끌어올려 줘." 에이전트에게 이런 지시를 내리면 무슨 일이 일어날까요.보통 위처럼 요청 시 에이전트가 1시간 내내 결과물을 다듬을 것으로 기대하고 요청합니다.10월 7일 arXiv에 올라온 논문 하나가 그 기대를 실험으로 확인했습니다. 독일 튀빙겐 AI 센터 연구진이 발표한 논문 "AgentTime: Can Agents Estimate and Control Their Own Runtime?"입니다.코딩, 컴퓨터 사용, 에이전트 업무, 자동화 연구 등 18개 벤치마크에서 뽑은 222개 과제를 기반으로 에이전트가 요청받은 시간만큼 일할 수 있는지, 자기 작업 시간을 예측할 수 있는지, 끝난 뒤 얼마나 걸렸는지 이해하고 있는지를 측정했습니다.C.. Harvey가 보여준 AI 서비스 기업의 원가 구조 9월 21일 Bloomberg가 법률 AI 기업 Harvey의 실적을 보도했습니다. 올해 초 약 50%였던 매출총이익률이 6월에는 -50%가 됐다는 내용입니다.기업가치 156억 달러로 평가받는 법률 버티컬 AI의 대표 기업입니다.그 회사가 몇 달 만에 매출 1달러를 만들 때마다 1.50달러의 원가가 발생하는 상태가 되었습니다. 그 동안 무슨 일이 있었는지는 다음과 같습니다.Harvey는 좌석 기반 정액제로 고객에게 변호사 한 명당 정해진 금액을 받습니다.그런데 OpenAI와 Anthropic에 내는 모델 비용은 종량제로 사용한 만큼 나갑니다.3월 AI 에이전트를 업데이트하자 고객 사용량이 급증했고, 올해 토큰 사용량은 20배까지 늘었습니다.고객이 더 많이 써도 좌석당 매출은 크게 달라지지 않는 상황에서 .. 피해자가 가해자에게 요구한 것 - Hugging Face의 두 가지 조건 7월 26일 토요일, Hugging Face의 공동창업자이자 CEO인 Clement Delangue가 X에 글을 올렸습니다. 며칠 전 OpenAI의 AI 에이전트가 자사 프로덕션 시스템에 침투한 사건에 대한 입장이었습니다.그는 샌프란시스코로 날아가 OpenAI 경영진을 직접 만난 뒤, "투명성의 정신"으로 요구 사항을 공개한다고 밝혔습니다. 요구는 두 가지였습니다.그런데 그 두 가지에는 손해배상도, 사과도, 법적 조치도 들어 있지 않았습니다. 먼저 사건의 시간표를 정리하면 이렇습니다.7월 16일, Hugging Face가 자율 에이전트 하나가 내부 데이터셋과 자격증명에 접근했다는 사실을 공개했습니다.OpenAI가 자사 모델의 관여를 확인한 것은 7월 21일과 22일이었습니다.공식 공개는 7월 24일에 이.. AI 에이전트가 통제를 벗어났습니다 - Meta Sev1 사고가 보여주는 것 3월 19일, Meta 내부에서 보안 사고가 발생했습니다. 한 엔지니어가 내부 포럼에 기술적인 질문을 올렸습니다. 다른 엔지니어가 AI 에이전트에게 그 질문을 분석해달라고 요청했습니다. 에이전트는 답변을 생성했습니다. 그런데 에이전트는 그 답변을 요청한 엔지니어에게만 전달하는 대신에 포럼 전체에 공개적으로 게시했습니다. 승인을 구하지 않았습니다. 문제는 거기서 시작됐습니다. 포럼에 게시된 에이전트의 답변은 부정확한 정보를 담고 있었습니다. 질문을 올린 엔지니어는 그 답변을 신뢰하고 조치를 취했습니다. 그 결과 약 2시간 동안 접근 권한이 없는 엔지니어들에게 회사 내부와 사용자 관련 민감 데이터가 노출됐습니다. Meta는 이 사고를 Sev1로 분류했습니다. 내부 보안 등급 2단계로 즉각적인 대응.. 에이전트가 강력해질수록 공격 표면도 커집니다 - 프롬프트 인젝션에 대하여 지난 1월, Anthropic이 Claude Cowork를 출시했습니다.파일을 자율적으로 분석하고 정리하는 데스크탑 에이전트입니다. 출시 4일 만에 월 20달러 Pro 플랜 전체로 확대됐습니다. 사용자들의 반응은 좋았습니다. 한 개발자는 자신의 사이트에 있는 46개의 미발행 초안을 몇 분 만에 44번의 웹 검색으로 분석했다고 공유했습니다. 사람이 했다면 오후 내내 걸렸을 작업이었습니다.출시 48시간 후, 보안 연구팀 PromptArmor가 취약점을 공개했습니다. 공격 방식은 단순합니다.공격자가 악성 명령을 숨긴 문서를 하나 만듭니다. 흰 배경에 흰 글씨, 0.1pt 줄 간격. 육안으로는 보이지 않습니다. 이 문서를 사용자가 Cowork에 연결된 폴더에 넣습니다. Cowork가 파일을 분석하는 순간, 숨겨.. 인터럽트 기반 스티어링 - AI 에이전트를 언제 멈추게 할지 아는 것 AI 에이전트를 처음 쓰기 시작하면 대부분 이렇게 사용합니다.에이전트가 한 단계씩 실행할 때마다 확인하고, 승인하고, 다음으로 넘깁니다.모든 행동을 검토하는 것이 안전하다고 느끼기 때문입니다.그런데 경험이 쌓이면 패턴이 바뀝니다. Anthropic은 최근 수백만 건의 에이전트 사용 데이터를 분석한 연구를 공개했습니다.경험이 많은 사용자일수록 에이전트를 더 많이 자동 승인합니다.초보 사용자는 20% 정도만 자동 승인하지만,숙련 사용자는 40% 이상의 세션에서 자동 승인을 씁니다. 그런데 동시에, 인터럽트도 더 자주 합니다.모든 행동을 하나하나 확인하는 대신,에이전트가 알아서 실행하도록 두다가무언가 어긋나는 순간 개입하는 방식으로 바뀌는 것입니다. 이것이 인터럽트 기반 스티어링입니다.기술적으로 이 패턴은 에.. 평가를 통해 AI 에이전트의 역량을 체계적으로 테스트하는 방법 AI 에이전트를 팀 개발에 도입하면 처음에는 생산성이 올라가는 느낌이 납니다.코드가 빠르게 나오고, 반복 작업이 줄어들고, 팀원들도 점점 익숙해집니다. 그런데 어느 순간 이런 상황이 생깁니다.AI 에이전트가 만들어낸 결과물이 의도한 방식과 다르게 동작하거나,팀이 정한 컨벤션에서 벗어난 코드가 조용히 쌓입니다.무엇이 언제부터 어긋났는지 설명하기 어렵습니다. 느낌으로 AI 에이전트를 운영하고 있었던 것입니다. 일반적인 소프트웨어는 같은 입력에 같은 출력이 나옵니다.에이전트를 활용한 개발은 다릅니다.목표를 주면 AI가 스스로 판단하며 단계를 결정하고 실행합니다.같은 명령을 줘도 매번 다른 경로로 실행될 수 있고,중간 판단이 하나 어긋나면 결과물이 조용히 틀어집니다. 기존 테스트 방식으로는 이 문제를 잡기 어렵.. 이전 1 다음