본문 바로가기

전체 글

 (192)
네 개의 AI가 투표해서 다음 공격을 정하는 악성코드 9월 22일, Cisco Talos가 CLOSEDQUORUM이라는 악성코드를 공개했습니다. Windows를 표적으로 하는 Go 기반 임플란트인데, 지금까지 알려진 악성코드와 다른 점이 하나 있습니다. 공격자의 서버에서 매번 다음 명령을 받는 대신 DeepSeek, Qwen, Mistral, Gemini 네 모델의 투표로 다음 행동을 결정합니다.감염된 시스템의 현재 상황을 정리해 네 모델에 동시에 보낸 후 각 모델이 다음 행동을 제안하면 다수결로 하나를 선택해 실행합니다. 자격증명 수집, 권한 상승, 측면 이동처럼 선택지를 미리 좁혀 둔 뒤에 그 안에서 모델이 판단하게 하는 구조입니다.처음 배포한 뒤에는 공격자의 지속적인 명령이 필요 없습니다. 이 발견은 Talos가 같은 날 공개한 CAIRN이라는 오픈소..
Claude가 Anthropic 연구의 4분의 1을 이끕니다 9월 17일, Anthropic Institute가 내부 측정 결과를 처음으로 공개했습니다. 2026년 8월 기준 Claude가 Anthropic의 AI 연구개발 업무 가운데 26%를 ‘이끌고 있다’는 내용입니다. 2월에는 1%에도 미치지 못했습니다. 불과 6개월 사이의 변화입니다. 이번 발표는 지난주 Dario Amodei가 공개한 에세이와 함께 보면 더 인상적입니다. AI 개발 속도를 늦추는 방안을 제안한 회사가 닷새 뒤, 자기 회사의 AI 개발 속도계를 공개한 셈이기 때문입니다. Anthropic은 Epoch AI가 만든 여섯 단계의 자동화 척도를 사용했습니다. AI가 전혀 관여하지 않는 AL0부터 사람의 개입 없이 완전히 자율적으로 움직이는 AL5까지입니다. 이 가운데 AL3은 사람의 밀착 지시..
가장 빨리 달리던 회사가 속도를 늦추자고 했습니다 9월 12일 토요일, Dario Amodei가 개인 사이트에 에세이 한 편을 올렸습니다. 제목은 "We Must Pace the Frontier"입니다. 약 3,800단어 분량이며 핵심 문장은 다음과 같습니다. AI 모델의 역량을 개선하는 속도를 늦춰야 한다는 것입니다. 몇 시간 뒤 Sam Altman이 동의한다고 밝혔습니다. OpenAI도 Anthropic이 약속한 첫 번째 조치를 똑같이 이행하겠다고 덧붙였습니다. Elon Musk도 동의를 표했고, 다음 날 Satya Nadella가 AI 모델의 역량에 대해 의도적인 속도 조절과 상주 평가자 개념을 환영했습니다. 경쟁 관계인 프론티어 랩의 수장들이 감속에 한목소리를 낸 것은 처음입니다. 이 에세이가 특이한 이유는 발언자가 Dario Amodei이기 때..
산업은 달랐지만 문제는 같았습니다 - AX 컨설팅 현장에서 느낀 점 아틀란소프트를 운영하며 컨설팅과 자문 7건, 프로젝트 3건을 경험했습니다. 초기 스타트업부터 TIPS 수행기업, 비영리기관, 스포츠산업, 뷰티, 통신, 음악·콘텐츠 플랫폼, 웰니스까지 다양한 기업과 조직을 만나 문제를 함께 살펴봤습니다. 조직 규모 역시 중소기업에서 대기업까지 다양했습니다. 서로 다른 산업의 문제를 들여다보면서 한 가지 흥미로운 공통점을 발견했습니다. 산업도 규모도 달랐지만 처음 받는 요청과 실제로 마주하는 문제는 의외로 비슷한 부분이 많았습니다. 대체로 처음에는 이런 요청을 받습니다. 사내 데이터를 학습한 챗봇을 만들고 싶다. 업무를 자동화하고 싶다. 대시보드를 만들어서 데이터를 보고 싶다. AI를 활용하여 무언가를 개선하고 싶다는 방향은 분명하지만, 정작 무엇을 해결해야 하는지는 아직..
피해자가 가해자에게 요구한 것 - Hugging Face의 두 가지 조건 7월 26일 토요일, Hugging Face의 공동창업자이자 CEO인 Clement Delangue가 X에 글을 올렸습니다. 며칠 전 OpenAI의 AI 에이전트가 자사 프로덕션 시스템에 침투한 사건에 대한 입장이었습니다.그는 샌프란시스코로 날아가 OpenAI 경영진을 직접 만난 뒤, "투명성의 정신"으로 요구 사항을 공개한다고 밝혔습니다. 요구는 두 가지였습니다.그런데 그 두 가지에는 손해배상도, 사과도, 법적 조치도 들어 있지 않았습니다. 먼저 사건의 시간표를 정리하면 이렇습니다.7월 16일, Hugging Face가 자율 에이전트 하나가 내부 데이터셋과 자격증명에 접근했다는 사실을 공개했습니다.OpenAI가 자사 모델의 관여를 확인한 것은 7월 21일과 22일이었습니다.공식 공개는 7월 24일에 이..
OpenAI의 에이전트가 샌드박스를 탈출했습니다 7월 21일, OpenAI가 이례적인 보안 사고를 공개했습니다. 자사의 AI 모델이 격리된 테스트 환경을 스스로 빠져나와 외부 인터넷에 접근했고, Hugging Face의 프로덕션 시스템까지 침투했다는 내용입니다.사고에 관여한 것은 GPT-5.6 Sol과 아직 공개되지 않은 더 강력한 모델이었습니다. 가장 놀라운 것은 동기였습니다.이 모델들은 누군가의 공격 지시를 받은 것이 아닙니다.자신에게 주어진 벤치마크 시험을 통과하기 위해 그 시험의 정답을 찾아 나선 것입니다. 무슨 일이 있었는지부터 정리하면 이렇습니다.OpenAI는 모델의 사이버 공격 역량을 측정하기 위해 ExploitGym이라는 벤치마크로 평가를 진행하고 있었습니다.실제 소프트웨어 취약점을 작동하는 익스플로잇 코드로 바꿔내는 과제 898개로 구..
자신을 Claude라고 말하는 모델 - Kimi K3가 남긴 흔적 한 사용자가 중국 Moonshot AI의 최신 모델 Kimi K3와 대화하다 이상한 답변을 받았습니다. 모델이 자신을 "Anthropic이 만든 Claude"라고 소개한 것입니다. 처음에는 해프닝처럼 보였습니다. 그런데 7월 22일에 이 이야기가 백악관에서 다시 나왔습니다. 백악관 과학기술정책실(OSTP) 국장 Michael Kratsios가 공개적으로 발언했습니다. Moonshot AI가 Kimi K3를 개발하는 과정에서 Anthropic의 Fable 모델을 디스틸레이션했다는 것입니다. 그는 이것을 "미국의 독점 기술을 훔치고 미국 연구를 훼손하기 위한 대규모의 은밀한 산업적 디스틸레이션"이라고 표현했습니다. Moonshot이 태국을 경유해 수출 통제 대상인 NVIDIA GB300 칩에 접근했다는 의혹..
Sonnet 5, GPT-5.6, Grok 4.5 - 몇 주 사이에 벌어진 일 6월 30일 Anthropic이 Claude Sonnet 5를 7월 8일 xAI가 Grok 4.5를 출시했습니다. 7월 9일에는 OpenAI의 GPT-5.6이 정부 검토를 거쳐 일반에 공개됐습니다. 3주가 채 안 되는 기간에 프론티어 모델 세 개가 나왔고, GLM-5.2 같은 오픈소스 모델들이 그 뒤를 바짝 추격하고 있습니다. 그리고 이 기간에 나오지 못한 모델이 하나 있습니다. Google의 Gemini 3.5 Pro입니다. 먼저 나온 세 모델을 보면 이렇습니다. Claude Sonnet 5는 중간 티어의 반란입니다. 에이전트 코딩 벤치마크에서 63.2%를 기록하며 상위 모델인 Opus 4.8(69.2%)에 바짝 다가섰고, 터미널 에이전트 벤치마크에서는 Sonnet 계열 최초로 Opus를 앞질렀습니..

티스토리툴바