본문 바로가기

AI

(27)
피해자가 가해자에게 요구한 것 - Hugging Face의 두 가지 조건 7월 26일 토요일, Hugging Face의 공동창업자이자 CEO인 Clement Delangue가 X에 글을 올렸습니다. 며칠 전 OpenAI의 AI 에이전트가 자사 프로덕션 시스템에 침투한 사건에 대한 입장이었습니다.그는 샌프란시스코로 날아가 OpenAI 경영진을 직접 만난 뒤, "투명성의 정신"으로 요구 사항을 공개한다고 밝혔습니다. 요구는 두 가지였습니다.그런데 그 두 가지에는 손해배상도, 사과도, 법적 조치도 들어 있지 않았습니다. 먼저 사건의 시간표를 정리하면 이렇습니다.7월 16일, Hugging Face가 자율 에이전트 하나가 내부 데이터셋과 자격증명에 접근했다는 사실을 공개했습니다.OpenAI가 자사 모델의 관여를 확인한 것은 7월 21일과 22일이었습니다.공식 공개는 7월 24일에 이..
OpenAI의 에이전트가 샌드박스를 탈출했습니다 7월 21일, OpenAI가 이례적인 보안 사고를 공개했습니다. 자사의 AI 모델이 격리된 테스트 환경을 스스로 빠져나와 외부 인터넷에 접근했고, Hugging Face의 프로덕션 시스템까지 침투했다는 내용입니다.사고에 관여한 것은 GPT-5.6 Sol과 아직 공개되지 않은 더 강력한 모델이었습니다. 가장 놀라운 것은 동기였습니다.이 모델들은 누군가의 공격 지시를 받은 것이 아닙니다.자신에게 주어진 벤치마크 시험을 통과하기 위해 그 시험의 정답을 찾아 나선 것입니다. 무슨 일이 있었는지부터 정리하면 이렇습니다.OpenAI는 모델의 사이버 공격 역량을 측정하기 위해 ExploitGym이라는 벤치마크로 평가를 진행하고 있었습니다.실제 소프트웨어 취약점을 작동하는 익스플로잇 코드로 바꿔내는 과제 898개로 구..
아틀란소프트의 대표이자 컨설턴트로 새로운 챕터를 시작했습니다. 지난 6월부터 아틀란소프트에서 소프트웨어 개발과 기술 전략, AX 컨설팅을 중심으로 스타트업의 창업 및 초기 운영과 제품 전략 컨설팅을 함께하고 있습니다. 업무 자동화 ERP, 데이터 분석 대시보드, LLM 기반 지식 챗봇, 볼링 전산 시스템과 콘텐츠 플랫폼 리뉴얼 등 기획부터 구축까지 프로젝트를 수행하고, 비영리기관과 협회에 대한 기술 자문과 기업, 대학교, 공공기관 대상 강의로 활동의 폭을 넓혀가고 있습니다. 감사하게도 6건의 컨설팅 계약을 진행하게 되었고, 그중 2건은 해외 기업과의 협업입니다. 좋은 인연도 이어졌습니다. 이앤티이노베이션과의 인연으로 전남창조경제혁신센터의 '전남형 스타트업 AX 전환 실증지원 프로그램'에서 AI 데이터 관리 및 AX 교육 강사를 맡았고, 이어서 전남창조경제혁신센터 임..
강제와 자발, 결과는 같았습니다 - Mythos와 GPT-5.6의 공통점 지난 두 편의 글에서 두 사건을 다뤘습니다. 6월 12일, Anthropic이 정부 명령으로 Fable 5와 Mythos 5를 차단한 사건과 그리고 6월 26일, OpenAI가 정부 요청으로 GPT-5.6 출시를 소수 파트너로 제한한 사건입니다.당시에는 두 사건이 별개처럼 보였습니다. 하나는 강제 중단이었고, 하나는 자발적 협조였습니다. 그런데 6월 26일과 27일 이틀 사이에 벌어진 일을 함께 놓고 보면, 두 사건이 사실은 하나의 그림이었다는 것이 분명해집니다. 먼저 그 이틀 동안 무슨 일이 있었는지 정리하면 이렇습니다.6월 26일 금요일, OpenAI가 GPT-5.6을 정부 승인 파트너 약 20곳으로 제한해 출시했습니다. 같은 날, 상무부 장관 Howard Lutnick이 Anthropic에 두 번째..
이번엔 OpenAI 차례였습니다 - 정부의 AI 통제가 표준이 되고 있습니다 2주 전, Anthropic이 정부 명령으로 Fable 5와 Mythos 5를 차단했습니다.지난주 금요일, 이번엔 OpenAI 차례였습니다.6월 26일, OpenAI가 신규 모델 3종 GPT-5.6 Sol, Terra, Luna를 발표했습니다. 이 모델들을 일반에 공개하지 않고, 미국 정부가 승인한 "소수의 신뢰 파트너(Trusted Partners)"에게만 우선 제공한다는 것입니다.미국 정부의 요청에 따라 출시를 제한한다고 OpenAI는 직접 밝혔습니다.내용부터 정리하면 이렇습니다.GPT-5.6은 세 개의 모델로 구성됩니다. Sol은 OpenAI의 최강 플래그십, Terra는 효율과 성능의 균형, Luna는 빠르고 저렴한 모델입니다. 새로운 명명 체계도 함께 도입됐습니다. 숫자(5.6)는 세대를 나타내..
역대 최대 규모의 디스틸레이션 공격 - Anthropic vs Alibaba 6월 24일, CNBC가 Anthropic이 미국 상원에 보낸 서한을 입수해 보도했습니다.내용은 이렇습니다. Anthropic이 중국 기업 Alibaba를 "노골적이고(brazenly) 불법적으로(illicitly)" 자사 AI 역량을 빼내려 했다고 고발했습니다. "지금까지 Anthropic이 확인한 가장 큰 규모의 디스틸레이션 공격(distillation attack)."이라는 내용이었습니다. 서한은 6월 10일자로, 상원 은행위원회의 Tim Scott 위원장과 Elizabeth Warren 간사에게 전달됐습니다. 단순한 기업 간 분쟁이 아니라, 의회를 향한 공식 문제 제기였습니다. 먼저 디스틸레이션이 무엇인지부터 짚어야 합니다.디스틸레이션(Distillation)은 그 자체로는 합법적인 머신러닝 ..
AI 경쟁이 모델에서 사람으로 이동하고 있습니다 - Anthropic과 NEC의 선택 4월 24일 Anthropic이 일본에서 첫 번째 글로벌 파트너를 공개했습니다. NEC는 1899년 설립된 일본 최대 IT 기업 중 하나입니다. 금융, 제조, 지방정부 등 일본 핵심 산업 전반에 깊은 관계를 갖고 있습니다. Anthropic이 일본 시장에 진입하는 방식으로 직접 영업이 아닌, NEC라는 신뢰받는 현지 파트너를 선택한 이유가 여기에 있습니다. 협력의 핵심은 제품이 아닙니다. 사람입니다. 구체적인 내용은 이렇습니다. NEC는 전 세계 약 30,000명의 NEC 그룹 직원에게 Claude를 배포합니다. 단순히 도구를 제공하는 것이 아닙니다. 내부에 우수센터(Center of Excellence, CoE)를 설립해 Anthropic의 기술 지원과 교육을 바탕으로 고도로 숙련된 AI 엔지..
Anthropic이 먼저 했습니다 - AI 신원 인증이 표준이 될 것인가 4월 14일, Anthropic이 헬프센터 페이지를 조용히 업데이트했습니다. 공식 발표도 없었고, 공지 이메일도 없었고, 블로그 포스트도 없었습니다. 사용자들은 X에 올라온 스크린샷을 통해 처음 알았습니다. Claude를 구독하거나 특정 기능에 접근하려면 정부 발급 신분증과 실시간 셀피를 제출해야 한다는 내용이었습니다. Anthropic이 주요 AI 챗봇 중 최초로 소비자 대상 신원 인증을 도입한 것입니다. ChatGPT도, Gemini도, 이런 요구를 하지 않습니다. 구체적인 내용은 이렇습니다. 신원 인증은 모든 사용자에게 적용되지 않습니다. Anthropic은 "일부 사용 사례"에 한해 적용된다고 밝혔습니다. 실제 트리거가 되는 상황은 네 가지입니다. 사용 정책 위반을 반복한 계정, 중국, ..