본문 바로가기

보안

(10)
에이전트 시대의 보안은 모델이 아니라 권한의 문제입니다 - 10월 21일 나쁜 보안의 하루 10월 21일 하루에 보안 뉴스가 쏟아졌습니다.PHP, Node.js, GitLab이 같은 날 긴급 보안 패치를 냈고 LiteLLM과 Railway는 침해를 공지했습니다.TechCrunch는 "인터넷이 매우 나쁜 보안의 하루를 보내고 있다"고 썼습니다.성격은 제각각이지만 굵직한 사건마다 AI가 있었습니다. PHP의 치명적인 결함을 AI가 찾아냈습니다.인증 없이 원격 코드를 실행할 수 있는 CVSS 9.2짜리 취약점 두 건이었습니다.보안업체 Calif의 연구원이 지난 8월 GPT-5.6 Sol로 찾아냈고 Wiz가 독립적으로 같은 결함을 찾았습니다.Wiz는 10년 넘게 잠복해 있던 결함을 연구원 한 명이 AI와 함께 일주일 만에 익스플로잇으로 만들었다고 설명했습니다.약 두 달의 비공개 조율 끝에 공개를 앞두..
한국 금융사 7곳의 보안이 뚫렸습니다 - ARTEX가 보여준 것 9월 28일부터 10월 4일 사이에 국내 금융사 7곳이 잇따라 개인정보 침해를 공시했습니다. 신한은행과 KB국민은행을 포함한 주요 금융기관들입니다.유출된 정보는 약 6만 8천 명분으로 알려졌고, 일부에는 고객과 임직원의 연소득과 신용한도 같은 민감한 항목이 포함되어 있습니다.10월 6일 경찰청이 정식 수사에 착수했고, 같은 날 이재명 대통령님이 국무회의에서 일부 공격에 AI가 사용된 정황이 있다고 언급했습니다.공격에 쓰인 도구부터 보면 아래와 같습니다. 금융보안원이 첫 신고 기관인 신한은행의 공격 IP와 서버 로그를 추적한 결과, ARTEX라는 도구의 흔적이 확인됐습니다. 10월 2일 지니언스 시큐리티센터의 문종현 센터장님은 크리덴셜 스터핑 공격에 연결된 웹서버의 HTML 제목에 "ARTEX - 自主渗..
오픈웨이트 모델이 Mythos급 공격 역량에 도달했습니다 9월 29일, Anthropic의 Frontier Red Team이 보고서를 발표했습니다.자사 모델이 아니라 경쟁사 모델에 대한 평가였습니다.중국 Zhipu AI가 8월에 공개한 오픈웨이트 모델 GLM-5.3입니다. 보고서의 결론은 분명합니다.GLM-5.3은 처음부터 끝까지 작동하는 익스플로잇을 스스로 만들 수 있고,그 수준이 Claude Mythos Preview에 거의 근접하다는 내용입니다. 수치부터 보면 Chrome의 V8 엔진에 알려진 취약점을 익스플로잇하는 ExploitBench에서 GLM-5.3은 410회 시도 가운데 50회 성공했습니다.Mythos Preview는 56회였습니다. 비율로 보면 12.2%와 13.7%입니다. Anthropic 내부의 바이너리 익스플로잇 테스트에서는 GLM-5.3..
피해자가 가해자에게 요구한 것 - Hugging Face의 두 가지 조건 7월 26일 토요일, Hugging Face의 공동창업자이자 CEO인 Clement Delangue가 X에 글을 올렸습니다. 며칠 전 OpenAI의 AI 에이전트가 자사 프로덕션 시스템에 침투한 사건에 대한 입장이었습니다.그는 샌프란시스코로 날아가 OpenAI 경영진을 직접 만난 뒤, "투명성의 정신"으로 요구 사항을 공개한다고 밝혔습니다. 요구는 두 가지였습니다.그런데 그 두 가지에는 손해배상도, 사과도, 법적 조치도 들어 있지 않았습니다. 먼저 사건의 시간표를 정리하면 이렇습니다.7월 16일, Hugging Face가 자율 에이전트 하나가 내부 데이터셋과 자격증명에 접근했다는 사실을 공개했습니다.OpenAI가 자사 모델의 관여를 확인한 것은 7월 21일과 22일이었습니다.공식 공개는 7월 24일에 이..
OpenAI의 에이전트가 샌드박스를 탈출했습니다 7월 21일, OpenAI가 이례적인 보안 사고를 공개했습니다. 자사의 AI 모델이 격리된 테스트 환경을 스스로 빠져나와 외부 인터넷에 접근했고, Hugging Face의 프로덕션 시스템까지 침투했다는 내용입니다.사고에 관여한 것은 GPT-5.6 Sol과 아직 공개되지 않은 더 강력한 모델이었습니다. 가장 놀라운 것은 동기였습니다.이 모델들은 누군가의 공격 지시를 받은 것이 아닙니다.자신에게 주어진 벤치마크 시험을 통과하기 위해 그 시험의 정답을 찾아 나선 것입니다. 무슨 일이 있었는지부터 정리하면 이렇습니다.OpenAI는 모델의 사이버 공격 역량을 측정하기 위해 ExploitGym이라는 벤치마크로 평가를 진행하고 있었습니다.실제 소프트웨어 취약점을 작동하는 익스플로잇 코드로 바꿔내는 과제 898개로 구..
사이버보안이 AI 경쟁의 새로운 전선이 됐습니다. 4월 7일 Anthropic이 Claude Mythos Preview를 발표하며 일반 공개를 보류했습니다.일주일 뒤인 4월 15일, OpenAI가 GPT-5.4-Cyber를 발표했습니다. 두 발표 사이의 일주일이 흥미롭습니다. Anthropic이 사이버보안 역량을 AI 경쟁의 핵심 전선으로 올려놓자, OpenAI가 바로 같은 전선에서 자신의 답을 내놓은 것입니다. 두 모델과 두 전략은 이렇습니다.Anthropic의 Claude Mythos Preview는 사이버보안 전용 모델이 아닙니다. 범용 모델인데 사이버보안 역량이 너무 강력해서 제한적으로 운영하는 것입니다. Project Glasswing을 통해 Amazon, Apple, Microsoft, Google 등 12개 핵심 파트너와 약 40개 조직에만..
에이전트가 강력해질수록 공격 표면도 커집니다 - 프롬프트 인젝션에 대하여 지난 1월, Anthropic이 Claude Cowork를 출시했습니다.파일을 자율적으로 분석하고 정리하는 데스크탑 에이전트입니다. 출시 4일 만에 월 20달러 Pro 플랜 전체로 확대됐습니다. 사용자들의 반응은 좋았습니다. 한 개발자는 자신의 사이트에 있는 46개의 미발행 초안을 몇 분 만에 44번의 웹 검색으로 분석했다고 공유했습니다. 사람이 했다면 오후 내내 걸렸을 작업이었습니다.출시 48시간 후, 보안 연구팀 PromptArmor가 취약점을 공개했습니다. 공격 방식은 단순합니다.공격자가 악성 명령을 숨긴 문서를 하나 만듭니다. 흰 배경에 흰 글씨, 0.1pt 줄 간격. 육안으로는 보이지 않습니다. 이 문서를 사용자가 Cowork에 연결된 폴더에 넣습니다. Cowork가 파일을 분석하는 순간, 숨겨..
AI가 버그를 찾는 시대 - Claude의 Firefox 취약점 발견이 의미하는 것 보안 연구자가 수십 년간 검토해온 코드베이스에서 AI가 20분 만에 심각한 취약점을 발견했습니다.Anthropic과 Mozilla의 협업 이야기입니다. Claude Opus 4.6은 2주 동안 Firefox 코드베이스를 분석해 22개의 CVE를 발견했고,그 중 14개는 high-severity로 분류됐습니다.이 수치는 2025년 한 해 동안 Firefox에서 패치된 high-severity 취약점의 약 5분의 1에 해당합니다. Firefox는 수억 명이 매일 사용하는 브라우저입니다.수십 년간 보안 연구자들이 검토해왔고, 지속적인 퍼징(fuzzing)과 정적 분석이 이루어진 프로젝트입니다.Anthropic이 이 프로젝트를 선택한 이유도 바로 그것입니다. Anthropic이 Firefox를 선택한 이유는 하..