본문 바로가기

전체 글

 (154)
인터럽트 기반 스티어링 - AI 에이전트를 언제 멈추게 할지 아는 것 AI 에이전트를 처음 쓰기 시작하면 대부분 이렇게 사용합니다.에이전트가 한 단계씩 실행할 때마다 확인하고, 승인하고, 다음으로 넘깁니다.모든 행동을 검토하는 것이 안전하다고 느끼기 때문입니다.그런데 경험이 쌓이면 패턴이 바뀝니다. Anthropic은 최근 수백만 건의 에이전트 사용 데이터를 분석한 연구를 공개했습니다.경험이 많은 사용자일수록 에이전트를 더 많이 자동 승인합니다.초보 사용자는 20% 정도만 자동 승인하지만,숙련 사용자는 40% 이상의 세션에서 자동 승인을 씁니다. 그런데 동시에, 인터럽트도 더 자주 합니다.모든 행동을 하나하나 확인하는 대신,에이전트가 알아서 실행하도록 두다가무언가 어긋나는 순간 개입하는 방식으로 바뀌는 것입니다. 이것이 인터럽트 기반 스티어링입니다.기술적으로 이 패턴은 에..
평가를 통해 AI 에이전트의 역량을 체계적으로 테스트하는 방법 AI 에이전트를 팀 개발에 도입하면 처음에는 생산성이 올라가는 느낌이 납니다.코드가 빠르게 나오고, 반복 작업이 줄어들고, 팀원들도 점점 익숙해집니다. 그런데 어느 순간 이런 상황이 생깁니다.AI 에이전트가 만들어낸 결과물이 의도한 방식과 다르게 동작하거나,팀이 정한 컨벤션에서 벗어난 코드가 조용히 쌓입니다.무엇이 언제부터 어긋났는지 설명하기 어렵습니다. 느낌으로 AI 에이전트를 운영하고 있었던 것입니다. 일반적인 소프트웨어는 같은 입력에 같은 출력이 나옵니다.에이전트를 활용한 개발은 다릅니다.목표를 주면 AI가 스스로 판단하며 단계를 결정하고 실행합니다.같은 명령을 줘도 매번 다른 경로로 실행될 수 있고,중간 판단이 하나 어긋나면 결과물이 조용히 틀어집니다. 기존 테스트 방식으로는 이 문제를 잡기 어렵..
AI는 대화를 어떻게 "기억"하는가 - 컨텍스트 윈도우와 컴팩션에 대하여 AI와 대화를 나누다 보면 이런 경험을 하게 됩니다.분명히 앞에서 말했는데 모르는 것처럼 답하거나, 오래된 대화에서는 맥락이 흐릿해지는 느낌. AI는 대화를 기억하지 않습니다. 읽을 뿐입니다. LLM은 대화를 저장하는 것이 아니라,매 응답마다 지금까지의 대화 전체를 토큰으로 변환해 다시 읽고 답합니다.이 읽을 수 있는 범위를 컨텍스트 윈도우(context window)라고 합니다. 사람의 기억은 시간이 지날수록 흐릿해지고,감정이 실린 것일수록 더 오래 남습니다.AI에게는 그런 가중치가 없습니다.컨텍스트 윈도우 안에 있으면 어제 한 말이나 방금 한 말이나 동등하게 읽힙니다.범위 안에 있으면 "기억하는 것처럼" 보이고,범위를 벗어나면 "잊어버린 것처럼" 보입니다.기억의 문제가 아니라, 읽기의 범위 문제입니다..
CTO에서 CTSO로, 이사회에서 새로운 역할을 제안받았습니다. 3월은 기업의 전년도 결산을 마무리하는 시기입니다. 1분기를 점검하고 2분기 계획을 논의하는 이사회를 진행했습니다. 그 자리에서 CTO에서 CTSO로의 역할 확장 제안을 받았습니다. CTO와 CTSO는 책임의 범위가 다릅니다. CTO(Chief Technology Officer)는 기술의 최고 책임자입니다. 제품을 어떻게 만들지, 어떤 기술 스택을 선택할지, 개발 조직을 어떻게 운영할지를 결정합니다. CTSO(Chief Technology & Strategy Officer)는 기술과 전략을 함께 책임지는 역할입니다. 기술이 사업의 방향과 어떻게 맞닿아야 하는지, 제품이 시장에서 어떻게 포지셔닝되어야 하는지, 기술 결정이 비즈니스 성과로 어떻게 연결되는지를 함께 다룹니다. 사실 기존에도 CTO로서 전사 전..
경영진으로 4년, 창업자로 1년을 보내며 배운 사업의 3요소 공동창업자가 아닌 외부 인원으로 스타트업에 합류해 좋은 기회로 경영진으로 4년을 보냈습니다. 기술 전략부터 사업개발, HR, 국책사업 등 여러 분야에 대해 배우며 Pre-A부터 A시리즈까지 라운딩을 직접 이끌며 40~50명 규모의 조직을 전사 운영해보며 많은 것을 배웠습니다. 이후 좋은 기회로 공연 업계의 B2B 서비스 운영사를 직접 창업해 운영한 지 1년이 지났습니다. 두 경험을 통해 공통으로 배운 것이 있습니다. 장사와 사업은 다르다는 것입니다. 장사는 팔리는 것으로 움직입니다. 사업은 팔리는 것만으로는 지속되지 않습니다. 사업을 지속 가능하게 만드는 것이 무엇인지 계속 고민했습니다. 그 고민의 결론은 세 가지 요소의 조화입니다. 운영/경영, 제품, 세일즈/마케팅/판매입니다. 1) 운영과 경영..
AI 시대일수록 기술 리더가 직접 코드를 짜야 하는 이유 기술 리더가 되면 코드에서 멀어지는 것이 자연스러운 수순처럼 느껴집니다. 회의가 늘고, 의사결정이 많아지고, 팀을 조율하는 일이 우선순위가 됩니다. 직접 코드를 짜는 시간은 환경적인 이유로 점점 줄어듭니다. AI 도구가 구현 속도를 높여주면서 이 흐름은 더 빨라졌습니다. 기술 리더가 직접 코드를 작성하지 않아도 팀이 빠르게 결과물을 만들어내기 때문입니다. 그런데 팀을 운영하면서 반대 방향의 결론에 도달했습니다. AI 시대일수록 기술 리더가 직접 코드를 작성해야 한다는 것입니다. 그 이유는 다음과 같습니다.1) AI 결과물을 판단하려면 직접 활용해봐야 하기 때문입니다.AI가 만든 코드가 좋은지 나쁜지를 판단하는 것은 코드를 읽는 능력만으로는 부족합니다. 어떤 프롬프트를 줬을 때 어떤 결과가 나오는지, 어떤..
AI-First 개발에서 기술 리더는 주니어 개발자를 어떻게 성장시킬 것인가 AI 도구를 통해 코드를 빠르게 생성하는 시대가 되었습니다. 구현 속도가 빨라지면서 팀 안에서 자연스럽게 생기는 질문이 있습니다. 주니어 개발자는 어떻게 성장하는가입니다.이전에는 구현 과정 자체가 학습이었습니다. 직접 코드를 짜면서 오류를 만나고, 디버깅하고, 구조를 이해했습니다. 그 과정에서 성장과 실력이 쌓였습니다. AI가 구현을 대신해주는 비중이 높아질수록 그 경로가 달라집니다. 처음에는 AI 도구의 도입 자체가 문제라고 생각했습니다. 팀 내 주니어가 AI로 만든 코드를 붙여넣고, 돌아가면 이해하지 못한 채 넘어가는 경우가 많았습니다. 팀을 운영하면서 이 문제를 해결하기 위한 방안을 고민했습니다. 해결의 포인트는 AI 도구 사용 여부가 아니라, 어떻게 사용할지에 대한 시스템과 정책을 수립하는 것이었..
프롬프트를 잘 쓰는 것만큼 중요한 컨텍스트 AI 도구를 처음 사용하기 시작하면 프롬프트에 집중하게 됩니다. 더 정확한 단어와 구체적인 지시, 예시를 추가합니다. 도구를 사용하다 보면 프롬프트보다 먼저 챙겨야 할 것이 생깁니다. 컨텍스트입니다. 프롬프트는 모델에게 무엇을 해달라고 요청하는 것입니다. 컨텍스트는 모델이 그 요청을 제대로 이해할 수 있도록 배경을 주는 것입니다. 같은 요청이라도 컨텍스트가 다르면 결과가 달라집니다.AI 도구로 코드 리팩토링을 진행할 때, 모델이 이 코드가 어떤 서비스의 일부인지, 어떤 제약이 있는지, 어떤 방향을 지향하는지 모른다면 기술적으로는 맞지만 현실에서 쓰기 어려운 결과가 나옵니다. 컨텍스트에는 몇 가지 계층이 있습니다.1) 작업의 배경입니다. 이 기능이 왜 필요한지, 어떤 문제를 해결하려는지입니다.모델은 목적을..

티스토리툴바