본문 바로가기

전체 글

 (152)
AI는 대화를 어떻게 "기억"하는가 - 컨텍스트 윈도우와 컴팩션에 대하여 AI와 대화를 나누다 보면 이런 경험을 하게 됩니다.분명히 앞에서 말했는데 모르는 것처럼 답하거나, 오래된 대화에서는 맥락이 흐릿해지는 느낌. AI는 대화를 기억하지 않습니다. 읽을 뿐입니다. LLM은 대화를 저장하는 것이 아니라,매 응답마다 지금까지의 대화 전체를 토큰으로 변환해 다시 읽고 답합니다.이 읽을 수 있는 범위를 컨텍스트 윈도우(context window)라고 합니다. 사람의 기억은 시간이 지날수록 흐릿해지고,감정이 실린 것일수록 더 오래 남습니다.AI에게는 그런 가중치가 없습니다.컨텍스트 윈도우 안에 있으면 어제 한 말이나 방금 한 말이나 동등하게 읽힙니다.범위 안에 있으면 "기억하는 것처럼" 보이고,범위를 벗어나면 "잊어버린 것처럼" 보입니다.기억의 문제가 아니라, 읽기의 범위 문제입니다..
CTO에서 CTSO로, 이사회에서 새로운 역할을 제안받았습니다. 3월은 기업의 전년도 결산을 마무리하는 시기입니다. 1분기를 점검하고 2분기 계획을 논의하는 이사회를 진행했습니다. 그 자리에서 CTO에서 CTSO로의 역할 확장 제안을 받았습니다. CTO와 CTSO는 책임의 범위가 다릅니다. CTO(Chief Technology Officer)는 기술의 최고 책임자입니다. 제품을 어떻게 만들지, 어떤 기술 스택을 선택할지, 개발 조직을 어떻게 운영할지를 결정합니다. CTSO(Chief Technology & Strategy Officer)는 기술과 전략을 함께 책임지는 역할입니다. 기술이 사업의 방향과 어떻게 맞닿아야 하는지, 제품이 시장에서 어떻게 포지셔닝되어야 하는지, 기술 결정이 비즈니스 성과로 어떻게 연결되는지를 함께 다룹니다. 사실 기존에도 CTO로서 전사 전..
경영진으로 4년, 창업자로 1년을 보내며 배운 사업의 3요소 공동창업자가 아닌 외부 인원으로 스타트업에 합류해 좋은 기회로 경영진으로 4년을 보냈습니다. 기술 전략부터 사업개발, HR, 국책사업 등 여러 분야에 대해 배우며 Pre-A부터 A시리즈까지 라운딩을 직접 이끌며 40~50명 규모의 조직을 전사 운영해보며 많은 것을 배웠습니다. 이후 좋은 기회로 공연 업계의 B2B 서비스 운영사를 직접 창업해 운영한 지 1년이 지났습니다. 두 경험을 통해 공통으로 배운 것이 있습니다. 장사와 사업은 다르다는 것입니다. 장사는 팔리는 것으로 움직입니다. 사업은 팔리는 것만으로는 지속되지 않습니다. 사업을 지속 가능하게 만드는 것이 무엇인지 계속 고민했습니다. 그 고민의 결론은 세 가지 요소의 조화입니다. 운영/경영, 제품, 세일즈/마케팅/판매입니다. 1) 운영과 경영..
AI 시대일수록 기술 리더가 직접 코드를 짜야 하는 이유 기술 리더가 되면 코드에서 멀어지는 것이 자연스러운 수순처럼 느껴집니다. 회의가 늘고, 의사결정이 많아지고, 팀을 조율하는 일이 우선순위가 됩니다. 직접 코드를 짜는 시간은 환경적인 이유로 점점 줄어듭니다. AI 도구가 구현 속도를 높여주면서 이 흐름은 더 빨라졌습니다. 기술 리더가 직접 코드를 작성하지 않아도 팀이 빠르게 결과물을 만들어내기 때문입니다. 그런데 팀을 운영하면서 반대 방향의 결론에 도달했습니다. AI 시대일수록 기술 리더가 직접 코드를 작성해야 한다는 것입니다. 그 이유는 다음과 같습니다.1) AI 결과물을 판단하려면 직접 활용해봐야 하기 때문입니다.AI가 만든 코드가 좋은지 나쁜지를 판단하는 것은 코드를 읽는 능력만으로는 부족합니다. 어떤 프롬프트를 줬을 때 어떤 결과가 나오는지, 어떤..
AI-First 개발에서 기술 리더는 주니어 개발자를 어떻게 성장시킬 것인가 AI 도구를 통해 코드를 빠르게 생성하는 시대가 되었습니다. 구현 속도가 빨라지면서 팀 안에서 자연스럽게 생기는 질문이 있습니다. 주니어 개발자는 어떻게 성장하는가입니다.이전에는 구현 과정 자체가 학습이었습니다. 직접 코드를 짜면서 오류를 만나고, 디버깅하고, 구조를 이해했습니다. 그 과정에서 성장과 실력이 쌓였습니다. AI가 구현을 대신해주는 비중이 높아질수록 그 경로가 달라집니다. 처음에는 AI 도구의 도입 자체가 문제라고 생각했습니다. 팀 내 주니어가 AI로 만든 코드를 붙여넣고, 돌아가면 이해하지 못한 채 넘어가는 경우가 많았습니다. 팀을 운영하면서 이 문제를 해결하기 위한 방안을 고민했습니다. 해결의 포인트는 AI 도구 사용 여부가 아니라, 어떻게 사용할지에 대한 시스템과 정책을 수립하는 것이었..
프롬프트를 잘 쓰는 것만큼 중요한 컨텍스트 AI 도구를 처음 사용하기 시작하면 프롬프트에 집중하게 됩니다. 더 정확한 단어와 구체적인 지시, 예시를 추가합니다. 도구를 사용하다 보면 프롬프트보다 먼저 챙겨야 할 것이 생깁니다. 컨텍스트입니다. 프롬프트는 모델에게 무엇을 해달라고 요청하는 것입니다. 컨텍스트는 모델이 그 요청을 제대로 이해할 수 있도록 배경을 주는 것입니다. 같은 요청이라도 컨텍스트가 다르면 결과가 달라집니다.AI 도구로 코드 리팩토링을 진행할 때, 모델이 이 코드가 어떤 서비스의 일부인지, 어떤 제약이 있는지, 어떤 방향을 지향하는지 모른다면 기술적으로는 맞지만 현실에서 쓰기 어려운 결과가 나옵니다. 컨텍스트에는 몇 가지 계층이 있습니다.1) 작업의 배경입니다. 이 기능이 왜 필요한지, 어떤 문제를 해결하려는지입니다.모델은 목적을..
LLM마다 답변이 다른 이유는 사전학습과 사후학습에 있습니다. Claude, GPT, Gemini를 함께 쓰다 보면 같은 질문에도 답변의 결이 다릅니다. 처음엔 단순히 모델 성능 차이라고 생각할 수 있습니다.하지만 모델을 사용할수록 그 차이가 어디서 오는지 알 수 있습니다. 사전학습과 사후학습의 차이입니다. 사전학습(Pre-training)은 모델이 방대한 데이터를 통해 언어와 지식을 학습하는 단계입니다.사후학습(Post-training)은 그 위에서 모델이 어떻게 대답해야 하는지, 어떤 방식으로 사람과 상호작용해야 하는지를 조정하는 단계입니다.같은 규모의 사전학습을 거쳤더라도 사후학습의 방향에 따라 모델의 성격과 응답 방식이 달라집니다. GPT는 범용성이 강합니다. 다양한 태스크에 고르게 대응하도록 사후학습이 설계된 느낌입니다.특정 영역에서 두드러지기보다 어디서든..
1분기 회고를 마치며, 2분기 목표는 센토어가 되는 것 입니다. 2026년 1분기가 끝나가면서 이번 주에 팀 회고를 진행했습니다.저희 팀은 이번 분기 동안 AI-First 개발 프로세스를 도입하고 공식화하는 작업을 진행했습니다.새로운 프로세스 도입에 따라 역할별 세부 프로세스와 정책을 재정의하여 문서화하고 매뉴얼로 만들었습니다.1분기는 AI-First 개발 프로세스의 팀 내 기반을 다지는 분기였습니다.회고를 마치고 자연스럽게 2분기 방향 이야기가 나왔습니다.시스템과 프로세스를 갖췄다면, 이제 어떻게 써야 잘 활용할 수 있을까.팀원들과 함께 고민하던 중 최근 Anthropic CEO 다리오 아모데이가 뉴욕타임스 팟캐스트 인터뷰에서 한 이야기가 생각났습니다.1997년 가리 카스파로프가 딥블루에게 패배한 이후, 체스에서는 약 15~20년간 특별한 시대가 있었습니다.AI의 ..

티스토리툴바