컴팩션 (1) 썸네일형 리스트형 AI는 대화를 어떻게 "기억"하는가 - 컨텍스트 윈도우와 컴팩션에 대하여 AI와 대화를 나누다 보면 이런 경험을 하게 됩니다.분명히 앞에서 말했는데 모르는 것처럼 답하거나, 오래된 대화에서는 맥락이 흐릿해지는 느낌. AI는 대화를 기억하지 않습니다. 읽을 뿐입니다. LLM은 대화를 저장하는 것이 아니라,매 응답마다 지금까지의 대화 전체를 토큰으로 변환해 다시 읽고 답합니다.이 읽을 수 있는 범위를 컨텍스트 윈도우(context window)라고 합니다. 사람의 기억은 시간이 지날수록 흐릿해지고,감정이 실린 것일수록 더 오래 남습니다.AI에게는 그런 가중치가 없습니다.컨텍스트 윈도우 안에 있으면 어제 한 말이나 방금 한 말이나 동등하게 읽힙니다.범위 안에 있으면 "기억하는 것처럼" 보이고,범위를 벗어나면 "잊어버린 것처럼" 보입니다.기억의 문제가 아니라, 읽기의 범위 문제입니다.. 이전 1 다음