• Knowledge

AI는 방금 읽은 파일을 왜 다시 찾아볼까?

AI의 대화 기록, 컨텍스트 윈도우, 작업 메모, 프롬프트 캐시는 무엇이 다른지 알아봅니다.

시리즈15편 중 3편AI 에이전트는 어떻게 일할까
  1. 01AI는 어떻게 대답만 하다가 실제로 일을 처리하게 될까?
  2. 02AI 에이전트는 왜 같은 작업을 계속 반복할까?
  3. 03AI는 방금 읽은 파일을 왜 다시 찾아볼까?읽는 중
  4. 04AI에게 도구를 많이 연결하면 왜 오히려 일을 못할까?
  5. 05AI에게 문서를 검색하게 해도 왜 틀린 답을 할까?
  6. 06AI가 코드를 고쳤다면 바로 실행해도 될까?
  7. 07AI가 응답하지 않아 다시 실행했는데, 왜 작업이 두 번 처리될까?
  8. 08AI 여러 명을 동시에 투입하면 개발이 더 빨라질까?
  9. 09AI가 이상한 행동을 했을 때 어디부터 디버깅해야 할까?
  10. 10AI와 대화할 때 실제로 어떤 데이터가 오갈까?
  11. 11AI는 왜 대화가 길어질수록 비용이 많이 들까?
  12. 12AI 에이전트를 여러 개 만드는 진짜 이유는 무엇일까?
  13. 13AI가 작업하는 도중 상황이 바뀌면 어떻게 알까?
  14. 14AI 에이전트에 새로운 능력을 추가하는 방법은?
  15. 15AI 에이전트를 직접 만든다면 어떤 코드가 필요할까?

AI와 코드를 고치다 보면 이상한 장면을 만납니다. 조금 전에 읽은 설정 파일을 다시 열어 보거나, 이미 합의한 조건을 놓치고 다른 방향으로 작업하기도 해요.

겉으로는 둘 다 기억을 놓친 것처럼 보이지만 원인은 다를 수 있습니다. 과거 대화가 이번 요청에 전달되지 않았을 수도 있고, 전달됐더라도 긴 내용 속에서 필요한 조건을 놓쳤을 수도 있어요.

긴 대화의 핵심은 모든 내용을 보존하는 것이 아니라 중요한 맥락을 유지하는 것이다.

대화 기록은 모델 안에 자동으로 쌓일까?

대부분의 모델 호출에서는 이번 요청에 전달된 정보가 답변의 직접적인 맥락이 됩니다. API와 서비스에 따라 이전 대화를 애플리케이션이 다시 보내기도 하고, 서버가 대화 상태를 관리해 주기도 해요.

하지만 대화가 저장된다는 것과 모델이 그 내용을 매번 정확히 활용한다는 것은 다릅니다. 저장된 내용이 이번 입력에 포함되지 않았다면 모델은 그 내용을 참고할 수 없고, 포함돼 있어도 너무 길거나 관련 정보가 묻히면 놓칠 수 있어요.

여기서 중요한 개념이 컨텍스트 윈도우(context window)입니다. 한 번의 모델 실행에서 다룰 수 있는 토큰의 범위라고 생각하면 됩니다. 모델마다 크기와 입력·출력 제약은 다릅니다.

대화가 저장되어 있어도 이번 입력에 들어오지 않으면 모델이 직접 참고할 수 없다.

긴 작업에서 무엇을 남겨야 할까?

오류를 고치는 작업을 생각해 봅시다. 로그 파일 3만 줄을 읽으면 많은 텍스트가 들어옵니다. 하지만 실제 해결에 필요한 것은 마지막 오류 메시지와 관련 설정 몇 줄일 수도 있어요.

이런 경우 대화 전체를 계속 붙여 넣는 방법은 효율적이지 않습니다. 다음 세션에서도 꼭 필요한 정보와 잠깐 살펴보았지만 더는 필요 없는 정보를 나눠야 해요.

한 가지 접근은 출력 자체를 짧게 만드는 것입니다. grep으로 관련 줄만 찾거나, 로그의 마지막 구간과 오류 코드만 반환하는 식이죠. 또 다른 방법은 긴 진행 과정을 요약하고 중요한 결정을 별도로 보관하는 것입니다.

예를 들어 이런 기록을 남길 수 있습니다.

Plain Text
목표: 로그인 실패 원인 확인
확인됨: 토큰 발급은 정상
남은 문제: 쿠키의 SameSite 설정 검토
수정 금지: 운영 환경 설정 파일
다음 단계: 재현 테스트 추가

이 메모에는 전체 대화 대신 다음 작업에 필요한 목표와 제약을 남깁니다.

로그는 압축하되 수정 금지 조건과 원본 재확인 경로는 남겨야 한다.

요약하면 기억 문제가 모두 해결될까?

아니요. 요약 과정에서 세부 조건이 누락되거나 잘못 요약될 수 있습니다. “관리자만 다운로드 가능”이라는 조건을 “로그인 사용자만 다운로드 가능”으로 바꿔 적으면 위험하겠죠.

그래서 중요한 값과 결정은 요약문 하나에만 맡기지 않는 편이 좋습니다. 테스트 결과나 파일 경로, 승인 여부는 구조화된 상태로 보관하고, 필요할 때 원본을 다시 읽을 수 있게 만드는 방식이 더 안전해요.

또한 변경될 수 있는 외부 상태는 과거 기억보다 지금 다시 확인한 사실을 우선해야 합니다. 파일을 다시 읽는 행동이 언제나 낭비는 아닌 이유예요. 다른 개발자가 파일을 수정했을 수도 있으니까요.

프롬프트 캐시와 기억은 무엇이 다를까?

프롬프트 캐싱은 이전 요청과 공통인 입력 부분의 계산을 재사용해 비용이나 지연을 줄이는 기술입니다. 서비스와 모델, 캐시 정책에 따라 적용 방식이 달라요.

반면 작업 기억은 “사용자와 무엇을 약속했는가”, “어떤 파일을 수정했는가” 같은 내용을 다음 판단에 활용하도록 저장·검색하는 설계입니다.

캐시는 동일한 입력을 효율적으로 처리하는 기술이지, 누락된 사실을 되살리는 장치가 아닙니다. 캐시가 있어도 잘못된 맥락을 보냈다면 잘못된 맥락을 빠르게 처리할 뿐이에요.

캐시는 계산을 줄이고, 작업 기억은 다음 판단에 필요한 정보를 남긴다.

중요한 건 오래 기억하는 게 아니라 필요한 것을 남기는 것

긴 작업에서는 모든 대화를 계속 붙여 넣기보다 필요한 정보를 골라 남겨야 합니다. 지켜야 할 제약은 분명하게 기록하고, 임시 로그는 줄이고, 바뀔 수 있는 사실은 다시 확인할 수 있게 두는 식입니다.

파일을 다시 읽는 일이 보이면 이유부터 살펴보세요. 다른 사람이 수정했을 가능성을 확인하는 건지, 아니면 앞서 정한 내용을 놓쳐서 다시 찾는 건지에 따라 해결 방법이 달라집니다.

댓글 0

이 글에 대한 생각을 자유롭게 남겨주세요.

댓글 관련 문의

댓글을 불러오는 중…

갑자기 추워진 날, 진주에서

진주에서 하루종일 돌아다녔다

양승민

내 단점을 커버하는 동료와 함께.

새로운 프로젝트를 함께 준비하는 친구와의 저녁. 미운 점도 고마운 점도 있지만, 결국 같이 잘됐으면 좋겠다는 마음.

양승민

순천과 여수 여행3

마지막 하루. 공부랑 런닝으로 끝내기

양승민
See all