• Knowledge

AI는 왜 대화가 길어질수록 비용이 많이 들까?

반복되는 모델 호출이 입력 토큰 비용을 키우는 이유와 프롬프트 캐시의 원리, 캐시가 깨지는 조건을 작은 계산으로 설명합니다.

시리즈15편 중 11편AI 에이전트는 어떻게 일할까
  1. 01AI는 어떻게 대답만 하다가 실제로 일을 처리하게 될까?
  2. 02AI 에이전트는 왜 같은 작업을 계속 반복할까?
  3. 03AI는 방금 읽은 파일을 왜 다시 찾아볼까?
  4. 04AI에게 도구를 많이 연결하면 왜 오히려 일을 못할까?
  5. 05AI에게 문서를 검색하게 해도 왜 틀린 답을 할까?
  6. 06AI가 코드를 고쳤다면 바로 실행해도 될까?
  7. 07AI가 응답하지 않아 다시 실행했는데, 왜 작업이 두 번 처리될까?
  8. 08AI 여러 명을 동시에 투입하면 개발이 더 빨라질까?
  9. 09AI가 이상한 행동을 했을 때 어디부터 디버깅해야 할까?
  10. 10AI와 대화할 때 실제로 어떤 데이터가 오갈까?
  11. 11AI는 왜 대화가 길어질수록 비용이 많이 들까?읽는 중
  12. 12AI 에이전트를 여러 개 만드는 진짜 이유는 무엇일까?
  13. 13AI가 작업하는 도중 상황이 바뀌면 어떻게 알까?
  14. 14AI 에이전트에 새로운 능력을 추가하는 방법은?
  15. 15AI 에이전트를 직접 만든다면 어떤 코드가 필요할까?

AI에게 코드 한 줄을 수정하라고 요청했는데 에이전트가 파일을 열고, 검색하고, 테스트를 실행하고, 다시 파일을 고칩니다. 작업 자체는 몇 분이면 끝나는데 비용 기록에는 생각보다 많은 입력 토큰이 찍혀요.

에이전트가 모델을 여러 번 호출하면서 이전 대화와 도구 결과를 반복해서 입력하기 때문일 수 있습니다. 같은 입력의 처리 비용을 줄이는 방법 중 하나가 프롬프트 캐싱입니다.

하나의 사용자 요청이 여러 번의 모델 입력으로 확장될 수 있다.

한 번 읽은 대화를 왜 또 보내는 걸까?

모델이 다음 작업을 선택하려면 앞선 일을 알아야 합니다. 어떤 파일을 열었는지, 테스트에서 어떤 오류가 났는지, 직전에 어떤 수정을 했는지 모르면 이어서 작업할 수 없죠.

이를 위해 애플리케이션은 이전 메시지와 도구 결과를 다음 호출의 입력에 포함하거나, 제공자가 관리하는 대화 상태를 연결합니다. 상태를 서버에 맡기는 API도 있지만 이전 내용의 입력 토큰이 비용 계산에서 사라지는 것은 아닐 수 있어요.

도구를 반복하는 동안 요청의 입력 크기는 보통 늘어납니다. 처음에는 사용자 지시와 코드 일부뿐이지만, 뒤로 갈수록 검색 결과와 실패 로그가 쌓이기 때문입니다.

작은 숫자로 직접 계산해 보자

매 호출의 입력이 처음에 5,000토큰이고, 도구를 한 번 쓸 때마다 대화 기록이 1,000토큰씩 늘어난다고 가정해 볼게요. 20번 호출하면 입력 토큰 수는 다음과 같습니다.

Plain Text
1회  5,000
2회  6,000
3회  7,000
...
20회 24,000
-----------------
합계 290,000 입력 토큰

사용자가 처음 요청한 문장은 짧더라도 입력 토큰 합계가 커집니다. 이것은 가상의 예제이며 실제 앱의 도구 결과 크기, 요약 방식, 서버 관리 상태에 따라 달라질 수 있어요.

특히 출력 토큰과 입력 토큰의 요금이 다른 모델에서는 입력 누적 비용을 별도로 보는 게 중요합니다.

20번 호출하면 마지막 입력 24,000토큰보다 훨씬 많은 290,000토큰이 누적된다.

프롬프트 캐시는 무엇을 저장할까?

프롬프트 캐싱은 이전 요청과 다음 요청의 앞부분이 동일할 때, 이미 처리한 앞부분의 중간 계산 결과를 재사용하는 방식입니다. 쉽게 말해 같은 책의 앞부분을 매번 처음부터 다시 읽는 대신 이전에 처리해 둔 상태를 활용하는 거예요.

새 요청을 고정된 지시 + 이전 대화 + 새 질문으로 구성한다면, 앞의 많은 부분이 직전 요청과 같을 수 있습니다. 캐시가 유지되고 제공자·모델의 조건이 맞으면 재계산이 줄어 지연시간이나 과금이 감소할 수 있죠.

캐시를 사용해도 입력 토큰이 컨텍스트 윈도우에서 사라지지는 않습니다. 모델은 여전히 그 내용을 참고해야 합니다. 또한 이전 답변 문장 자체를 그대로 반환하는 ‘답변 캐시’도 아니에요.

캐시의 저장 시간과 최소 입력 길이, 명시적 캐시 지점 지원 여부, 캐시 읽기 가격은 제공자와 모델에 따라 다릅니다. 따라서 특정 할인율을 모든 모델의 규칙으로 외우면 안 됩니다.

왜 앞부분을 바꾸면 캐시가 잘 깨질까?

두 문서가 첫 페이지부터 30페이지까지 같으면 그 앞부분의 처리를 재사용하기 쉽습니다. 그런데 첫 문장을 바꿔 버리면 그다음 내용이 같더라도 재사용 가능한 연속된 앞부분은 짧아질 수 있어요.

프롬프트도 비슷합니다. 시스템 지시, 도구 설명, 대화 메시지를 조립하는 방식에 따라 앞부분이 안정적으로 유지될수록 캐시를 활용할 여지가 생깁니다.

예를 들어 요청 맨 앞에 매번 변경되는 시간을 넣으면 어떨까요?

Plain Text
요청 A: [현재시각 10:01] [규칙] [대화기록]
요청 B: [현재시각 10:02] [규칙] [대화기록] [새 질문]

시간 표시가 제일 앞에서 달라진다면 길게 이어지는 동일한 접두 구간을 만들기 어려워집니다. 같은 정보를 최신 메시지 쪽에 추가하는 구성은 더 안정적일 수 있죠. 단, 규칙과 지시가 서로 다른 역할을 갖는 API라면 그 역할을 임의로 바꾸어서는 안 됩니다.

요청의 공통된 앞부분이 길수록 캐시 재사용 기회가 커진다.

캐시를 잘 맞추는 것이 언제 손해일까?

캐시 적중률을 높이려고 불필요한 문서를 계속 넣어 두면 컨텍스트가 비대해질 수 있습니다. 입력 처리 비용은 할인되더라도 모델이 판단해야 할 정보량, 출력의 품질, 컨텍스트 한도 문제가 남아요.

반대로 오래된 대화를 압축하면 프롬프트 구조가 바뀌어 기존 캐시의 일부를 덜 활용할 수 있습니다. 그렇지만 쓸모없는 로그 수만 토큰을 계속 들고 다니는 것보다 낫겠죠.

즉, 캐시 재사용률과 컨텍스트 품질은 같은 최적화 목표가 아닙니다. 우선 도구 출력의 불필요한 부분을 잘라 내고, 장기간 필요한 결정만 별도로 정리한 뒤 캐시를 고려해야 합니다.

캐시가 실제로 효과가 있는지 어떻게 확인할까?

지원되는 API라면 사용량 응답에서 캐시로 처리된 입력 토큰 수를 확인할 수 있습니다. 단순히 총 비용만 보면 모델 변경, 출력 길이, 호출 횟수의 영향과 구분하기 어려워요.

비교할 때는 같은 종류의 요청을 여러 번 실행하면서 전체 입력 토큰, 캐시 읽기 토큰, 출력 토큰, 전체 지연시간을 함께 기록하면 좋습니다. 캐시가 만료되거나 다른 서버로 라우팅되면 동일한 접두 부분이 있어도 적중하지 않을 수 있다는 점도 고려해야 합니다.

캐시 적중률 하나가 아니라 전체 사용량과 지연시간을 함께 비교해야 한다.

결국 비용을 결정하는 것은 무엇일까?

사용자에게는 질문 한 번이어도 내부에서는 모델 호출이 여러 번 일어납니다. 비용을 살펴볼 때는 호출 횟수와 각 호출의 입력·출력 토큰을 함께 확인해야 합니다.

프롬프트 캐시는 반복 입력의 계산을 줄이는 유용한 기술입니다. 하지만 오래된 작업 로그를 정리하고, 꼭 필요한 정보만 다음 요청에 전달하는 설계까지 대체하지는 못합니다. 캐시와 컨텍스트 정리를 서로 다른 도구로 이해하는 것이 출발점이에요.

댓글 0

이 글에 대한 생각을 자유롭게 남겨주세요.

댓글 관련 문의

댓글을 불러오는 중…

갑자기 추워진 날, 진주에서

진주에서 하루종일 돌아다녔다

양승민

내 단점을 커버하는 동료와 함께.

새로운 프로젝트를 함께 준비하는 친구와의 저녁. 미운 점도 고마운 점도 있지만, 결국 같이 잘됐으면 좋겠다는 마음.

양승민

순천과 여수 여행3

마지막 하루. 공부랑 런닝으로 끝내기

양승민
See all