시스템 프롬프트가 토큰 비용을 잡아먹는 기능 찾기

일부 인공지능 기능은 매번 들어가는 입력 토큰 수가 크지만, 호출마다 내용 변화는 작다. 이런 경우 긴 시스템 프롬프트가 대부분의 입력을 차지해 비용을 올리고 있을 수 있다. ProjectDiscovery는 자주 바뀌는 작업 메모리를 시스템 프롬프트 밖으로 옮겨 캐시 적중률을 7%에서 84%로 높였고, 거대언어모델 비용을 59% 줄였다.

이를 찾는 한 가지 방법은 기능별 입력 토큰 수를 일정 기간 동안 모아 표준편차를 평균으로 나눈 변동계수를 보는 것이다. 입력 토큰 수가 항상 비슷하게 높으면, 고정된 프롬프트가 반복되어 캐시 절감 기회가 있을 가능성이 크다. 다만 여러 번 주고받는 대화는 대화 기록이 계속 붙어 입력이 자연스럽게 커지기 때문에, 실제로는 고정 프롬프트가 커도 변동이 큰 것처럼 보일 수 있다.

도구 호출도 도구 스키마가 시스템 프롬프트에 붙는데, 도구 목록이 조금씩 바뀌면 진짜 캐시 기회가 아닌데도 낮은 변동 신호처럼 보일 수 있다. 그래서 단순히 변동계수만 볼지, 대화 기록과 도구 스키마를 따로 떼어 계산할지, 또는 최소 입력 토큰이 500개를 넘는 기능을 표시하는 식의 경험적 기준을 쓸지가 핵심 문제다.