응답 지연과 토큰 비용을 줄이는 캐싱 방식 논의
사용자가 답변을 5~20초씩 기다린다면, 보통 캐싱, , 검색 개선으로 속도를 줄이려 한다. 하지만 도 대개 문서 조각을 저장하는 방식이라, 모델은 다시 그 조각을 읽고 처리해야 한다. 그래서 은 계속 들고, 답변 시간도 크게 줄지 않을 수 있다.
더 나은 방법은 문서 조각 자체가 아니라 그 조각에서 뽑아낸 이해 내용을 저장하는 것이다. 그러면 검색 작업, 문맥 구성, , 전체 응답 시간을 함께 줄일 가능성이 있다. 핵심 어려움은 최신성이다.
원본 문서, , 코드, 가 바뀌었을 때 저장해 둔 이해 내용을 언제 버리고 다시 만들지 정해야 한다.
핵심 포인트
- 일반 캐싱은 같은 요청이나 결과를 재사용해 응답 시간을 줄인다.
- 도 문서 조각을 다시 모델에 넣으면 이 다시 든다.
- 문서 조각에서 만든 이해 내용을 저장하면 검색과 문맥 구성을 줄일 수 있다.
- 응답 지연과 을 동시에 줄이는 데 도움이 될 수 있다.
- 원본 자료가 바뀌었을 때 캐시를 무효화하는 기준이 필요하다.