RAG 캐시가 틀린 답을 줄 수 있는 두 가지 상황
앞에 를 두면 같은 질문에 대해 검색과 생성을 다시 하지 않아 비용과 시간을 줄일 수 있다. 하지만 실제 경험에서는 가 자신 있게 틀린 답을 내는 문제가 생겼다. 첫째, 원본 문서가 바뀌어도 는 예전 답을 계속 내보낼 수 있다.
1시간 을 걸어도 문제는 사라지지 않고, 최대 1시간 동안 낡은 답을 허용하는 것에 가깝다. 둘째, 비용을 아끼려고 원문 전체가 아니라 요약이나 뽑아낸 주장만 저장하면 나중에 필요한 세부 사실이 빠질 수 있다. 이때 적중은 성공처럼 보이지만, 실제로는 일반 보다 더 부족한 답을 만든다.
효과가 있었던 개선책은 된 답이 어떤 출처를 근거로 삼았는지 기록하고, 그 출처가 바뀌면 관련된 만 지우는 방식이다.
핵심 포인트
- 같은 질문을 해도 원본 문서가 바뀌면 예전 답이 그대로 나갈 수 있다.
- 은 낡은 답을 완전히 막지 못하고, 정해진 시간만큼 지연시킬 뿐이다.
- 원문 대신 요약만 저장하면 나중에 필요한 세부 정보가 사라질 수 있다.
- 적중이 항상 좋은 결과를 뜻하지는 않는다.
- 항목마다 근거 출처를 기록하고, 출처가 바뀌면 관련 만 지우는 방식이 도움이 된다.