RAG 답변의 근거를 끝까지 추적하는 청크 ID 설계법
시스템에서는 검색 보다 답변 근거가 처리 과정에서 사라지는 문제가 더 어려울 수 있다. 최종 답변에 문서 전체 링크만 붙으면, 특정 주장을 실제 원문이 뒷받침하는지 확인하기 어렵다. 이를 막으려면 자료를 처음 넣을 때 , 페이지, 청크 순서를 조합해 고유한 청크 ID를 만들고 이후 단계에서 바꾸지 않아야 한다.
모델에는 실제 ID 대신 [1], [2] 같은 짧은 번호만 보여주고, 번호와 실제 ID의 연결표는 요청을 처리하는 코드가 따로 보관한다. 다섯 개 청크만 전달했는데 모델이 [7]을 인용하면 존재하지 않는 근거를 만든 사실을 즉시 잡아낼 수 있다. 는 검색용 색인으로만 쓰고, 실제 청크 내용은 단순하고 안정적인 원본 저장소에 보관하는 편이 안전하다.
이 방식은 과 Elasticsearch를 포함해 특정 도구에 묶이지 않고 적용할 수 있다.
핵심 포인트
- 자료를 처음 넣을 때 청크 ID를 한 번 만들고 계속 유지한다.
- 청크 ID에는 , 페이지, 청크 순서를 조합할 수 있다.
- 모델에는 실제 ID 대신 [1], [2] 같은 짧은 번호를 전달한다.
- 전달하지 않은 번호가 인용되면 잘못 만든 근거로 즉시 판정한다.
- 와 실제 청크 내용을 보관하는 원본 저장소를 분리한다.