에이전트형 RAG의 조용한 고장: 검색 단계가 틀어지는 문제
운영 중인 시스템에서 검색, 재순위화, 답변 생성, 출력 검사를 차례로 돌린 지 약 6개월이 지났다. 몇 주 전 검색 단계가 주제에서 조금 벗어난 문서 조각을 가져오기 시작했지만, 은 여전히 그럴듯하고 자신 있는 답을 만들었다.
문제는 내부 감시가 아니라 고객 문의로 드러났고, 사용자는 답변 정보가 오래된 것 같다고 느꼈다. 원인은 문서 업데이트 뒤 임베딩 분포가 조금 바뀌면서, 결과가 비슷해 보이지만 실제로는 틀린 문서 조각으로 밀린 것이었다.
주간 단위 , 이미 아는 문제만 잡는 자동 평가, 배포 뒤 사람이 몇 개만 확인하는 방식은 이런 느린 변화까지 잡지 못했다. 로 프롬프트와 답변 변화를 추적하자 답변 쪽 변화는 볼 수 있었지만, 검색 단계와 벡터 계층의 변화는 보이지 않았다.
핵심 포인트
- 운영 중인 에서 검색 결과가 조금씩 엉뚱한 문서 조각으로 바뀌었다.
- 은 잘못된 근거를 받아도 자신 있는 답을 만들 수 있었다.
- 문서 업데이트가 임베딩 분포를 바꾸면서 결과가 틀어졌다.
- 주간 테스트, 자동 평가, 사람이 하는 일부 확인만으로는 느린 변화를 잡기 어렵다.
- 프롬프트와 답변 추적만으로는 검색 단계와 벡터 계층 문제를 보기 어렵다.