Haystack RAG 오류를 더 빨리 찾는 진단 도구
2.x로 만든 에서 검색 결과가 갑자기 줄거나 실패할 때 원인을 찾기 어려운 문제가 있다. 원인은 문서 저장소 문제, 검색기 설정 오류, 위쪽 데이터 처리 과정의 메타데이터 손상일 수 있다. Diagnostics 은 이 반복 작업을 줄이기 위해 만든 진단 도구다.
로 실행되며, 중복 조각, 빠진 메타데이터, 형식이 깨진 문서를 검사한다. 저장된 설정도 들여다보고 잘못된 설정을 표시한다. 검색 실패는 빈 결과, 낮은 점수, 불일치 같은 유형으로 나누고 고칠 지점을 알려준다.
전체 질의 상태를 JSON 묶음으로 저장해 두 번의 실행을 비교할 수 있으며, 검색기와 재정렬기 전후 결과, 프롬프트, 답변, 실패 유형, 관련 문서 상태, 답변 차이까지 확인할 수 있다. Weaviate 기반 실제 배포 환경에서 823개 문서 조각을 검사했을 때 195개 중복 조각, 약 24%의 중복, 14개의 정보 누락 문서를 찾았다.
핵심 포인트
- 2.x 의 검색 실패 원인을 체계적으로 나누어 확인한다.
- 문서 저장소에서 중복 조각, 빠진 메타데이터, 깨진 문서 형식을 검사한다.
- 검색 실패를 빈 결과, 낮은 점수, 불일치 등으로 분류한다.
- 질의 상태를 JSON 묶음으로 저장하고 두 실행 결과를 비교한다.
- 실제 Weaviate 배포에서 823개 조각 중 195개 중복 조각을 찾아 약 24% 중복을 확인했다.