RAGProbe, 검색형 AI가 실패할 질문을 미리 찾아준다
는 시스템이 답을 틀리기 쉬운 질문을 자동으로 만들어 시험하는 도구다. 문서를 잘게 나눈 조각들이 의미 공간에서 서로 어떻게 가까운지 살펴보고, 그 구조에서 약한 부분을 찾는다.
특히 여러 조각을 이어야 답할 수 있는 질문, 문서 안에 묻힌 작은 사실, 헷갈리게 만드는 관련 정보, 경계가 애매한 비슷한 내용에서 실패가 나는지 확인한다. 만들어진 질문은 사용 중인 에 HTTP로 보내지고, 답변은 자동으로 채점된다.
결과는 이전 실행과 비교되어 회귀 차이로 정리되며, CI에서 품질이 나빠졌는지 확인할 수 있다. RAGAS, , TruLens 같은 평가 도구와 달리 사람이 테스트 질문을 직접 쓰지 않아도 된다는 점을 내세운다.
핵심 포인트
- 는 사람이 테스트 질문을 만들지 않아도 실패 가능성이 큰 질문을 자동 생성한다.
- 문서 조각들의 관계를 분석해 가 약한 지점을 찾는다.
- 여러 단계를 거쳐야 하는 질문, 묻힌 사실, 헷갈리는 정보, 애매한 경계 문제를 시험한다.
- 사용 중인 에 HTTP로 질문을 보내고 답변을 채점한다.
- CI에서 이전 결과와 비교해 품질 저하를 확인할 수 있다.