RAG 답변의 근거 부족을 싸게 점검하는 오픈소스 도구
시스템은 그럴듯하게 답하지만, 실제로는 가져온 자료가 답을 뒷받침하지 못하는 문제가 자주 생긴다. 운영 중인 서비스에서는 보통 정답 데이터가 없고, GPT-4 같은 비싼 평가 모델을 매번 쓰기도 부담스럽다. cgs-는 이런 답변이 주어진 문맥에 제대로 근거했는지 점검하는 도구다.
정답 데이터나 고급 평가 모델 없이 에서 1초 안팎으로 처리하는 것을 목표로 한다. 판단에는 , NLI entailment, cosine attribution을 섞어 하나의 를 만든다. 모르는 것을 모른다고 답하는 경우와 근거 없이 자신 있게 지어내는 경우도 구분한다.
긴 문장으로 자연스럽게 답했지만 근거에서 벗어난 경우를 잡는 데 더 잘 맞고, 짧은 단답형 답변에는 덜 강하다. 분야마다 작은 라벨 샘플로 조정이 필요하며, pip install cgs-로 설치하거나 참고 앱에서 시험해볼 수 있다.
핵심 포인트
- 답변이 가져온 자료에 실제로 기대고 있는지 점검한다.
- 정답 데이터나 GPT-4급 평가 모델 없이 쓰는 것을 목표로 한다.
- 에서 1초 안팎으로 평가해 비용 부담을 낮추려 한다.
- 모르는 것을 인정하는 답변과 근거 없는 자신감 있는 답변을 구분한다.
- 분야별로 작은 라벨 샘플을 써서 조정해야 한다.