로컬 RAG 평가에서 ‘LLM 심판’을 믿어도 되는지 묻는 사례
약 26권의 밀도 높은 기술 서적을 대상으로 로컬 평가가 진행됐다. 책에는 공식, 표, 정확한 숫자와 매개변수가 많아서 숫자 하나를 잘못 옮기는 것도 큰 실패로 본다. 환경은 와 128GB 메모리이며, 로 모두 오프라인에서 돌렸다. 평가는 두 단계로 나뉜다.
검색 단계는 이 100%, MRR이 약 0.98로 거의 해결된 상태다. 문제는 답변을 평가하는 단계다. 답변 생성 모델은 qwen3.5:122b이고, 심판 모델은 자기 편향을 줄이려고 다른 계열인 llama3.3:70b-q8을 썼다. 4권, 약 80개 질문 기준 평균은 정답성 약 91%, 관련성 약 89%, 충실도 약 60%, 환각률 약 10%였다.
정답성이 91%인데 충실도가 60%라는 결과는 잘 맞지 않아서, 답변이 근거 없는 세부 내용을 덧붙였거나 심판 모델이 답변을 작은 주장들로 나눈 뒤 너무 엄격하게 평가했을 가능성이 있다. 아직 사람 손으로 만든 정답 라벨과 비교해 심판 모델 자체를 검증하지 않았고, Cohen's kappa 같은 방법으로 실제 검증을 해 본 사람이 있는지, 추론형 심판 모델이나 Llama 4가 더 나은지 궁금해하는 상황이다.
핵심 포인트
- 약 26권의 기술 서적을 대상으로 오프라인 RAG 평가를 돌렸다.
- 검색 품질은 100%, MRR 약 0.98로 매우 높게 나왔다.
- 답변 평가는 정답성 약 91%, 관련성 약 89%, 충실도 약 60%, 환각률 약 10%였다.
- 정답성은 높은데 충실도는 낮아, 심판 모델이 너무 엄격하거나 답변에 근거 없는 세부 내용이 섞였을 수 있다.
- 은 사람 라벨과 비교해 검증하지 않으면 비용 절감용 자동 평가로 쓰기 위험하다.