LLM 평가 자동화는 사람 검증 없이는 흔들릴 수 있다

LLM 출력물을 자동으로 점수 매기는 방식은 명확히 좋은 답과 명확히 나쁜 답은 잘 가르는 편이었다. 입력 데이터와 답변을 모아 두고, 또 다른 LLM이 정답성이나 말투를 평가한 뒤 점수를 시간별로 추적하는 구조다. 하지만 약 50개 답변을 사람이 직접 다시 채점해 보니, 애매한 답변에서는 자동 평가와 사람 평가가 약 3분의 1 정도 어긋났다.

겉으로는 맞는 말이지만 질문의 핵심을 놓친 답변이 높은 점수를 받기도 했다. 반대로 충분히 괜찮아 보이는 답변이 말투 문제로 낮은 점수를 받기도 했고, 그 이유가 분명하지 않았다. 더 큰 문제는 평가에 쓰는 모델도 시간이 지나며 바뀔 수 있다는 점이다.

모델이 업데이트되거나 사라지면 평가 기준이 조금씩 달라질 수 있고, 대시보드 점수는 변했는데 실제 제품 품질 변화인지 평가 모델 변화인지 구분하기 어려워진다. 그래서 사람 평가와 주기적으로 맞춰 보는 일, 평가 모델 버전을 고정하는 일이 필요해진다.