LLM 평가가 사람 평가와 71%만 일치한 사례
같은 400개 출력물을 사람 검토자 3명과 이 함께 평가했을 때, 사람끼리는 약 89% 일치했지만 과 사람의 일치는 약 71%에 그쳤다. 은 실제로는 괜찮은 경계선 사례를 나쁘다고 너무 자주 표시했고, 사람이 잡아낸 미묘한 문제 일부는 놓쳤다. 평가 전에 이유를 먼저 쓰게 하는 방식은 일치율을 약 76%로 올렸다.
경계선 사례를 몇 개 예시로 넣는 방식은 약 78%까지 올렸다. 3개를 돌려 다수결로 정하는 방식은 약 82%까지 개선됐다. 사람이 붙인 라벨로 더 작은 분류 모델을 하면 약 85%까지 갔지만, 계속 관리해야 하는 부담이 생겼다.
사람끼리도 89%가 한계라면, 의 82%와 사람 기준의 89% 사이 7%포인트 차이를 비용을 들여 더 줄일 가 있는지가 핵심 문제다.
핵심 포인트
- 400개 출력물 기준으로 과 사람 평가의 일치율은 약 71%였다.
- 사람 검토자끼리의 일치율은 약 89%라서 완전한 일치는 사람 사이에서도 어렵다.
- 이유를 먼저 쓰게 하는 평가 방식은 약 76%, 경계선 예시 추가는 약 78%까지 개선됐다.
- 3개의 다수결 은 약 82%까지 올라갔다.
- 사람 라벨로 작은 분류 모델을 하면 약 85%였지만 관리 부담이 생겼다.