평가 항목을 줄여 판정 비용을 낮추는 고민
1년 동안 커진 평가 기준이 14개 항목까지 늘어났다. 항목에는 사실 충실성, 관련성, 도움 정도, 말투, 범위, 거절의 정확성, , 무해성, 완성도, 간결성, 구조, , 정확성, 형식이 포함된다.
이미 사람이 라벨을 붙인 자료로 을 돌려 보니, 약 6개 항목은 다른 항목 하나 이상과 0.85를 넘는 높은 상관관계를 보였다. 이는 그 항목들이 독립적인 를 거의 더하지 않는다는 뜻이다.
하지만 항목을 지우면 드문 을 놓칠 수 있다는 걱정이 있다. 반대로 그대로 두면 평가용 판정 비용과 평가 기준을 관리하는 개발 시간이 계속 늘어난다.
핵심 포인트
- 평가 기준이 14개 항목까지 늘어나면서 비용과 관리 부담이 커졌다.
- 에서 약 6개 항목이 다른 항목과 0.85를 넘게 겹쳤다.
- 겹치는 항목은 새 정보를 거의 더하지 않아 평가 비용만 늘릴 수 있다.
- 항목을 줄이면 드문 실패 사례를 놓칠 위험이 있다.
- , 정확성처럼 실패 비용이 큰 항목은 신중하게 다뤄야 한다.