실제 사용자 요청도 평가해야 품질 저하를 잡을 수 있다
고정된 테스트 데이터로만 응답을 평가하면 실제 서비스에서 생기는 품질 문제를 놓칠 수 있다. 코드 변경 때마다 미리 준비한 입력 데이터로 응답을 채점하고, 기준점보다 낮으면 배포를 막는 방식은 여러 품질 저하를 미리 잡는 데 도움이 됐다.
하지만 실제 사용자 요청의 말투와 내용이 시간이 지나며 바뀌자, 테스트 데이터에 없던 유형에서 응답 품질이 몇 주 동안 조용히 나빠졌다. 는 계속 통과했기 때문에 문제가 늦게 드러났다.
그래서 실제 에서 나온 응답을 일부 또는 전부 뽑아 직접 채점하는 가 필요해졌다. 고민은 모든 요청을 채점할지 일부만 샘플링할지, 어느 정도 사용량부터 비용이 부담되는지, 품질 하락 알림을 어떻게 잡음 없이 받을지다.
핵심 포인트
- 고정 테스트 데이터만 쓰면 실제 서비스에서 새로 생긴 문제를 놓칠 수 있다.
- 실제 사용자 요청이 바뀌면서 특정 유형의 응답 품질이 몇 주 동안 낮아졌다.
- 는 모두 통과했지만 의 품질 저하는 잡지 못했다.
- 을 샘플링해 응답을 채점하는 가 필요해졌다.
- 모든 응답을 채점하면 비용이 커질 수 있어 샘플링 비율과 알림 기준을 정해야 한다.