모델이 조용히 바뀌면 자동화 품질이 갑자기 흔들릴 수 있다
을 자동으로 분류하는 단계가 약 3개월 동안 같은 으로 운영되고 있었다. 내부 평가 기준에서 정확도는 약 94%로 안정적이었다. 어느 날 아침 정확도가 약 91%로 떨어졌지만, 서비스 배포도 없었고 코드, 프롬프트, 데이터도 바뀌지 않았다.
설정에 적힌 도 전날과 같았다. 원인은 제공업체가 같은 뒤에서 모델을 새 버전으로 바꾼 일이었다. 새 모델은 일반 벤치마크에서는 괜찮거나 더 나았을 수 있지만, 짧고 화난 말투에 여러 언어가 섞인 티켓에서 다르게 행동했다.
이 유형은 전체 입력의 약 8%였고, 새 모델은 이 티켓들을 특정 분류로 너무 많이 몰아 넣었다. 그 결과 뒤쪽 라우팅 단계가 잘못 처리했고, 원인을 찾는 데 반나절이 걸렸다.
핵심 포인트
- 같은 을 써도 제공업체가 뒤에서 모델을 바꿀 수 있다.
- 정확도는 약 94%에서 약 91%로 떨어졌고, 내부 변경은 없었다.
- 문제는 짧고 화난 말투에 여러 언어가 섞인 티켓에서 두드러졌다.
- 해당 입력군은 전체의 약 8%였지만 뒤쪽 라우팅에 실제 영향을 줬다.
- 모델을 쓰는 자동화에는 와 입력군별 모니터링이 필요하다.