오픈AI 모델 변경으로 품질이 조용히 나빠지는 문제를 잡는 법
오픈를 실제 서비스에서 쓰면, 완전한 장애보다 더 잡기 어려운 문제가 있다. 모델이 뒤에서 바뀌면서 같은 의 답이 조금 달라지고, 시스템은 정상처럼 보이지만 결과 품질은 서서히 떨어질 수 있다. 버전이 고정되지 않은 을 쓰면 새 모델 스냅샷이 배포될 때 동작이 바뀔 수 있다.
반대로 날짜가 붙은 스냅샷을 고정해도, 그 스냅샷이 나중에 폐기되면 결국 새 모델로 옮겨야 한다. 해결책은 일반 에서 쓰는 와 비슷하다. 이미 좋은 결과라고 판단한 실제 입력 묶음을 얼려 두고, 새 모델로 옮기기 전에 같은 입력을 다시 실행한다.
답변 문장을 그대로 비교하면 매번 표현이 달라져 잡음이 많으므로, 충실성, 형식 유효성, 작업 성공 여부 같은 점수를 비교해야 품질 저하를 더 잘 볼 수 있다.
핵심 포인트
- 오픈의 모델이 바뀌면 서비스는 정상이어도 결과 품질이 낮아질 수 있다.
- 버전이 고정되지 않은 은 새 스냅샷 배포 때 동작이 달라질 수 있다.
- 날짜가 붙은 스냅샷도 나중에 폐기되면 새 모델로 옮겨야 한다.
- 좋은 결과로 확인한 실제 입력 묶음을 보관해 두고 새 모델에서 다시 실행한다.
- 문장 자체보다 충실성, 형식 유효성, 작업 성공 여부 같은 점수를 비교한다.