저가 모델 교체 전, 추론 작업은 따로 검증해야 한다
를 대신 바로 바꿔 써도 되는지 76개 검사로 비교했다. 코드 생성은 10개 검사 모두 통과해, 코드 작업만 맡기는 경우에는 교체 위험이 낮아 보였다.
반대로 검사 10개 중 3개에서 중요한 퇴행이 나왔고, 인공지능 평가 작업 18개 중 3개에서도 중요한 문제가 나왔다. 일반 검사 18개 중 3개, 비위 맞추기 검사 10개 중 1개, 검사 10개 중 2개는 추가 확인이 필요한 수준이었다.
3.1:8b에서 3.2:3b로 낮춘 비교도 함께 했고, 일반 검사에서 중요한 퇴행 1개가 잡혔다. 검사 도구는 다른 인공지능에게 채점을 맡기지 않고 정해진 기준으로 반복 실행되도록 만들어, 같은 조건에서 다시 확인할 수 있게 했다.
핵심 포인트
- 는 코드 생성 검사 10개를 모두 통과했다.
- 과 인공지능 평가 작업에서는 각각 중요한 퇴행 3개가 나왔다.
- 일반 검사, 비위 맞추기, 도 일부 항목은 교체 전 확인이 필요했다.
- 을 더 작은 모델로 낮춘 비교에서도 중요한 퇴행 1개가 잡혔다.
- 모델 교체 전에는 실제 업무와 닮은 반복 검사로 비용 절감 효과와 품질 손실을 함께 봐야 한다.