AI 에이전트 평가 비용을 줄이려는 실제 운영 사례
하루 약 12만 건의 사용 기록이 생기는 에서 답변 품질을 계속 점검하고 있다. 한 번의 사용자 상호작용마다 사실성, 도움 정도, 안전성, 정확도, 거절 판단, 범위 준수 같은 기준으로 약 6번의 이 필요하다. 모든 기록을 검사하면 하루 약 72만 번, 주당 약 500만 번의 평가가 필요하지만, 현재는 실제 트래픽의 16%만 뽑아 주당 약 80만 번 평가한다.
평가용 모델로 를 쓰며, 이 비용만 월 약 2,400달러가 든다. 더 싼 gpt-4.1-nano로 바꾸면 비용은 4분의 1 수준으로 줄었지만, 사람이 표시한 기준 데이터에서 와의 판단 일치율이 87%에서 71%로 떨어졌다. 싼 모델을 먼저 쓰고 애매한 경우만 로 넘기는 방식은 비용을 약 30% 줄였지만, 처리 지연이 생기고 운영 로직이 쉽게 깨졌다.
비슷한 평가 요청을 재사용하는 는 을 약 15% 줄였지만, 평가 기준이 바뀔 때 캐시를 다시 관리하는 일이 부담이 됐다.
핵심 포인트
- 하루 약 12만 건의 사용 기록을 평가 대상으로 삼는다.
- 전체를 평가하면 하루 약 72만 번, 주당 약 500만 번의 이 필요하다.
- 현재는 16%만 표본으로 뽑아 주당 약 80만 번 평가하고, 월 약 2,400달러를 쓴다.
- gpt-4.1-nano는 비용을 크게 줄였지만 판단 일치율이 87%에서 71%로 낮아졌다.
- 단계적 평가와 는 비용을 줄였지만 지연, 취약한 운영 로직, 캐시 관리 문제가 있었다.