자체 AI 에이전트 평가 도구, 8개월 뒤 유지비가 문제로 떠오름
한 팀이 의 품질을 확인하려고 자체 평가 도구를 만들었다. 이 도구는 콜백, 직접 만든 평가 기준 언어, 기반 추적 로 구성됐다. 개발에는 약 5개월치 시간이 들어갔고, 실제 문제를 잡아내는 효과도 있었다.
하지만 8개월이 지나자 에 한 명 시간의 약 15%가 계속 들어가고 있다. 상용 도구보다 지원 범위도 좁아서 여러 차례 대화를 이어가며 공격적으로 하는 기능이나 실제 운영 기록을 계속 평가하는 기능은 부족하다. 의 새 기능을 따라붙는 데도 약 2개월씩 늦어진다.
팀원이 바뀌면 내부 지식 전달도 약해져, 결국 비싼 월 사용료를 내더라도 상용 도구로 옮기는 편이 시간을 아낄 수 있는지 고민하게 됐다.
핵심 포인트
- 자체 평가 도구 개발에 약 5개월치 시간이 들어갔다.
- 도구는 실제 실패 사례를 잡아내는 데 도움이 됐다.
- 에 한 명 시간의 약 15%가 계속 쓰이고 있다.
- 상용 도구보다 평가 범위가 좁고, 운영 기록을 계속 평가하는 기능이 부족하다.
- 새 기능을 반영하는 데 약 2개월씩 늦어진다.