AI 에이전트 평가가 CI 시간을 6분에서 24분으로 늘림
로 만든 에 약 7개의 도구가 붙어 있고, 배포 전 자동검사인 CI에 종합 평가가 필수 통과 단계로 들어갔다. 그 결과 가장 느린 쪽 기준인 p99 빌드 시간이 6분에서 24분으로 늘었다. 지연의 주된 원인은 평가용 판정 모델 호출이다.
약 200개 상황을 두 번씩 돌리면서 판정 호출이 크게 쌓인다. 개발자들은 이 긴 검사를 피하려고 변경 사항을 한꺼번에 모아 올리기 시작했고, 빠르게 자주 배포하는 CD 흐름이 사실상 깨졌다. 로 판정 호출을 동시에 돌리면 5배 빨라졌지만, 호출 제한 오류인 429 위험이 생겼다.
바뀌지 않은 상황을 다시 평가하지 않는 는 약 60%가 재사용됐지만, 언제 캐시를 버려야 하는지 관리가 어려웠다. 현재 후보는 에서는 가벼운 평가만 하고 밤에 무거운 평가를 돌리기, 배포 뒤 비동기 평가와 카나리아 롤백을 붙이기지만, 행동을 실행하는 에이전트가 잠깐이라도 고장 난 상태로 나갈 수 있다는 걱정이 남아 있다.
핵심 포인트
- 기반 에 약 7개 도구가 연결돼 있다.
- CI의 p99 빌드 시간이 6분에서 24분으로 늘었다.
- 약 200개 상황을 두 번씩 평가하면서 판정 모델 호출이 병목이 됐다.
- 는 5배 빨랐지만 위험이 있다.
- 는 약 60%를 재사용했지만 캐시 무효화가 어렵다.