운영 중인 AI API 재시도와 비용 한도 관리 문제
운영 중인 AI 기능에서는 API 제공사가 응답하지 않거나 를 보낼 때 앱이 다시 요청을 보내는 일이 생긴다. 이때 무작정 재시도하면 같은 요청이 여러 번 처리되어 비용이 예상보다 커질 수 있다.
중요한 쟁점은 재시도 전에 얼마나 기다릴지, 언제 다른 제공사로 바꿀지, 응답 실패가 이미 비용으로 청구됐을 가능성을 어떻게 볼지다. 여러 요청이 동시에 재시도될 때 정해 둔 비용 한도를 넘지 않게 막는 것도 어렵다.
ai-prod-guard라는 초기 패키지는 요청별·세션별 강한 비용 한도, 에 따른 대기, 대체 제공사 사용, 제공사 상태를 잠시 기억해 아픈 제공사를 건너뛰는 기능을 목표로 한다. 실제 운영팀들은 이런 문제를 자체 개발, , 제공사 SDK 기본값 중 무엇으로 처리하는지가 핵심 질문이다.
핵심 포인트
- API 제공사가 이나 를 내면 재시도가 비용을 키울 수 있다.
- 응답 실패가 실제로 청구됐는지 확실하지 않을 때 가능한 비용 노출을 따로 추적해야 한다.
- 동시 재시도는 정해 둔 비용 한도를 한순간에 넘길 수 있다.
- ai-prod-guard는 요청·세션 단위 비용 한도와 제공사 전환을 다루려는 초기 패키지다.
- 제공사 SDK 기본값만 믿기보다 재시도, 대기, 중단, 전환 규칙을 명확히 둘 필요가 있다.