AI 비용 폭탄을 막기 위한 운영 통제 문제
를 내부에서 쓰는 팀은 작은 통제 실패만으로도 큰 비용을 낼 수 있다. 평소 월 AI 비용이 약 1만 달러였는데, 모델을 계속 부르는 잘못된 반복 실행 하나 때문에 하루 비용이 5천 달러를 넘었다.
또 운영용 Gemini 키가 와 에 쓰였고, 별도 개발용 키나 가 없어 제공업체 쪽에서는 정상 사용으로 보였다. 일부 코드는 공식 키 관리 시스템을 거치지 않고 를 직접 사용하고 있었다.
비용이 급증했을 때 돈이 빠져나가는 것은 보였지만, 어느 코드에서 시작됐는지, 누가 책임자인지, 바로 꺼도 안전한지 빠르게 판단하기 어려웠다. 핵심 문제는 비용 자체보다 반복 실행 제한, 키 분리, 사용량 추적, 소유자 확인 같은 기본 운영 장치가 약했다는 점이다.
핵심 포인트
- 잘못된 반복 실행 하나가 하루 AI 비용을 5천 달러 이상으로 밀어 올렸다.
- 운영용 Gemini 키가 와 에서 제한 없이 쓰였다.
- 가 공식 키 관리 시스템 밖에서 직접 사용된 코드가 있었다.
- 비용 급증 시 출처, 소유자, 중지 가능 여부를 빠르게 알기 어려웠다.
- 에는 호출 제한, 비용 알림, 키 분리, 소유자 추적이 필요하다.