LLM 관찰 도구의 텔레메트리 비용, 왜 이렇게 비쌀까
LLM 앱을 위한 들을 비교해보면, 가격이 유독 부담스럽다. (요청-응답 기록)에 더 비싼 요금을 매기는 것은 이해할 수 있다. 토큰 수를 세고, 모델 비용을 계산하고, 거대한 프롬프트와 응답을 저장하는 데 추가 작업이 들기 때문이다.
하지만 는 REST 요청이나 쿼리 같은 일반적인 데이터도 함께 만들어낸다. 이런 일반 데이터까지 와 똑같은 요금으로 청구되는 게 문제다. 이 가격 정책 때문에 팀들은 비용을 아끼려고 LLM이 아닌 데이터를 관측 대상에서 빼버리게 된다.
그러다 장애가 나면, 원인을 설명해줄 이 이미 사라진 뒤라 답답한 상황에 빠지거나 디버깅에 훨씬 더 오래 걸리게 된다.
핵심 포인트
- 는 ·비용 산정·대용량 프롬프트 저장 때문에 비용이 더 든다는 점은 납득 가능
- 문제는 에이전트가 만드는 REST 요청, DB 쿼리 같은 일반 데이터까지 와 동일한 요금이 매겨진다는 것
- 비용을 아끼려고 비-LLM 데이터를 관측 대상에서 제외하는 팀이 많아짐
- 장애 발생 시 원인 분석에 필요한 문맥이 사라져 디버깅 시간이 늘어남