운영 중인 LLM 비용을 사용자별로 추적하는 문제
에서 을 쓰는 팀들은 과 비용 추적을 어떻게 처리하는지가 핵심 질문이다. 관심사는 어떤 도구를 쓰는지, 실제로 어떤 부분이 잘 안 되는지, 그리고 사용량이 커질 때 요청별 또는 사용자별 비용을 어떻게 나누어 계산하는지다.
특히 트래픽이 늘어나면 전체 청구액만 보는 것으로는 부족하고, 어떤 기능이나 사용자가 비용을 많이 만드는지 알아야 한다. 이 내용은 제품 판매가 아니라, 실제 문제가 무엇인지 확인하려는 사전 조사 성격이다.
핵심 포인트
- 운영 중인 의 관측성과 비용 추적이 주제다.
- 핵심 문제는 어떤 도구가 실제로 도움이 되고, 무엇이 여전히 불편한지다.
- 트래픽이 커질 때 요청별 비용과 사용자별 비용을 나누어 계산하는 방식이 중요하다.
- 비용을 줄이려면 전체 비용보다 기능별·사용자별 비용 흐름을 먼저 봐야 한다.