운영 중인 LLM 호출 낭비를 찾는 방법
에서 LLM을 쓰면 전체 비용만 보는 것으로는 어떤 호출이 낭비였는지 알기 어렵다. 낭비 가능성이 큰 패턴에는 반복되는 , 반복되는 태깅과 분류, 도구 선택 호출, 중복된 문맥, 충분한 기록을 보면 결과가 예측 가능한 요청이 있다.
반대로 꼭 최고 성능 모델에 남겨야 하는 호출도 구분해야 한다. 비용 는 모델이나 제공업체별 지출은 보여주지만, 실제로 불필요했던 호출을 항상 드러내지는 못한다.
현재 현장에서는 캐싱, 수동 규칙, 더 저렴한 모델, , , Helicone, , 평가, 자체 도구 같은 방법이 후보로 거론된다. 이 문제를 풀기 위해 오픈소스 추적 검사 도구를 만들며, 실제 팀들이 어떤 방식으로 안전하게 최적화 대상을 고르는지 확인하려는 상황이다.
핵심 포인트
- 전체 LLM 비용보다 호출 패턴별 낭비를 찾는 것이 핵심이다.
- 반복 라우팅, 반복 분류, 도구 선택, 중복 문맥은 비용 절감 후보가 될 수 있다.
- 일부 호출은 비용이 높아도 최고 성능 모델에 남겨야 한다.
- 후보 방법으로 캐싱, 더 저렴한 모델, , , Helicone, , 평가가 언급된다.
- 안전한 최적화를 위해 실제 호출 기록을 훑는 오픈소스 추적 검사 도구를 만들고 있다.