분류 작업에 LLM 대신 간단한 규칙을 쓰자 비용과 오류가 줄었다
고객 문의를 약 여섯 가지로 나눠 담당자에게 보내는 가 있었다. 처음에는 이 문의 내용을 읽고 분류했지만, 일주일에 한두 번 정도 잘못된 곳으로 보내는 문제가 생겼다.
모델이 확신한 것처럼 보였기 때문에 사람이 바로 알아차리지 못했고, 문의가 엉뚱한 에 오래 남는 일이 있었다. 실제 문의를 살펴보니 대부분은 “환불”, “중단”, “” 같은 뚜렷한 단어 한두 개만 봐도 분류할 수 있었다.
그래서 자주 나오는 쉬운 경우는 간단한 규칙으로 처리하고, 아무 규칙에도 걸리지 않는 애매한 경우만 에 맡겼다. 그 결과 잘못 보내는 일이 줄었고, 비용도 낮아졌으며, 왜 특정 문의가 그 담당자에게 갔는지도 설명할 수 있게 됐다.
핵심 포인트
- 문의 분류 에이전트가 만 쓸 때 일주일에 한두 번 잘못된 담당자에게 보냈다.
- 대부분의 문의는 “환불”, “중단”, “” 같은 단어만으로도 충분히 분류할 수 있었다.
- 쉬운 경우는 규칙으로 처리하고, 애매한 경우만 에 넘겼다.
- 오류가 줄고 비용이 낮아졌으며, 분류 이유를 고객에게 설명하기 쉬워졌다.
- 의 각 단계에서 이 꼭 필요한지 따져보는 것이 중요하다.