고객지원용 RAG가 정확도 65%를 넘지 못한 이유
대형 제품 회사의 고객지원 시스템에 를 2년간 적용했지만 는 약 65%에서 더 오르지 않았다. 이 수치는 도구인 와 사람의 직접 검토로 확인됐다. 팀은 일반 검색과 혼합 검색, , 질문 재작성, 검색 결과 , 문서 분할 방식 변경 등 여러 방법을 시험했다.
그러나 핵심 문제는 기술 자체보다 고객이 질문하는 방식이었다. 실제 고객은 잘 정리된 질문 대신 ‘인터넷’이나 ‘작동 안 함’처럼 짧고 모호하게 입력한다. 의미가 비슷한 문서를 찾는 방식만으로는 이런 표현에서 문제의 원인과 해결 절차를 정확히 골라내기 어렵다.
이 시스템은 공개 도움말, 고객 상담 채팅, 지식 문서 관리 도구, 지원 앱에 사용됐으며, 한 번의 상담으로 문제를 해결하고 상담 시간을 줄이며 요청 처리를 자동화하는 것이 목표였다.
핵심 포인트
- 2년간 여러 구조를 시험했지만 는 약 65%에서 멈췄다.
- 평가와 사람의 직접 검토에서 비슷한 한계가 확인됐다.
- 고객은 완성된 질문보다 ‘인터넷’, ‘작동 안 함’처럼 모호한 표현을 자주 쓴다.
- 의미가 비슷한 문서를 찾는 것만으로는 고장 원인을 진단하기 어렵다.
- 고객지원 에이전트는 추가 질문과 단계별 진단 절차를 함께 설계해야 한다.