실제 사용자 말투에서 AI 에이전트 성능이 크게 떨어지는 문제
개발팀이 만든 시험 문장은 기술자처럼 정확하고 정리된 표현인 경우가 많다. 하지만 실제 사용자는 오타, 속어, 반쪽짜리 문장, 여러 요청이 섞인 문장으로 에 말을 건다. 이 차이 때문에 개발용 문장에서는 성공률이 약 94%였지만, 실제 사용자 문장에서는 약 71%로 떨어졌다.
격차는 23%포인트다. 내부 직원이 직접 써보는 방식은 도움이 되지만, 직원들도 여전히 처럼 말하는 한계가 있다. 패널은 표본이 작고 비용이 많이 든다.
작은 모델로 비격식 문장을 합성해 시험 데이터를 만드는 방법은 일부 문제를 잡아내지만, 실제 사람 말투처럼 자연스럽지 않은 느낌이 남는다. 핵심 고민은 실제 를 더 잘 반영하는 평가를 어떻게 만들 것인가다.
핵심 포인트
- 개발용 문장 성공률은 약 94%였지만 실제 사용자 문장은 약 71%였다.
- 실제 사용자는 오타, 속어, 짧은 문장, 여러 요청을 한 번에 섞어 쓴다.
- 내부 테스트는 직원들이 처럼 표현하기 때문에 한계가 있다.
- 패널은 비용이 크고 표본 수가 작다.
- 작은 모델로 만든 합성 문장은 일부 문제를 찾지만 실제 말투와 차이가 남는다.