실시간 음성 에이전트용 음성 인식 테스트 기준 제안
의 성능은 깨끗한 녹음 파일 하나로 평가하기 어렵다. 더 현실적인 테스트에는 달리는 차 안의 스피커폰 통화, 번호를 잘못 말한 뒤 바로 고치는 상황, 선풍기·TV·키보드·대기 음악이 섞인 침묵 구간이 들어가야 한다. 두 사람이 말을 끊고 겹치는 대화, 주소와 지역 이름처럼 틀리기 쉬운 고유명사, 긴 회의에서 시간표시와 화자 구분이 점점 어긋나는 상황도 필요하다.
다른 언어 문장 안에 영어 제품명이 섞이는 말, 화난 고객의 빠른 말, 큰 목소리 뒤에 작은 목소리가 나와 음량 조절이 흔들리는 경우도 포함된다. 마지막으로 결과가 의도 파악, CRM 또는 일정 입력, 요약으로 이어지는 까지 시험해야 한다. 평가 지표는 , 고유명사 오류율, 처음 쓸 만한 텍스트가 나오기까지 걸린 시간, 최종 문장이 안정되는 시간, 중간 문장이 다시 바뀐 횟수, 오류, 시간표시 오류, 말이 없는데 말이 있다고 잘못 판단한 비율, , 전체 업무 성공률이다.
Smallest AI Pulse 같은 실시간 API는 단순히 받아쓰기 품질만이 아니라 의 실시간 입력층으로 따로 시험해야 한다.
핵심 포인트
- 깨끗한 녹음보다 잡음, 끊김, 겹치는 말이 있는 실제 통화가 더 중요한 시험 대상이다.
- 번호 정정, 주소, 지역 이름, 영어 제품명처럼 업무 결과를 망치기 쉬운 항목을 따로 봐야 한다.
- , 시간표시, 침묵 구간 오판은 긴 통화와 회의에서 큰 문제가 된다.
- 만 보지 말고 의도 파악, CRM 입력, 일정 입력, 요약까지 이어지는 업무 성공률을 측정해야 한다.
- 에서는 정확도뿐 아니라 처음 쓸 만한 텍스트가 나오는 속도와 이 중요하다.