실시간 음성 AI 에이전트에서 비용과 대화 흐름을 망치는 함정
실시간 는 사람처럼 말을 주고받는 타이밍이 핵심이다. 사람이 말하기 시작하면 즉시 멈추고, 실제로 조용해질 때까지 기다린 뒤, 짧게 답해야 자연스럽다. 브라우저에서 마이크 권한이 성공했다고 해도 실제 소리가 들어온다는 뜻은 아니다.
운영체제에서 마이크가 음소거되어 있으면 입력은 조용한 상태로 남고, 가 작동하지 않아 에이전트가 계속 듣는 중으로 멈출 수 있다. 서버 기반 에서는 마이크 트랙만 음소거해도 과금이 멈추지 않을 수 있다. 가 모델 서버에서 계속 돌기 때문에, 실제로 쉬게 하려면 세션 업데이트로 발화 감지를 꺼야 한다.
에이전트가 만든 이 다시 으로 들어가면 자기 말을 듣고 반복하는 문제가 생기므로, 메아리와 주변 잡음, 모바일 기기 피드백을 걸러야 한다. 여러 에이전트를 함께 돌릴 때는 각 모델이 알아서 말하게 두기보다, 외부 가 누구 차례인지 정하는 편이 더 안정적이다.
핵심 포인트
- 사람이 말하면 에이전트는 즉시 멈추고, 조용해진 뒤 짧게 답해야 한다.
- 마이크 권한 성공은 실제 오디오 입력 성공과 다르므로 소리 크기를 직접 측정해야 한다.
- 서버 기반 에서는 마이크 트랙 음소거만으로 과금이 멈추지 않을 수 있다.
- 에이전트의 이 다시 으로 들어가면 반복과 오작동이 생긴다.
- 여러 에이전트는 외부 가 발언 순서를 관리하는 방식이 더 낫다.