아웃바운드 AI 음성 에이전트, 실전에서 진짜 어려운 건 모델이 아니다

고객사의 아웃바운드(발신) 전화 업무용 를 실제로 구축해 배포한 경험을 공유한 글이다. 자체를 고르고 붙이는 일은 오히려 쉬운 부분이었고, 정작 시간을 많이 잡아먹은 건 다른 요소들이었다. 첫째, 이 핵심이다.

약 1초 이상 침묵이 생기면 상대방이 전화를 끊거나 봇 말 위에 겹쳐 말하기 시작하기 때문에, 아키텍처를 설계할 때 내리는 거의 모든 결정이 결국 지연 시간을 줄이기 위한 결정이 된다. 둘째, 실제 사람은 대화 중에 끊임없이 끼어들며 말하는데, 이런 를 잘 처리하는 것이 음성을 더 자연스럽게 들리게 만드는 것보다 훨씬 중요하다. 셋째, 연동은 그 자체로 별도의 큰 작업이다.

AI 처리 스택과 전화 스택은 서로 완전히 다른 방식으로 오류가 나기 때문에, 두 시스템 모두에 대한 모니터링()이 각각 필요하다. 넷째, 데모와 실제 운영 사이의 격차가 매우 크다. 각본대로 진행되는 데모는 하루 만에 만들 수 있지만, 실제 발신자들을 상대로 안정적으로 작동하게 만들려면 통화 녹음을 몇 주간 분석하며 예외 상황을 하나하나 고쳐나가야 한다.

핵심 포인트

  • 이 아키텍처 설계 전반을 좌우하는 핵심 변수다 — 약 1초 이상 침묵이 생기면 통화가 끊기거나 겹쳐 말하기가 발생한다
  • 실제 대화에서는 상대방이 끊임없이 끼어드는데, 이 끼어들기(바지인) 처리를 잘하는 것이 목소리 품질보다 더 중요하다
  • AI 처리 스택과 스택은 서로 다른 방식으로 장애가 나므로 양쪽 모두에 모니터링이 필요하다
  • 각본화된 데모는 하루 만에 만들 수 있지만, 실제 운영 수준으로 안정화하려면 통화 녹음 분석과 예외 처리에 수 주가 걸린다
원문 보기