힌디어 음성봇의 응답 지연을 1초 아래로 줄이려는 사례
힌디어 음성봇을 만들 때 가장 큰 문제는 사용자가 말한 뒤 첫 답변이 나오기까지의 시간이 길다는 점이다. 현재 구성은 , 전화 연결 계층, GPT-4.1 mini를 함께 쓰는 방식이다. 추론을 쓸 때 LLM의 TTFT는 평균 1,700밀리초였고, 로 바꾼 뒤에는 가장 빠른 제공자를 고르는 설정을 써도 약 1,000밀리초까지밖에 줄지 않았다.
목표는 TTFT를 400~600밀리초로 낮추는 것이다. 위치가 인도라서 이나 GCP의 ap-south 서버처럼 가까운 지역의 직접 서버를 쓰면 더 빨라질 수 있다는 조언이 있었다. 다만 가 뭄바이 지역을 표시하더라도 실제로는 를 거쳐 유럽이나 미국으로 보내는 것일 수 있다는 의심이 있다.
쪽에서는 Sarvam TTS의 TTFB가 약 300밀리초이며, Cartesia로 바꾸면 더 줄어들지 고민하는 상황이다.
핵심 포인트
- 힌디어 음성봇에서 LLM의 TTFT가 추론 기준 평균 1,700밀리초였다.
- 에서 이 낮은 제공자를 고르는 설정을 써도 TTFT는 약 1,000밀리초다.
- 목표 응답 시간은 첫 토큰 기준 400~600밀리초다.
- 인도 사용자에게는 이나 GCP의 ap-south 같은 가까운 서버가 도움이 될 수 있다.
- Sarvam TTS의 TTFB는 약 300밀리초이며 Cartesia 전환이 검토되고 있다.