실시간 음성 AI에서 풀 듀플렉스가 필요한 이유
영어 회화 코치 일을 하려는 개인 앱에서 가장 큰 문제는 자연스러운 음성 대화다. 현재 앱은 사용자의 말을 글로 바꾸고, LLM이 답을 만들고, 다시 음성으로 읽어 주는 를 쓴다. 이 방식은 실제 사람과 말하듯 겹쳐 듣고 바로 반응하기 어렵고, 차례를 기다리는 느낌이 강하다.
LLM의 대화 이해력과 메모리는 기대보다 괜찮지만, 이 대화를 어색하게 만든다. 또 기능을 넣어도, 이 구조에서는 AI가 먼저 끼어들거나 대화를 자연스럽게 이끄는 느낌이 잘 나오지 않는다. 그래서 말하는 중에도 듣고 반응할 수 있는 풀 듀플렉스 모델이 더 나은 방향으로 보인다.
Moshi와 NVIDIA의 관련 데모는 이런 방식이 회화 코치를 대체할 가능성을 보여 준 사례로 받아들여졌다.
핵심 포인트
- 영어 회화 코치 앱을 AI로 하려는 사례다.
- 현재 는 음성 대화를 차례대로 처리해 대화가 딱딱하게 느껴진다.
- LLM의 이해력과 메모리는 쓸 만하지만 이 가장 큰 문제다.
- 기능을 넣어도 기존 구조에서는 AI가 자연스럽게 대화를 이끌기 어렵다.
- 풀 듀플렉스 방식은 더 사람 같은 대화에 가까울 수 있다.