통화 녹음을 ‘누가 언제 말했는지’로 바꾸는 오픈소스 방식
녹음된 회의를 글로 바꾸고, 각 문장에 말한 사람과 시간을 붙이려면 만으로는 부족하다. , Parakeet, Voxtral 같은 공개 도구는 주로 ‘무슨 말을 했는지’를 만들지만, ‘누가 말했는지’까지 자동으로 잘 나누지는 않는다. 공개 도구 중에서는 가 한 번에 쓸 수 있는 대표적인 조합이다.
는 로 말을 글로 바꾸고 대략적인 시간을 붙인 뒤, wav2vec2 forced alignment로 단어별 시간을 더 정확히 맞추고, 로 말한 사람의 구간을 나눈 다음, 두 시간표를 겹쳐 단어마다 화자를 붙인다. 실제 회의 음성에서는 정확도가 크게 떨어질 수 있다. large-v3는 깨끗한 LibriSpeech 음성에서는 이 약 2%지만, 실제 회의에 가까운 AMI meeting audio에서는 약 16%로 나빠진다.
조용한 구간에서 가 없는 말을 만들어내는 문제도 있어, VAD로 말이 있는 구간만 골라내고 condition_on_prev_text=False 설정을 쓰는 방식이 도움이 된다. 여러 사람이 동시에 말하거나 멀리서 녹음된 소리가 섞이면 화자 분리 오류가 가장 크게 늘어난다.
핵심 포인트
- 대부분의 공개 도구는 글자는 만들지만 화자 분리는 따로 붙여야 한다.
- 는 , 단어별 시간 보정, 화자 분리를 묶어 쓰는 대표적인 공개 조합이다.
- 깨끗한 음성의 낮은 오류율을 실제 회의 품질로 착각하면 안 된다.
- 는 조용한 구간에서 없는 말을 만들 수 있어 VAD와 condition_on_prev_text=False 설정이 도움이 된다.
- 동시에 말하는 상황, 잡음, 멀리서 녹음된 소리는 화자 분리 품질을 크게 떨어뜨린다.