NVIDIA, 음성과 텍스트를 함께 다루는 Audex 30B 공개
NVIDIA의 Nemotron-Labs-Audex-30B-A3B는 음성과 텍스트를 함께 처리하는 이다. 은 Nemotron-Cascade-2-30B-A3B이며, 전체 규모는 300억 파라미터지만 한 번에 쓰는 는 30억 개다. 과 일반 오디오 입력을 읽는 가 들어가 있고, 말소리와 오디오 출력을 만들기 위한 별도 오디오 토큰도 지원한다.
가능한 작업은 오디오 이해, 음성 인식, , 텍스트를 음성으로 바꾸기, 오디오 생성, 음성에서 음성으로 바꾸기다. 기존 텍스트 모델의 추론, 지식, 정렬, 긴 문맥 처리, 에이전트 기능은 거의 유지하도록 설계됐다. 생각 과정을 쓰는 모드와 바로 답하는 지시 모드를 모두 지원한다.
ChatML 형식을 따르며, 최대 100만 토큰 길이의 문맥을 처리할 수 있다.
핵심 포인트
- 음성과 텍스트를 한 모델에서 함께 처리하는 Audex-30B-A3B가 공개됐다.
- 전체는 300억 파라미터지만, 한 번에 30억 개를 쓰는 MoE 구조다.
- 오디오 이해, 음성 인식, 번역, 음성 생성, 오디오 생성, 음성-음성 변환을 지원한다.
- 텍스트 의 추론, 긴 문맥 처리, 지식, 에이전트 기능을 거의 유지하는 것이 목표다.
- 최대 100만 토큰 문맥을 지원해 긴 자료를 다루는 에이전트에 활용 여지가 있다.