NVIDIA, 토큰을 병렬로 채우는 새 Nemotron 모델 공개
NVIDIA가 Nemotron-TwoTower-30B-A3B-Base-BF16을 공개했다. 이 모델은 Nano 30B-A3B를 바탕으로 만든 이다.
보통 은 글을 만들 때 토큰을 하나씩 순서대로 만든다. 이 모델은 고정된 자기회귀 문맥 타워와 확산 잡음 제거 타워를 함께 써서, 여러 토큰 묶음을 반복적으로 병렬 채움한다.
NVIDIA 기준으로 기본 마스크 확산 설정은 기존 대비 종합 벤치마크 품질의 98.7%를 유지했다. 동시에 실제 생성 처리량은 2.42배에 도달했다.
핵심 포인트
- Nemotron-TwoTower-30B-A3B-Base-BF16은 Nano 30B-A3B 기반 모델이다.
- 일반적인 순차 생성 대신 여러 토큰 묶음을 병렬 채움하는 구조를 쓴다.
- 기본 설정에서 기존 품질의 98.7%를 유지했다고 제시됐다.
- 실제 생성 처리량은 기존 방식의 2.42배로 제시됐다.
- 에서는 응답 지연과 을 줄일 가능성이 있는 기술 신호다.