NVIDIA, 더 싸게 돌리기 쉬운 Nemotron 압축 모델 공개
NVIDIA의 Nemotron-Labs-3-Puzzle-75B-A9B는 배포 환경에서 더 효율적으로 쓰기 위해 만든 이다. 기존 Nemotron-3-Super-120B-A12B를 바탕으로, 학습이 끝난 뒤 모델을 줄이는 방식으로 압축했다. 목표는 대화형 작업, 긴 문맥 처리, 복잡한 추론 작업에서 추론 효율을 크게 높이면서 정확도를 최대한 유지하는 것이다.
전체 는 1207억 개에서 753억 개로 줄었고, 실제 계산에 쓰는 는 128억 개에서 93억 개로 줄었다. 구조는 MoE, Mamba, 어텐션 층을 섞은 방식이며, 더 빠른 글 생성을 위한 다중 토큰 예측도 지원한다. NVIDIA는 같은 사용자 처리 조건에서 8개 B200 서버 한 대 기준 서버 처리량이 약 2배 높고, H100 한 장에서 100만 토큰 문맥 요청을 동시에 처리할 수 있는 수가 1개에서 8개로 늘었다고 밝혔다.
추론, 코딩, 다국어, 긴 문맥, 에이전트 관련 평가에서도 강한 정확도를 유지한다고 제시했다.
핵심 포인트
- Nemotron-Labs-3-Puzzle-75B-A9B는 기존 Nemotron-3-Super-120B-A12B를 압축한 모델이다.
- 전체 는 1207억 개에서 753억 개로 줄었다.
- 는 128억 개에서 93억 개로 줄어 실제 계산 부담이 낮아졌다.
- 8개 B200 서버 한 대 기준 서버 처리량이 약 2배 높다고 제시됐다.
- H100 한 장에서 100만 토큰 문맥 동시 요청 수가 1개에서 8개로 늘었다고 제시됐다.