Nemotron 120B가 긴 문맥 처리에서 더 버틴다는 비교
128GB 공유 메모리 환경에서 120B급 대형 모델 3개와 더 작은 Qwen 35B 모델을 비교했다. 비교 대상은 120B, Qwen 3.5 계열, Nemotron Super 120B, Qwen 35B였다. 핵심 기준은 답을 생성하는 속도보다, 긴 기존 코드와 요청 내용을 모델이 처음 읽고 처리하는 속도였다.
코드 변경이나 버그 수정에서는 전체 시간의 대부분이 에 쓰이고, 실제 답변 생성은 작은 비중만 차지하기 때문이다. Nemotron Super 120B는 약 10만 토큰 수준의 긴 문맥에서도 체감 품질과 속도가 좋았고, 이를 확인하려고 llama-bench로 비교했다. 기준 속도는 100 TPS였고, 이보다 낮아지면 실사용이 어렵다고 보고 측정을 멈췄다.
문맥 한도도 차이가 있었다. 는 약 12만 8천 토큰, Qwen 3.5/6은 약 25만 6천 토큰, Nemotron은 최대 40만 토큰 문맥까지 다룰 수 있었다.
핵심 포인트
- 120B급 모델 중 Nemotron Super 120B가 긴 문맥에서 상대적으로 잘 버틴다는 결과다.
- 코드 분석 작업에서는 답변 생성보다 가 전체 시간을 더 크게 차지한다.
- 실사용 기준은 100 TPS로 잡았다.
- Nemotron은 최대 40만 토큰 문맥을 지원해 비교 대상 중 문맥 한도가 가장 컸다.
- 결과는 128GB 공유 메모리, , 환경 기준이다.