DiffusionGemma 26B, 4090에서 빠르지만 실전 한계가 큼
26B는 엔비디아 4090 그래픽카드에서 실행할 수 있었고, 첫 요청에서는 초당 475토큰까지 나왔다. 출력 길이와 에 따라 속도는 대략 초당 290~700토큰 사이로 달라졌으며, 긴 답변은 특히 빠르게 생성됐다. 실행에는 일반 설정이 아니라 전용 vLLM 도커 환경과 Gemma 도구·추론 파서가 필요했다.
3090이나 4090에서는 nvfp4 형식을 쓰지 못해 -26B-A4B-it- 모델을 사용했다. 성능은 빠르지만 무겁기 때문에 긴 문맥을 넉넉히 쓰기는 어렵고, 8천 토큰 문맥은 가능했지만 훨씬 더 길게 늘리기는 어려웠다. 여러 요청을 한꺼번에 처리하면 느려져 사실상 1명 사용에 더 맞았다.
답변 품질은 일반 Gemma 26B A4B보다 떨어졌고, 긴 문맥 안의 작은 정보를 찾아내는 능력도 약했다. 짧은 요청에서는 첫 토큰이 나오기까지 약간 더 오래 걸렸다.
핵심 포인트
- 4090에서 26B를 실행했고 속도는 초당 290~700토큰 수준이었다.
- 전용 vLLM 도커와 Gemma 도구·추론 파서 설정이 필요했다.
- 긴 답변은 빠르지만 긴 문맥을 안정적으로 다루는 능력은 약했다.
- 여러 요청을 묶어 처리하면 느려져 다중 사용자나 여러 에이전트 운영에는 불리하다.
- 일반 Gemma 26B A4B보다 답변 품질과 세부 정보 찾기 능력이 떨어졌다.