Qwen 3.5 122B 경량판, 개인용 기기에서 초당 28.45토큰 처리
.5 122B를 개인용 AMD 스트릭스 헤일로 기기에서 실행할 수 있도록 가볍게 만든 모델이 공개됐다. 전체 매개변수는 1,220억 개지만, 한 번의 처리에는 100억 개만 활성화된다.
모델 크기는 60.70GiB이며 생성 속도는 초당 28.45토큰이다. 프롬프트를 읽는 속도는 초당 353.3토큰으로 측정됐다.
원본 모델과의 출력 차이를 나타내는 KLD는 0.100716이었다. 제작자는 이번이 첫 변환 작업이며, 이 허락하면 수정이 없는 판도 내놓을 계획이다.
핵심 포인트
- 전체 1,220억 매개변수 중 처리할 때마다 100억 개가 활성화된다.
- 모델은 메모리 60.70GiB를 사용한다.
- AMD 스트릭스 헤일로에서 초당 28.45토큰을 생성했다.
- 속도는 초당 353.3토큰이었다.
- 이 확보되면 수정이 없는 판도 제공될 수 있다.