MiMo-V2.5 양자화 품질과 추론 반복 문제
MiMo-V2.5를 와 함께 쓰면 이 길게 이어지다가 같은 흐름을 반복하고 결정을 못 내리는 문제가 생긴다. 내용 자체가 엉뚱한 말은 아니지만, 작업을 끝내려면 사람이 중간에 멈추고 방향을 다시 잡아줘야 한다.
현재 쓰는 양자화 버전은 의 UD-Q4_K_XL이며, htop으로 보면 메모리가 약 30GB 더 남아 더 높은 양자화 품질의 버전을 올릴 수 있을 가능성이 있다. 핵심 질문은 더 큰 양자화 버전으로 바꾸면 이런 반복과 결정 지연이 줄어드는지다.
같은 도구 조건에서 MiMo-V2.5는 .5 397B보다 더 나은 결과를 냈다. 은 없이 웹 가져오기만 가능한 상황에서 존재하지 않는 기술 버전과 어색한 설계를 섞어 계획을 만들었지만, MiMo-V2.5는 그 계획을 버리고 웹 가져기만으로도 더 실제적인 조사를 진행했다.
핵심 포인트
- MiMo-V2.5가 에서 추론을 반복하며 결정을 늦추는 문제가 있었다.
- 사람이 중간에 멈추고 방향을 잡아주면 작업은 대체로 끝낼 수 있었다.
- 현재 사용 중인 양자화 버전은 의 UD-Q4_K_XL이다.
- 메모리가 약 30GB 남아 더 높은 품질의 양자화 버전을 시도할 여지가 있다.
- 같은 제한 조건에서 MiMo-V2.5는 .5 397B보다 덜 엉뚱한 계획을 만들었다.