작은 로컬 모델을 유틸리티용으로 쓸 때 생기는 문제
M1 맥북 프로 32GB 메모리 환경에서 여러 을 로 시험한 경험이다. 3.1, 3.2-3B, Phi4-mini-3.8B, Qwen 2.5-3B가 후보로 다뤄졌다. 작은 모델들은 메모리를 정리할 때 너무 적극적으로 삭제하는 경향이 있었고, 여러 메모리를 잘 합쳐 정리하지 못했다.
기술이나 작업 능력을 점검하는 감사 작업도 시간이 오래 걸렸다. 큰 모델을 유틸리티용으로 계속 돌리기는 부담스럽지만, 대화나 에는 를 자주 쓰기 때문에 을 대화 모델과 똑같이 두고 싶지도 않은 상황이다.
핵심 포인트
- M1 맥북 프로 32GB 메모리에서 작은 모델 여러 개를 로 시험했다.
- 3.1, 3.2-3B, Phi4-mini-3.8B, Qwen 2.5-3B가 언급됐다.
- 작은 모델들은 메모리를 지나치게 많이 지우는 문제가 있었다.
- 메모리를 잘 합쳐 정리하지 못했고, 감사 작업도 오래 걸렸다.
- 대화와 은 를 쓰지만, 까지 같은 모델로 두고 싶지는 않은 상황이다.