맥 미니 M4 24GB에서 로컬 LLM을 돌릴 수 있을까
24GB를 새로 받은 뒤, 초기 설정 이후에는 외부 서비스 없이 으로 바로 쓰려는 상황이다. 고민은 성능이다. 지금까지 본 정보로는 이 사양에서 이 너무 느리거나 답변 품질이 낮을 수 있다는 걱정이 있다.
그래서 실제로 비슷한 환경에서 을 돌리는 사람이 어떤 모델을 쓰고, 어느 정도 쓸 만한지 확인하려는 내용이다. 대안으로는 기능을 제대로 쓰기 위해 비용이 낮은 중국계 모델 같은 외부 모델을 써야 할 수도 있다는 우려가 함께 나온다.
핵심 포인트
- 대상 장비는 24GB이다.
- 목표는 외부 서비스 없이 을 쓰는 것이다.
- 핵심 걱정은 속도가 느리거나 답변 품질이 부족할 수 있다는 점이다.
- 비슷한 환경에서 어떤 모델이 가장 잘 맞는지 찾고 있다.
- 완전 로컬 운영이 어려우면 저렴한 외부 모델을 함께 써야 할 가능성이 있다.