64GB 이상 맥에서 로컬 AI를 오래 돌릴 때의 실제 체감
64GB 이상 를 가진 맥에서 을 실제로 돌릴 때 성능이 얼마나 안정적인지가 핵심이다. 관심 대상은 긴 대화 기록, 큰 문서, 코드베이스, 대형 처럼 많은 문맥을 한꺼번에 넣는 작업이다. 확인하려는 내용은 7B부터 70B급 모델에서 입력 문맥을 읽는 속도와 답변을 만드는 속도, 그리고 어떤 양자화 방식과 실행 도구를 쓰는지다.
비교 대상 도구에는 MLX, 의 Metal 실행, , 가 포함된다. 문맥 길이가 32k에서 64k, 128k 이상으로 커질 때 속도 저하나 이 생기는지도 중요하다. 긴 작업 중 기기가 뜨거워지는지, 방 온도에 영향을 줄 정도인지, 맥북과 맥 미니·맥 스튜디오 사이에 성능 제한 차이가 있는지도 확인 대상이다.
특히 M3와 M4 Pro, Max, Ultra 구성에서 몇 시간짜리 사용이나 계속 켜두는 서버 운용이 가능한지가 관심사다.
핵심 포인트
- 64GB 이상 맥에서 을 돌리는 실제 경험을 찾고 있다.
- 긴 대화 기록, 큰 문서, 코드베이스처럼 많은 문맥을 넣는 작업이 중심이다.
- 7B~70B 모델에서 입력 처리 속도와 답변 생성 속도가 주요 비교 지점이다.
- MLX, , , 같은 실행 도구별 차이를 보려 한다.
- 맥 미니나 맥 스튜디오를 계속 켜두는 서버처럼 쓸 때 발열과 성능 제한이 중요한 관심사다.