작은 로컬 모델도 문서 질의응답 성능 차이가 크게 난다
맥에서 파일을 모아 두고 그 내용에 대해 대화하듯 질문하는 로컬 문서 관리 앱을 테스트했다. 같은 30개 문서 묶음과 같은 20개 질문을 여러 작은 모델에 넣어, 이미 아는 정답과 비교했다. 모델은 의료와 법률 문장을 제한하는 경우가 있어, MLX에서 돌아가는 다른 모델들이 실제 문서 질문에 얼마나 답할 수 있는지 비교했다.
가 정답률 83.3%로 가장 높았고, 응답 시작 전 지연은 5.3초, 처음 불러오는 시간은 6.3초, 크기는 2.3GB였다. 는 정답률 72.2%, 크기 1.8GB로 더 작고 빨랐으며, Phi-3.5 mini는 66.7%였다. Qwen3 8B는 더 큰 4.6GB 모델인데도 정답률이 72.2%에 그쳐 보다 낮았고, 처음 불러오는 시간도 19.5초로 길었다.
Apple FM은 정답률 66.7%, 지연 2.8초, 처음 불러오는 시간 5.5초였다. 다음 비교는 더 큰 법률·의료 문서 묶음과 Qwen3.5 계열 모델로 넓어질 예정이다.
핵심 포인트
- 같은 문서 30개와 같은 질문 20개로 여러 작은 모델을 비교했다.
- 가 정답률 83.3%로 가장 높았고 크기는 2.3GB였다.
- Qwen3 8B는 더 큰 모델인데도 정답률 72.2%로 보다 낮았다.
- 는 1.8GB 크기에 정답률 72.2%로 속도와 크기 면에서 균형이 좋았다.
- 로컬 에이전트는 모델 크기보다 실제 문서 테스트 결과를 보고 고르는 편이 낫다.