오래된 컴퓨터에서도 빠르게 도는 작은 AI 모델 사례
는 오래된 인텔 i5-6500 컴퓨터에서도 초당 약 9개 토큰 속도로 실행된다. 실행 속도가 빠르고, 답변 품질도 ChatGPT 3.5보다 낫게 느껴질 만큼 만족스럽다는 평가가 있다. ChatGPT 4와 비슷할 수도 있다는 인상도 있지만, ChatGPT 4를 많이 써 본 비교는 아니다.
이전에 써 본 도 작은 모델인데도 기대 이상이었다. 핵심은 비싼 장비 없이도 쓸 만한 작은 이 있다는 경험이다.
핵심 포인트
- 가 오래된 i5-6500 컴퓨터에서 초당 약 9개 토큰으로 실행됐다.
- 체감 답변 품질은 ChatGPT 3.5보다 좋다고 평가됐다.
- ChatGPT 4와의 비교는 사용 경험이 적어 확실하지 않다.
- 도 작은 모델 후보로 긍정적으로 언급됐다.
- 낮은 사양 컴퓨터에서 돌릴 수 있으면 과 추론 비용을 줄일 수 있다.