모바일 기기에서 4B 언어 모델을 1분 안에 돌리기 어려운 이유
모바일 앱에서 같은 을 직접 실행하려고 하면 응답 속도가 큰 문제가 될 수 있다. Qwen 1.5B와 는 결과 품질이 좋지 않았고, 응답이 같은 말을 반복하는 문제가 있었다.
에서는 추론 과정을 건너뛰기 위해 빈 think 태그를 강제로 넣고, 약 1만 8천 토큰짜리 를 사용했다. 전체 프롬프트는 2만 토큰보다 작지만, 캐시가 큰 이유는 모델에 많은 조건과 설정값을 전달하기 위해서다.
이런 선택은 기기 안에서 더 빠르게 돌리기 위한 것이지만, 아직 응답 하나를 만드는 데 2~3분이 걸린다. 목표는 사용자가 입력한 뒤 1분 안에 답을 받는 것이다.
핵심 포인트
- 모바일 기기에서 를 실행해 응답을 만들고 있다.
- Qwen 1.5B와 는 결과 품질이 낮고 반복 응답 문제가 있었다.
- 는 약 1만 8천 토큰이고, 전체 프롬프트는 2만 토큰 미만이다.
- 속도를 높이려고 빈 think 태그로 추론 과정을 건너뛰고 있다.
- 현재 응답 생성은 2~3분이 걸리며, 목표는 1분 이하다.