DFlash 기술로 로컬 AI 모델 속도 2.2배 향상, 품질 저하 없음
그래픽카드 한 대에서 라는 을 세 가지 방식(기본·MTP·)으로 돌려 속도를 비교했다. 테스트 과제는 퀵소트 코드 작성, JSON 형식의 스팀 라이브러리 만들기, 논리 퍼즐 풀기, SF 소설 쓰기였다. 결과는 기본 방식이 초당 44토큰(1배), MTP 방식이 초당 65토큰(1.45배, 예측 적중률 71%), 방식이 초당 98토큰(2.2배, 예측 적중률 30%)이었다.
는 한 번에 15개 토큰을 연속으로 미리 예측하는 방식이라, JSON처럼 반복되고 정형화된 텍스트에서 예측이 잘 맞아떨어져 특히 빠르다(초당 152토큰, 3.4배). 반면 창작 글쓰기처럼 예측이 자주 빗나가는 경우에는 예측에 쓴 계산이 낭비되어 오히려 기본 속도보다 느려질 수 있다(초당 42토큰 vs 44토큰). MTP는 모델 내부에서 한 번에 3개만 예측하기 때문에 틀려도 손해가 거의 없어 기본 속도 아래로는 절대 떨어지지 않는다.
세 방식 모두 최종 출력 결과는 동일하다. 따라서 코딩 작업에는 가, 대화나 창작 작업에는 MTP가 더 적합하다는 결론이다.
핵심 포인트
- 한 대에서 모델로 기본·MTP· 세 방식을 비교
- 는 초당 98토큰(2.2배)으로 가장 빠르지만 예측 적중률은 30%로 낮음
- MTP는 초당 65토큰(1.45배)이며 예측 적중률 71%로 안정적, 기본 속도 아래로 안 떨어짐
- 반복적·정형화된 텍스트(JSON 등)에는 가 유리, 창작 글쓰기에는 MTP가 유리
- 세 방식 모두 최종 출력 품질은 동일함