투기적 디코딩이 전력 비용을 줄이지 못한 개인 실험
개인 환경에서 을 실제 까지 재서 비교한 결과, 속도 향상은 없었고 토큰당 에너지 사용량은 오히려 늘었다. 실험 장비는 8기가바이트 메모리의 RX 6650 XT 그래픽카드와 윈도우 11이었고, 실행 도구는 의 방식이었다. 기본 모델은 -3B-Instruct 양자화 버전, 미리 초안을 만드는 작은 모델은 -0.5B-Instruct 양자화 버전이었다.
두 모델은 모두 GPU에서 실행됐다. 같은 8개 질문을 반복 사용했고, 매번 256개 토큰을 만들었으며, 는 껐다. 1개 요청만 처리하는 경우와 8개 요청을 동시에 처리하는 경우를 나눠 시험했고, 결과는 여러 번 생성한 값을 평균냈다.
전력은 LibreHardwareMonitor로 GPU 을 초당 약 6번 측정한 뒤, 생성 시간 전체의 에너지 사용량으로 계산했다. GPU가 쉬고 있을 때 전력은 약 19와트였고, 부하가 커질수록 의 에너지 손해가 더 커졌다.
핵심 포인트
- 은 이 실험에서 토큰 생성 속도를 높이지 못했다.
- 토큰당 에너지 사용량은 을 켰을 때 더 많았다.
- 부하가 커지고 동시 요청이 늘어날수록 에너지 손해가 더 커졌다.
- 측정은 평균 전력만 본 것이 아니라 생성 구간의 실제 에너지 사용량을 계산했다.
- 비용을 줄이려면 기능을 켜기 전에 실제 장비에서 직접 벤치마크해야 한다.