추측 디코딩은 품질보다 속도 벤치마크를 봐야 한다
의 수학적 증명에 따르면, 방식은 최종 출력 분포를 큰 목표 모델과 같게 유지한다. 작은 의 품질은 정답 보장 자체에는 들어가지 않는다.
이 나쁘면 더 자주 거절되어 속도가 느려질 뿐, 목표 모델이 낼 답을 바꾸지는 않는다. 그래서 양자화처럼 품질을 조금 포기하고 속도나 비용을 얻는 방식과 다르다.
수용률은 과 목표 모델의 출력 분포가 얼마나 다른지를 나타내는 와 직접 연결되며, 구체적으로 1에서 를 뺀 값이다. 이 관점에서는 이 손실 없는 가속 기법이라면 왜 에서 기본값이 아닌지, 실제 모델 조합에서 어느 정도 빨라지는지가 핵심 질문이 된다.
핵심 포인트
- 은 작은 이 먼저 답 후보를 만들고 큰 목표 모델이 확인하는 방식이다.
- 증명상 최종 출력 분포는 목표 모델과 같게 유지된다.
- 이 나쁘면 품질이 떨어지는 대신 속도 이득이 줄어든다.
- 수용률은 1에서 를 뺀 값으로 해석된다.
- 실제 평가는 수용률뿐 아니라 전체 속도 향상과 을 함께 봐야 한다.