추측 디코딩(speculative decoding)이란 무엇인가 쉽게 정리
은 LLM()이 답을 더 빨리 생성하도록 돕는 기법이다. 크고 느린 '메인 모델' 대신, 작고 빠른 ''이 먼저 여러 단어를 미리 추측해서 만든다. 그다음 메인 모델이 이 추측들을 한 번에 검토해서 맞으면 그대로 채택하고, 틀린 부분이 나오면 그 지점부터 다시 메인 모델이 직접 생성한다.
핵심은 메인 모델이 한 단어씩 순차적으로 만드는 대신 여러 단어를 한 번에 검증만 하면 되므로 전체 속도가 빨라진다는 점이다. 결과물의 품질은 메인 모델이 처음부터 끝까지 직접 생성한 것과 이론상 동일하게 유지되면서도, 응답 속도(지연시간)를 줄이고 비용도 낮출 수 있다는 것이 이 기법의 요지다.
핵심 포인트
- 작은 이 여러 단어를 미리 추측해서 생성한다
- 크고 느린 메인 모델이 추측된 단어들을 한 번에 검증한다
- 맞는 부분은 채택하고 틀린 부분부터 메인 모델이 다시 생성한다
- 한 단어씩 순차 생성하는 것보다 전체 속도가 빨라진다
- 결과 품질은 메인 모델 단독 생성과 동일하게 유지된다