추론을 빠르게 하는 추측 디코딩이 다시 부각됨
은 큰 언어 모델이 답을 더 빨리 만들도록 돕는 추론 최적화 방법이다. 작고 빠른 초안 모델이 다음에 올 토큰 여러 개를 먼저 예상한다. 그다음 더 크고 느린 대상 모델이 그 예상이 맞는지 한 번에 확인한다.
이 방식은 한 번에 토큰 하나씩만 만드는 흐름보다 여러 토큰을 함께 처리할 수 있어 응답 속도를 높인다. 목표는 출력 품질을 떨어뜨리지 않으면서 큰 모델의 토큰 생성 시간을 줄이는 것이다. 은 Modal과 Z.ai의 모델을 써서 언어 모델 의 을 최신 수준으로 낮췄다고 밝혔다.
에서는 이 방법 설명과 관련 논문, 원래 논문을 인용한 후속 연구를 함께 볼 수 있다.
핵심 포인트
- 은 큰 언어 모델의 토큰 생성을 빠르게 하는 추론 최적화 방법이다.
- 작은 초안 모델이 여러 토큰을 먼저 예상하고, 큰 대상 모델이 이를 병렬로 확인한다.
- 출력 품질을 유지하면서 한 번에 여러 토큰을 처리하는 것이 핵심이다.
- 은 Modal과 Z.ai의 모델을 사용해 낮은 을 냈다고 밝혔다.
- 에서는 응답 속도와 추론 비용을 줄일 후보 기술로 볼 수 있다.