NextLat, 추론을 최대 3.3배 빠르게 하는 학습 방법
Microsoft 의 NextLat은 가 다음 단어만 맞히는 방식의 한계를 줄이려는 학습 방법이다. 기존 방식은 바로 다음 토큰을 예측하지만, NextLat은 현재 내부 와 다음 토큰을 바탕으로 다음 도 함께 예측하도록 훈련한다.
이렇게 하면 모델이 앞선 내용을 더 작은 믿음 상태로 압축해 기억하고, 추론과 계획에 쓸 수 있는 내부 표현을 만들도록 유도한다. 단어 하나를 맞히는 것보다 잠재 공간에서 예측하는 일이 더 촘촘한 학습 신호를 줄 수 있어 데이터 효율도 좋아질 수 있다.
또 여러 단계를 미리 내다보는 재귀 방식으로 을 하면서 추론 속도를 최대 3.3배 높일 수 있다고 한다. 논문, 블로그, 코드 링크가 함께 공개되어 있다.
핵심 포인트
- NextLat은 다음 토큰뿐 아니라 모델의 다음 도 예측하도록 훈련한다.
- 목표는 더 작은 내부 믿음 상태를 만들어 추론과 계획에 도움이 되는 표현을 얻는 것이다.
- 잠재 공간 예측은 기존 토큰 예측보다 더 촘촘한 학습 신호를 줄 수 있다고 주장한다.
- 으로 추론 속도를 최대 3.3배 높일 수 있다고 제시한다.
- 운영에서는 속도 개선이 토큰 사용 시간과 절감으로 이어질 수 있다.