Flint, 추론 능력을 유지하며 토큰을 2~3배 절감
는 와 가 답을 찾는 과정을 짧게 학습하도록 만든 모델과 학습 방법이다. 계산하고 답을 확인하는 부분은 유지하고, 불필요한 설명과 연결 문장은 줄이거나 삭제했다. 그 결과 원래 모델과 비슷하거나 더 좋은 성능을 내면서 은 2~3배 줄었다.
반대로 모든 부분을 같은 방식으로 압축하면 문제가 생겼다. 매번 가능성이 가장 높은 다음 말을 고르는 설정에서 GSM8K 문제의 93%가 반복에 빠졌고, 정확도는 3%에 그쳤다. 이미 정답에 도달한 뒤에도 답을 끝내지 못하는 경우가 많았다.
같은 모델의 출력 무작위성을 높이자 해당 실패 사례 일부에서 정확도가 90%로 회복돼, 지식을 잃은 것이 아니라 멈추는 방법을 제대로 배우지 못한 것으로 나타났다. 전체 연구 내용과 모델, 코드는 공개돼 있다.
핵심 포인트
- 계산과 검증은 유지하고 불필요한 설명만 압축했다.
- 원래 모델과 비슷하거나 더 좋은 성능으로 토큰을 2~3배 적게 사용했다.
- 전체 과정을 똑같이 압축하면 GSM8K 문제의 93%에서 반복이 발생했다.
- 출력 무작위성을 높이자 실패 사례 일부의 정확도가 3%에서 90%로 회복됐다.
- 연구 내용과 학습된 모델, 코드를 확인할 수 있다.