SwiReasoning, 토큰 적게 쓰면서 더 정확한 추론 기법 화제
Swi은 이 답을 낼 때 '겉으로 드러내는 사고 과정(명시적 추론)'과 '내부적으로만 처리하는 사고 과정()'을 상황에 맞게 번갈아 쓰도록 만든 기법이다. 이렇게 하면 모델이 문제를 풀 때 필요한 토큰(글자 단위 처리량) 수가 크게 줄어, 답변 속도가 체감상 빨라진다.
한 사용자는 모델에 이 기법을 적용해봤더니 답변이 더 정확해지고 문제 해결 속도도 훨씬 빨라졌다고 보고했다. 초당 생성 토큰 수(t/s) 자체는 약간 느려졌지만, 전체적으로 필요한 토큰이 훨씬 적어서 결과적으로는 더 빠르게 느껴졌다는 것이다.
이 기법은 이미 9개월 전에 나온 것으로, (sdc17/Swi)와 용 구현체도 존재한다. 그럼에도 널리 알려지지 않은 이유가 뭔지 궁금하다는 질문이 커뮤니티에 올라왔다.
핵심 포인트
- Swi은 명시적 추론과 을 전환하며 사용하는 기법
- 에 적용 시 정확도 향상 및 체감 속도 개선 보고
- 초당 토큰 생성 속도는 다소 느려지지만 전체 필요 토큰 수가 줄어듦
- 공개된 지 9개월 된 기법이며 GitHub와 구현체 존재
- 왜 널리 알려지지 않았는지에 대한 의문이 제기됨