분기 추론은 평균보다 중앙값으로 봐야 비용 판단이 쉬워진다
어려운 코딩과 디버깅 과제에서 을 한 번에 답하는 방식과 비교했다. -8B는 7개 어려운 과제에서 평균 1.70배였지만 은 1.00배라서, 보통 과제에서는 나아지지 않았다. 좋아진 결과는 조건이 많은 일부 과제에 몰려 있었다.
3-1B SRD-4는 평균 1.53배, 1.33배로 더 작지만 더 고른 개선을 보였다. SmolLM-135M은 평균 6.52배로 커 보였지만, 30배짜리 예외 결과 하나가 평균을 크게 끌어올렸고 은 1.67배였다. 결론은 분기 추론이 모델을 항상 더 똑똑하게 만들지는 않는다는 것이다.
모델이 필요한 단서를 갖고 있지만 한 번에 답할 때 조건 하나를 놓치는 과제에서는 도움이 될 수 있다. 와 SmolLM은 로컬에서 실행됐고, 는 에서 실행됐다.
핵심 포인트
- 은 어려운 코딩·디버깅 과제에서 한 번에 답하는 방식과 비교됐다.
- -8B는 평균 1.70배였지만 1.00배라서 일반적인 과제 개선은 거의 없었다.
- 3-1B SRD-4는 평균 1.53배, 1.33배로 더 안정적인 개선을 보였다.
- SmolLM-135M은 평균 6.52배였지만 30배 예외 결과의 영향이 컸고, 은 1.67배였다.
- 분기 추론은 조건을 놓치기 쉬운 과제에서만 선택적으로 쓰는 편이 비용 판단에 유리하다.