작은 코딩 모델을 키우는 새 샘플러, 비용 절감은 아직 불확실
새로운 와 조합은 0.5B처럼 아주 의 코딩 성능을 2B, 3B, 4B급 모델에 가까운 수준으로 끌어올릴 가능성을 보여준다. 모델의 를 바꾸지 않고, 답을 만드는 과정에서 잘못된 방향으로 갔다고 판단되면 되돌아가 다시 생성하는 방식이다. 큰 모델에서도 문제 일부를 줄일 수 있을 가능성이 제기되지만, 30~50% 개선이라는 수치는 확정된 결과가 아니라 추정이다.
구현 측면에서는 vLLM이나 SGLang보다 에 `--top-n-sigma` 같은 옵션으로 들어가기 쉬울 수 있다는 관측이 있다. 단점도 크다. 되돌아가 다시 생성하는 과정 때문에 decode speed가 5~30% 느려질 수 있고, 원래 모델과 비슷한 크기의 을 따로 훈련해야 한다.
그 결과 VRAM 요구량은 거의 두 배가 되고, memory bandwidth는 두 배 이상 필요하며, 전체 도 1.5~3배 늘어날 수 있다. 핵심은 지금 당장 더 싼 실행법이라기보다, 더 똑똑한 생성 방식이 작은 모델의 약점을 줄일 수 있다는 실험적 신호다.
핵심 포인트
- 0.5B급 작은 모델의 코딩 성능을 더 큰 모델급에 가깝게 만들 가능성이 있다.
- 를 바꾸지 않고 생성 과정의 선택 방식을 바꾸는 접근이다.
- 는 잘못된 답변 흐름을 되돌려 다시 생성하므로 속도가 느려질 수 있다.
- 을 추가로 써야 해서 VRAM, memory bandwidth, 부담이 크게 늘 수 있다.
- 비용 절감 가능성은 있지만 현재 형태는 실행 비용이 낮다고 보기 어렵다.