작은 Qwen 모델을 내부 제어로 더 똑똑하게 만들려는 실험
는 가 답을 만드는 동안 옆에서 함께 도는 작은 이다. 이 방식은 모델을 다시 학습시키지 않고, 가중치나 프롬프트도 바꾸지 않는다. 대신 처음 20개 에서 모델의 를 아주 작게 한쪽 방향으로 밀어 준다.
그 방향은 모델 안의 윤리와 논리 관련 표현에서 만든 것으로 설명된다. 변화량은 일반 측정 도구로는 거의 0처럼 보일 만큼 작지만, 최종 답변에서는 차이가 보인다는 주장이다. ivme, sonum, zirve, taban이라는 네 조절값은 밀어 주는 세기, 줄어드는 속도, 최고 한도, 항상 남는 바닥값을 정한다.
이 실험의 목적은 작은 모델이 실제로 컴파일되는 C++ 스레드 풀 코드를 쓰는지 확인하는 것이 아니며, 그런 코드는 만들지 못한다는 전제를 둔다. 핵심은 15억 매개변수 모델의 구조적 사고가 이런 내부 제어로 얼마나 늘어나는지 보는 것이다.
핵심 포인트
- 를 다시 학습하지 않고 추론 중 내부 상태만 아주 작게 조정한다.
- 가중치와 프롬프트는 바꾸지 않는 방식으로 설명된다.
- 처음 20개 에서 를 정해진 방향으로 민다.
- ivme, sonum, zirve, taban 네 값이 조정 세기와 지속 방식을 정한다.
- 실제 컴파일되는 C++ 코드를 만드는 실험이 아니라 작은 모델의 사고 확장 가능성을 보는 실험이다.