Qwen 실행 중 내부 방향을 조절하는 C++ 커널 실험

Qwen2.5-1.5B가 답을 만드는 추론 중에 함께 도는 C++ 커널 실험이다. 모델을 다시 학습시키지 않고, 프롬프트도 바꾸지 않고, 모델 가중치도 건드리지 않는다.

대신 처음 20개 트랜스포머 층마다 katki라는 작은 값을 계산해 모델의 내부 hidden state에 더한다. 이 변화는 bfloat16 형식의 측정 한계보다 작아서 일반 측정 도구에는 변화가 0처럼 보이지만, 실제 출력은 달라진다.

1.2 버전에는 Gradio 화면에서 최대 세기, 줄어드는 속도, 계속 남는 바닥값, 조절 속도를 실시간으로 바꾸는 슬라이더 4개가 추가됐다. 이번 실험에서는 기본값보다 세기와 바닥값을 올렸고, 누적 압력이 이전 기본 실험의 +0.034953에서 +0.042903으로 커졌다.