검열 제거 모델의 추론 성능을 다시 끌어올린 12B 실험
에서 안전 제한을 강하게 제거하면 추론 능력이 크게 떨어질 수 있다. gemma-4-it-12B-uncensored-opus4.7-cot는 이 손실을 줄이기 위해 QLoRA로 다시 학습된 12B 모델이다. 학습에는 4.7이 만든 STEM 분야의 추론 흔적이 쓰였다.
결과 표에서는 원래 가 MMLU 0.777, GSM8K 0.949였고, 제한 제거 직후 모델은 MMLU 0.635, GSM8K 0.496까지 내려갔다. 다시 학습한 모델은 MMLU 0.739, GSM8K 0.920까지 회복했다. 낮을수록 좋은 Word 는 원래 모델 895, 제한 제거 직후 2360, 다시 학습한 모델 580으로 나왔다.
WikiText-2 bits/byte도 원래 모델 1.834, 제한 제거 직후 2.095, 다시 학습한 모델 1.717이었다. 모델 파일은 에서 와 GGUF 형식으로 제공된다.
핵심 포인트
- 의 안전 제한을 제거한 뒤 떨어진 추론 성능을 다시 학습으로 회복하려는 실험이다.
- QLoRA로 학습했고, 4.7이 만든 STEM 자료를 사용했다.
- GSM8K 점수는 제한 제거 직후 0.496에서 다시 학습 후 0.920으로 크게 올랐다.
- MMLU 점수는 제한 제거 직후 0.635에서 다시 학습 후 0.739로 회복했지만 원래 모델 0.777보다는 낮다.
- 와 GGUF 파일이 제공되어 로컬 실행이나 저비용 실험에 써볼 수 있다.