같은 질문에도 달라지는 로컬 LLM 출력 문제
SFT로 한 이 같은 에도 매번 크게 다른 답을 낼 수 있다. 어떤 때는 지시를 잘 따르지만, 어떤 때는 지시를 무시한다.
심하면 SFT 때 넣은 행동 방식이나 지식까지 따르지 않고, 전 처럼 움직이는 것처럼 보인다. 핵심 문제는 이런 차이가 예상 가능한 현상인지, 그리고 추론 때 출력을 더 일관되고 결정적으로 만들 수 있는 방법이 무엇인지다.
핵심 포인트
- SFT로 한 이 같은 에 다른 답을 낸다.
- 출력이 좋을 때는 지시를 정확히 따른다.
- 출력이 나쁠 때는 지시나 학습된 행동을 무시한다.
- 때로는 전 처럼 보인다.
- 목표는 추론 결과를 더 일관되고 결정적으로 만드는 것이다.