Qwen3-4B 실험: 내부 엔트로피만으로 오답을 찾기는 어렵다
가 틀린 답을 내놓을 가능성을 내부 상태로 예측할 수 있는지 약 1만1,400개 문제와 7개 에서 시험했다. 사용한 는 모델이 답을 만드는 내부 작업 공간이 얼마나 불확실하고 복잡한지를 나타내는 값이다. 같은 사실 검색 문제에서는 답 자체의 확신도와 함께 사용했을 때, 검토할 수 있는 양이 적은 상황에서 오답을 더 정확히 골라내는 경우가 있었다.
특히 모델이 겉으로는 확신하는 답 가운데 검토가 필요한 답을 찾는 데 도움이 됐다. 그러나 흔한 오해를 묻는 에서는 답의 확신도보다 성능이 크게 떨어졌으며, 잘못된 답도 내부 상태가 단순하고 확실하게 나타날 수 있었다. 문제 종류에 따른 차이도 컸다.
TriviaQA에서 정한 판정 기준은 올바른 수학 풀이도 기본 엔트로피가 높은 GSM8K에서 통하지 않았고, CommonSenseQA에서는 객관식 형식 때문에 신호가 더욱 약해졌다.
핵심 포인트
- 의 약 1만1,400개 사례를 7개 에서 평가했다.
- 사실 검색에서는 가 제한된 검토 대상을 고르는 데 일부 도움이 됐다.
- 에서는 잘못된 믿음을 안정적으로 찾아내지 못했다.
- TriviaQA에서 맞춘 기준은 수학 문제인 GSM8K에 그대로 적용되지 않았다.
- 객관식 문제에서는 내부 신호의 효과가 크게 약해졌다.