작은 공개 모델도 거짓 전제 대응에서 큰 모델을 이길 수 있다
HalBench는 이 틀린 전제를 받았을 때 그대로 맞장구치는지, 아니면 틀렸다고 되묻거나 바로잡는지 재는 다. 이번 v2.3은 33개 모델을 시험했고, 그중 29개가 공개 모델이다. 첫 버전 뒤에 발견된 약한 질문과 채점 문제를 반영해 100개 넘는 문항을 빼고, 전체 문항을 3,076개로 다시 정리했다.
전체 결과에서 과 만 50% 넘게 거짓 전제에 반박했다. 공개 모델 중에서는 약 270억 개 규모의 qwen3.6이 36.6%로 가장 높았고, 더 큰 공개 모델들과 GPT-5.4, 보다 높은 점수를 냈다. 모델 크기만으로 성능을 예측하기는 어려웠고, phi-4는 2.3%로 가장 낮았다.
데이터셋, 실행 공간, 코드는 모두 공개되어 있다.
핵심 포인트
- HalBench v2.3은 33개 모델을 시험했고, 그중 29개는 공개 모델이다.
- 시험 문항은 문제 제기 뒤 다시 검토되어 3,076개로 정리됐다.
- 과 만 거짓 전제에 50% 넘게 반박했다.
- 공개 모델 중 qwen3.6이 36.6%로 가장 높았고, 더 큰 공개 모델들을 앞섰다.
- 모델 크기는 결과를 잘 설명하지 못했고, phi-4는 2.3%로 최하위였다.