작은 모델의 확신도는 에이전트 판단 기준으로 약하다
에이전트가 스스로 답할지 멈출지 정할 때 모델의 확신도를 기준으로 삼는 방식은 작은 모델과 중간급 모델에서 거의 믿기 어렵다. 무작위 숫자로 만든 여러 단계의 정수 계산 문제를 풀게 하고, 각 답과 0~100점 확신도를 함께 내게 한 뒤, 확신도가 실제 정답 여부를 얼마나 잘 맞히는지 비교했다. 점수는 0.5면 동전 던지기와 비슷해 아무 정보가 없고, 1.0이면 맞는 답과 틀린 답을 완벽히 가른다는 뜻이다.
:7b는 0.50으로 거의 아무 구분을 못 했고, -coder:30b도 0.54로 크게 다르지 않았다. 두 모델은 틀린 답에도 매우 높은 확신도를 붙이는 경향이 강했고, 실제 정확도보다 확신도가 각각 0.72, 0.84만큼 높았다. 반면 는 0.73, 은 0.90으로 확신도가 정답 여부를 더 잘 가렸다.
은 확신도와 실제 정확도의 차이도 0.02로 작아, 스스로 멈출지 판단하는 기준으로 훨씬 안정적이었다.
핵심 포인트
- 에이전트가 답변 여부를 정할 때 모델의 확신도를 쓰는 방식은 작은 모델에서 잘 작동하지 않았다.
- :7b는 확신도 점수 0.50으로 동전 던지기 수준이었다.
- -coder:30b도 0.54에 그쳐 틀린 답을 거르는 데 약했다.
- 는 0.73, 은 0.90으로 더 나은 구분 능력을 보였다.
- 작은 모델을 비용 절감용으로 쓸 때는 별도 검증 장치가 필요하다.