작은 모델의 '속마음' 확신도를 읽어 도구 사용을 판단하는 LoRA 어댑터 공개

Qwen3.5-4B용으로 만든 10MB 크기의 LoRA 어댑터와 작은 오케스트레이션 레이어를 오픈소스로 공개했다. 이 어댑터는 질문마다 '바로 답한다 / 웹 검색을 한다 / 내 로컬 문서에서 찾아본다' 중 무엇을 할지 결정하고, 확인할 수 없는 내용은 답을 지어내지 않고 거부한다. 애플 실리콘(MLX)에서 로컬로 돌아가며, llama.cpp나 Ollama용 GGUF 빌드도 제공한다.

배경이 되는 문제는 이렇다: 3~9B 크기의 작은 모델 7개를 테스트해 보니 모두 자기 확신도를 말로 표현하는 데는 형편없었다 — 뭘 물어봐도 '확신한다'고 답하는 식이다. 하지만 모델 내부의 활성화 값(activation)에는 실제 확신도 정보가 담겨 있었고, 이 어댑터는 그 내부 신호를 직접 읽어 도구 사용 여부를 결정한다. 성능 면에서는 기존 모델의 도구 호출 판단보다 자기 오류를 더 잘 잡아냈다(신호 탐지 지표인 d′ 기준 0.46 개선, 95% 신뢰구간 [0.01, 0.89]).

기존 모델은 놓쳤지만 이 게이트가 추가로 잡아낸 사례 중 87%는 실제로 틀린 답이었다. 개인정보 보호 기능도 있다: 두 가지 신호를 함께 쓰는 버전은 '내 퇴원 요약서에 뭐라고 적혀 있었지' 같은 개인정보 관련 질문을 웹 검색 대신 로컬 검색으로 돌려, 개인 질의가 외부로 새어나가는 비율을 줄인다.