거짓 전제를 그대로 따르지 않는 Gemma-4-31B 변형 공개
은 요청에 틀린 전제가 들어 있으면 그대로 답을 만들지 않고 먼저 문제를 지적하도록 조정한 모델이다. 존재하지 않는 도구나 논문, 사실처럼 제시된 잘못된 가정을 걸러내는 것이 목표다.
예시에서는 에 기본 제공되지 않는 기능이 있다고 전제하고 사내 기술 문서를 작성하도록 요청했다. 기존 는 이 기능이 실제로 존재하는 것처럼 설정표와 사용 안내까지 지어냈고, 형식을 찾을 수 없으면 잠금 파일을 확인하라는 잘못된 조언도 덧붙였다.
AntiHal 변형은 구현을 진행하지 말라고 멈춘 뒤 전제가 틀렸음을 지적했다. 공개된 제목에 따르면 이런 조정은 벤치마크 성능에 영향을 주지 않았지만, 이를 뒷받침하는 구체적인 시험 결과나 수치는 제공된 내용에서 확인할 수 없다.
핵심 포인트
- 은 요청 속 를 따르기 전에 이의를 제기하도록 조정됐다.
- 대상 오류에는 존재하지 않는 도구와 논문, 사실처럼 제시된 잘못된 가정이 포함된다.
- 기존 모델은 의 가짜 기능과 설정 정보를 만들어 냈다.
- AntiHal 변형은 잘못된 구현을 멈추고 전제의 오류를 먼저 지적했다.
- 비용 절감 효과를 판단하려면 재시도 횟수와 총 을 따로 측정해야 한다.