같은 계열 AI가 자기 채점하면 점수가 부풀려진다는 실험 결과
텍스트 압축 의 결과물을 같은 모델 계열(자기 자신과 같은 회사·버전군)로 채점했더니 96%라는 높은 점수가 나왔다. 하지만 다른 회사, 다른 계열의 독립적인 심판 모델(-3.3-70b)로 다시 채점하자 점수는 78.4%로 크게 떨어졌다. 실험자는 이 결과를 보기 전에 미리 가설과 합격 기준을 문서(PREREG.md)에 적어두고, 어떤 결과가 나오든 그대로 공개하기로 약속했다.
숫자, 날짜, 16진수 ID, 파일명처럼 정확히 일치해야 하는 '고정 사실'이 그대로 보존되는 비율(정확 일치 기준)은 90.48%로 겨우 턱걸이했는데, 신뢰구간이 86.90~94.05%라서 미리 정해둔 '성능 저하' 구간에 살짝 걸쳤다. 그래서 원래의 96%라는 숫자는 더 이상 검증 없이 쓸 수 없는 것으로 취급하기로 했다. 핵심 결과는 './repro.sh'라는 로 인터넷 연결이나 없이 1초 안에 재현 가능하며, 실행하면 78.57%가 나오고 실제 테스트에서 취약하다고 지적된 항목들(16진수 ID, 파일명, 순수 숫자)이 그대로 깨진다.
원본 코퍼스와 압축기 자체는 비공개로 남기고, 문서·채점 방법·에 대한 결과만 공개했다.
핵심 포인트
- 같은 모델 계열의 자기 채점 점수(96%)가 다른 계열의 독립 채점(78.4%)보다 17.6점 높게 나옴
- 실험 전 가설과 합격 기준을 미리 문서로 남기는 (pre-registration) 방식을 사용
- 숫자·파일명 등 정확히 일치해야 하는 값의 보존율은 90.48%로 미리 정한 저하 기준에 겨우 걸침
- 별도 로 인터넷 연결 없이 1초 안에 핵심 결과를 재현 가능
- 원본 데이터와 압축 은 비공개, 채점 방법과 검증 절차만 공개