AI 에이전트 성패는 모델보다 검증기에 달려 있다는 분석
약 15편의 실행 연구를 보면, 잘 작동한 사례들은 더 강한 모델 자체보다 결과를 엄격하게 확인하는 검증기를 갖고 있었다. ComPilot은 일반 을 컴파일러와 연결해 코드가 맞는지와 속도가 얼마나 빨라졌는지 확인하고, 실패하면 다시 시도하게 했다. 이 방식은 한 번 실행에서 2.66배, 5번 중 가장 좋은 결과에서 3.54배 속도 향상을 냈고, 파인튜닝은 쓰지 않았다.
Codium은 생성한 코드를 테스트에 반복해서 돌리며 GPT-4의 CodeContests 성과를 19%에서 44%로 올렸다. -R1은 수학과 코드처럼 정답 확인이 쉬운 보상으로 훈련했고, R1-Zero는 AIME 점수가 훈련 중 15.6%에서 71.0%까지 올랐으며 를 쓰면 86.7%까지 올라갔다. o3는 ARC-AGI에서 87.5%를 냈지만, 고연산 설정에서 실행 비용이 대략 수십만 달러 규모였다는 점도 함께 봐야 한다.
실패 사례들은 대체로 검증기가 없거나, 모델이 검증 기준을 속일 수 있는 구조였다.
핵심 포인트
- 성공한 실행 사례들은 결과를 확인하는 검증기를 갖고 있었다.
- ComPilot은 컴파일러 검사를 이용해 파인튜닝 없이 코드 속도 향상을 냈다.
- Codium은 테스트 반복으로 GPT-4의 코딩 대회 성과를 크게 올렸다.
- -R1은 정답 확인이 쉬운 수학·코드 보상에서 큰 성능 향상을 보였다.
- o3의 높은 ARC-AGI 점수는 고연산 설정과 큰 비용이 함께 따라왔다.