코드 버그를 잘 잡는 AI 모델을 비교하는 공개 벤치마크
benchmodel.io는 AI가 코드 변경에서 버그를 찾아내는지 비교하는 무료 공개 벤치마크다. 테스트에는 실제 오픈소스 프로젝트에 배포됐던 보안 와, 실제 저장소에 따로 심은 버그가 함께 들어간다.
실제 사례는 CVE로 기록된 문제를 다시 넣고, 원래의 수정 코드를 정답 기준으로 삼는다. Claude, GPT, Gemini, 가 같은 코드 변경을 검토하고, 버그를 맞혔는지, 없는 문제를 있다고 잘못 지적했는지, 같은 질문에 같은 답을 반복해서 내는지를 점수로 비교한다.
어려운 버그에서는 어떤 모델은 매번 잡고, 어떤 모델은 매번 놓치는 차이가 있었다. CVE 기반 테스트는 실제 수정 링크도 함께 제공돼 결과를 직접 확인할 수 있다.
핵심 포인트
- 이 코드 변경에서 실제 버그를 잡는지 비교한다.
- 테스트에는 실제 CVE 보안 문제와 따로 심은 버그가 섞여 있다.
- Claude, GPT, Gemini, 의 정답률, 오탐, 답변 일관성을 본다.
- 어려운 버그에서는 모델별 차이가 크게 났다.
- CVE 기반 문제는 실제 수정 링크로 검증할 수 있다.