코딩 모델을 실제 테스트 통과 여부로 평가하는 도구
새 평가 도구는 코딩 모델이 만든 버그 수정 코드를 실제로 실행해 점수를 매긴다. 다른 인공지능에게 결과가 좋아 보이는지 묻지 않고, 수정 코드가 실제 를 통과하는지만 본다. 원래 버그가 그 테스트에서 정말 실패하는지도 확인해, 쓸모없는 테스트로 점수를 잘못 주는 일을 줄인다.
수정이 겉모양만 바꾼 것이 아니라 실제 동작을 바꿨는지도 검사한다. , vLLM, 같은 도구와도 연결할 수 있고, 여러 모델에 붙여 쓸 수 있다. 특정 모델의 약점을 겨냥한 가 무작위 데이터보다 나은지도 사전 등록 방식으로 시험했지만, 실제 테스트에서는 효과가 확인되지 않았다.
현재는 파이썬만 지원한다.
핵심 포인트
- 코드 결과를 다른 인공지능이 평가하지 않고 실제로 실행해 검사한다.
- 수정 코드가 를 통과하는지 확인한다.
- 원래 버그가 같은 테스트에서 실패하는지도 확인해 테스트 품질을 점검한다.
- 겉보기 수정이 아니라 실제 동작 변화가 있는지 본다.
- 약점 맞춤 가 무작위 데이터보다 낫다는 결과는 이번 시험에서 확인되지 않았다.