실제 코드 변경으로 AI 코딩 성능과 비용을 재는 방법
의 코딩 실력을 실제 의 병합된 로 평가하는 방법론이다. 저장소를 사람이 변경하기 전 상태로 고정한 뒤, 각 모델을 서로 분리된 에서 같은 조건으로 실행한다. 결과는 테스트 통과 여부만 보지 않고, 사람이 만든 와 얼마나 같은 효과를 내는지, 코드 품질이 좋은지, 비용이 얼마나 드는지도 함께 본다.
평가는 을 가린 블라인드 심사로 진행해 편향을 줄인다. 목표는 과 리팩터링 작업에서 어떤 모델이 실제 업무에 더 쓸 만한지 더 엄격하게 비교하는 것이다.
핵심 포인트
- 실제 병합된 를 기준 문제로 사용한다.
- 저장소를 변경 직전 상태로 고정하고 모델별 결과를 비교한다.
- 각 모델은 분리된 에서 실행해 조건을 맞춘다.
- 테스트 통과율, 사람의 변경과의 동등성, 코드 품질, 비용을 함께 평가한다.
- 블라인드 심사로 에 따른 선입견을 줄인다.