REAP, 실제 사용 기록으로 코딩 에이전트 평가문제 자동 구성
REAP는 를 평가하는 를 실제 서비스 사용 과정에서 자동으로 모으는 방법으로 제시된다. 핵심은 사람이 일부러 시험 문제를 만드는 대신, 실제 업무 중에 가 마주친 상호작용을 평가 자료로 바꾸는 데 있다. 공개된 정보만으로는 수치, 비용 절감 폭, 적용 절차, 사용 가능한 코드 공개 여부는 확인되지 않는다.
핵심 포인트
- REAP는 평가용 를 자동으로 구성하는 방법으로 소개된다.
- 평가 자료의 출처는 실제 중 생긴 상호작용이다.
- 사람이 수작업으로 평가 문제를 만드는 부담을 줄이는 방향이다.
- 절감 자체보다 에이전트 품질 평가와 개선에 더 직접적으로 관련된다.