AI 에이전트가 만든 테스트만 믿기 어렵다는 문제
가 코드를 만들고 그 코드의 까지 함께 만들면, 가 통과해도 실제 요구사항을 맞췄다는 뜻이 아닐 수 있다. 에이전트가 처음부터 일을 잘못 이해하면, 잘못된 코드와 그 잘못을 통과시키는 를 함께 만들 수 있기 때문이다.
그래서 초록색 통과 표시가 떠도 실제 결과는 틀릴 수 있다. 더 믿을 만한 확인 방법은 에이전트가 직접 만들지 않은 검사를 돌리는 것이다.
예를 들면 실제 앱에서 동작을 확인하거나, 별도의 를 쓰는 방식이다. DeranchBench는 이런 일이 얼마나 자주 생기는지 재기 위해 만든 작은 도구다.
핵심 포인트
- 가 만든 는 같은 오해를 반복할 수 있다.
- 통과가 실제 요구사항 충족을 보장하지 않는다.
- 실제 앱 실행이나 별도 가 더 믿을 만한 확인 방법이다.
- DeranchBench는 이런 실패가 얼마나 자주 생기는지 측정하려는 도구다.