공정하면서 어려운 코딩 에이전트 과제가 힘든 이유
유능한 를 할 과제에서는 공정함과 어려움이 서로 충돌한다. 공정한 과제는 주어진 정보만으로 답을 낼 수 있어야 하지만, 사람이 적으로 풀 수 있다면 에이전트도 대체로 풀어낸다.
이 에이전트는 단순한 대화형 과 달리 코드를 실행하고, 정보를 찾고, 여러 방법을 직접 시험할 수 있다. 그래서 잘 알려지지 않은 지식을 요구하거나 계산량을 늘리는 방식만으로는 오래 막기 어렵다.
그럴듯하지만 틀린 풀이도 스스로 확인하고 수정할 수 있어 얕은 함정은 잘 통하지 않는다. 정보를 일부러 빼면 과제는 어려워지지만 동시에 불공정해지며, 실제 난이도 역시 어렵다거나 쉽다는 식으로 안정적으로 나누기 어렵다.
핵심 포인트
- 공정한 과제는 답을 찾는 데 필요한 정보를 빠짐없이 제공해야 한다.
- 는 코드를 실행하고 정보를 찾으며 여러 풀이를 시험할 수 있다.
- 희귀한 지식이나 많은 계산만 요구하는 방식은 강한 물이 되기 어렵다.
- 에이전트의 자체 확인 능력 때문에 단순한 함정은 발견되고 수정될 수 있다.
- 정보를 빼서 난이도를 높이면 과제가 불공정해지며, 난이도 측정도 일정하지 않다.