긴 작업에서 규칙을 잊지 않는 모델이 비용을 줄일 수 있다
짧은 시험에서는 높은 점수를 받는 모델도 몇 시간짜리 에서는 약해질 수 있다. 처음에 정한 규칙을 40분쯤 지나 잊고, 앞에서 끝낸 일을 나중에 스스로 되돌리는 문제가 생길 수 있다. 이런 문제는 보통 점수만 봐서는 드러나지 않는다.
짧고 따로 떨어진 문제를 잘 푸는 능력과 긴 작업 동안 같은 판단을 유지하는 능력은 다르다. 긴 코드 이전 작업처럼 초반의 작은 실수가 한 시간 뒤 큰 문제로 이어지는 일을 일부러 맡겨 보면, 많은 모델이 중간에 흐름을 놓친다. 는 그런 긴 작업에서 앞선 결정을 덜 흔들고 끝까지 이어 갔다.
다만 어려운 단발성 문제에서는 큰 이 여전히 더 강할 수 있다.
핵심 포인트
- 짧은 점수는 몇 시간짜리 의 안정성을 잘 보여주지 못한다.
- 긴 작업에서는 초반 규칙을 잊거나 앞선 결과를 되돌리는 문제가 생길 수 있다.
- 큰 코드 이전 작업처럼 지루하고 긴 일은 모델의 지속성을 확인하기 좋다.
- 는 된 긴 작업에서 앞선 결정을 유지하는 모습이 좋았다.
- 어려운 단발 문제에서는 큰 이 더 나을 수 있다.