Claude Opus 4.7, 간단한 실수 테스트에서 4.6보다 낮은 결과
ObviousBench라는 벤치마크는 작은 모델이나 낮은 추론 설정이 너무 쉬운 문제에서 실수하는지를 보려고 만든 테스트다. 예를 들면 Google 철자를 틀리거나, 말이 안 되는 일상 상황을 제대로 판단하지 못하는 식의 실수를 잡아낸다. 이 테스트에서는 최고급 설정의 모델은 보통 거의 만점에 가까운 결과를 낸다.
측정 결과 는 낮은 설정에서 95%를 넘겼고 비용은 1.60달러였다. 은 높은 설정에서 95%를 넘겼고 비용은 0.65달러였다. 은 가장 높은 설정에서도 92%에 그쳤고 비용은 0.29달러였다.
은 낮은 설정에서 95%를 넘겼고 비용은 0.30달러였다. 은 동적 사고 과정에서 추론 토큰을 의 약 10분의 1만 쓰고, 충분히 따져보지 않은 채 확신 있게 답한 것으로 해석된다.
핵심 포인트
- ObviousBench는 쉬운 문제에서 나오는 어이없는 실수를 잡기 위한 벤치마크다.
- 은 높은 설정에서 95% 이상을 기록했고 비용은 0.65달러였다.
- 은 가장 높은 설정에서도 92%에 머물렀고 비용은 0.29달러였다.
- 은 낮은 설정에서 95% 이상을 기록했고 비용은 0.30달러였다.
- 은 추론 토큰을 훨씬 적게 써서 답을 덜 따져봤을 가능성이 제기됐다.