UC 버클리 ALE 벤치마크, 실제 업무에서 AI 한계 드러내
UC 버클리의 새 는 13개 산업과 55개 분야의 실제 업무를 놓고 이 돈이 될 만한 결과를 끝까지 만들 수 있는지 평가한다. 결과는 전반적으로 낮다. 코딩 문제처럼 성공률이 90%를 넘는 식의 쉬운 시험이 아니며, 모든 모델이 실제 업무 완성에서 어려움을 보인다.
비용은 모델 자체만이 아니라 하네스에 크게 좌우된다. 흔히 쓰는 표준 하네스는 비용 효율이 좋지 않은 경우가 많다. 중국 모델은 다른 벤치마크에서는 좋아지고 있지만, 이 시험에서는 의 절반 수준 성공률에 머문다.
Claude도 단순 지능 시험보다 실제 업무 시험에서 훨씬 약하게 나오며, 한 경우에는 비슷하거나 조금 더 나은 경쟁 모델보다 비용이 거의 10배 들었다.
핵심 포인트
- 는 13개 산업과 55개 분야의 실제 업무 수행 능력을 본다.
- 모든 이 실제 업무 완성에서는 높은 성공률을 내지 못했다.
- 하네스 선택이 비용에 큰 영향을 주며, 표준 하네스가 항상 효율적이지 않다.
- 중국 모델은 이 시험에서 보다 성공률이 크게 낮았다.
- Claude는 실제 업무형 평가에서 약했고, 한 경우에는 비슷한 성능의 경쟁 모델보다 비용이 거의 10배였다.