문서 작성 벤치마크에서 Claude Fable 5, 10위에 그쳐...비용은 더 비싸
한 개발자가 30개 AI 모델을 대상으로 파워포인트와 워드 문서 작성 작업 8개를 동일한 조건(같은 최소 에이전트, 환경, 문서 스킬)에서 테스트했다. 완성된 파일들은 사람이 직접 블라인드로 비교 평가했다. 313명의 평가자가 4,000표 이상을 투표한 결과, 는 10위에 그쳤고 문서 하나당 비용은 약 1.07달러였다.
흥미로운 점은 Fable 5보다 순위가 높은 모델들이 전부 더 저렴하다는 것이다. 예를 들어 Qwen3.7 Plus는 3위인데 비용은 0.07달러, 는 5위에 0.17달러, Grok 4.5는 6위에 0.22달러, 는 7위에 0.56달러였다. 심지어 같은 Anthropic의 도 0.84달러로 더 저렴하면서 순위는 더 높았다.
가드레일(안전 제한) 때문에 Fable 5는 8개 작업 중 7개만 완료했고, Opus는 8개를 모두 완료했다. 품질과 비용을 함께 놓고 봤을 때 Fable 5는 더 저렴하면서도 선호도가 높은 9개 모델에 밀려 최적의 선택지가 되지 못했다. 다만 이 벤치마크(DocBench Arena)는 최근에 더 많은 모델이 추가돼 아직 비교 데이터가 충분히 쌓이지 않았고, 투표가 더 모이면 순위가 크게 바뀔 수 있다는 단서가 붙어 있다.
핵심 포인트
- 30개 AI 모델로 파워포인트·워드 문서 작성 8개 작업을 동일 조건에서 테스트
- 사람이 직접 블라인드로 비교(4,000표 이상, 313명 참여)
- 는 10위, 문서당 비용 약 1.07달러로 상위 모델 중 가장 비쌈
- 가드레일로 인해 Fable 5는 8개 작업 중 7개만 완료(Opus 4.8은 8개 모두 완료)
- 벤치마크(DocBench Arena)는 아직 투표 데이터가 적어 순위가 바뀔 가능성 있음