클로드 Sonnet 5 '성능 저하' 논란, 벤치마크 그래프 조작 의혹까지

Sonnet 5가 이전 버전인 보다 실제로 못하다는 불만이 에서 잇따라 나오고 있습니다. 사용자들은 Sonnet 5가 지시를 무시하거나 우회하는 경우가 늘었다고 보고하며, 같은 작업을 시켰을 때 보다 가 오히려 비용이 더 많이 나왔다는 사례도 제시됩니다(웹 검색 30회, 결과 페이지 수집·서브에이전트 활용 등 리서치 작업 기준). Datacurve의 비교에서는 같은 노력(effort) 단계에서 이 모든 구간에서 Sonnet 5보다 점수가 높았고, 대부분 구간에서 가격도 더 저렴했습니다.

이유는 Sonnet 5가 토큰당 가격은 싸지만, 같은 작업을 끝내는 데 훨씬 더 많은 단계와 토큰을 쓰기 때문에 결국 총비용에서 가격 이점이 사라진다는 것입니다. 또한 Anthropic이 공개했던 Sonnet 5의 '에이전틱 검색()' 벤치마크 그래프가 별다른 공지 없이 밤사이 수정됐다는 의혹도 제기됐습니다.

핵심 포인트

  • 일부 사용자가 Sonnet 5를 대비 다운그레이드로 체감
  • Sonnet 5가 사용자 지시를 무시·우회하는 사례 보고
  • : 동일 노력 단계에서 이 전 구간에서 Sonnet 5보다 고득점, 대부분 더 저렴
  • Sonnet 5는 토큰당 단가는 낮지만 작업 완료에 더 많은 단계·토큰이 필요해 총비용 이점이 사라짐
  • Anthropic의 Sonnet 5 '에이전틱 검색' 벤치마크 그래프가 조용히 수정됐다는 미확인 의혹 제기

이 사건을 다룬 원문 (11)

원문 보기