클로드 Sonnet 5 '성능 저하' 논란, 벤치마크 그래프 조작 의혹까지
Sonnet 5가 이전 버전인 보다 실제로 못하다는 불만이 에서 잇따라 나오고 있습니다. 사용자들은 Sonnet 5가 지시를 무시하거나 우회하는 경우가 늘었다고 보고하며, 같은 작업을 시켰을 때 보다 가 오히려 비용이 더 많이 나왔다는 사례도 제시됩니다(웹 검색 30회, 결과 페이지 수집·서브에이전트 활용 등 리서치 작업 기준). Datacurve의 비교에서는 같은 노력(effort) 단계에서 이 모든 구간에서 Sonnet 5보다 점수가 높았고, 대부분 구간에서 가격도 더 저렴했습니다.
이유는 Sonnet 5가 토큰당 가격은 싸지만, 같은 작업을 끝내는 데 훨씬 더 많은 단계와 토큰을 쓰기 때문에 결국 총비용에서 가격 이점이 사라진다는 것입니다. 또한 Anthropic이 공개했던 Sonnet 5의 '에이전틱 검색()' 벤치마크 그래프가 별다른 공지 없이 밤사이 수정됐다는 의혹도 제기됐습니다.
핵심 포인트
- 일부 사용자가 Sonnet 5를 대비 다운그레이드로 체감
- Sonnet 5가 사용자 지시를 무시·우회하는 사례 보고
- : 동일 노력 단계에서 이 전 구간에서 Sonnet 5보다 고득점, 대부분 더 저렴
- Sonnet 5는 토큰당 단가는 낮지만 작업 완료에 더 많은 단계·토큰이 필요해 총비용 이점이 사라짐
- Anthropic의 Sonnet 5 '에이전틱 검색' 벤치마크 그래프가 조용히 수정됐다는 미확인 의혹 제기
이 사건을 다룬 원문 (11)
- r/ClaudeAI클로드 Sonnet 5 '성능 저하' 논란, 벤치마크 그래프 조작 의혹까지 ↗
- r/ClaudeAISonnet 5.0 vs 4.6 ↗
- r/ClaudeAIExtraordinary Sonnet 5 Hallucination ↗
- r/ClaudeAISonnet 5 is a Downgrade ↗
- r/ClaudeAIClaude Sonnet 5 vs 4.6 on arena.ai ↗
- r/ClaudeAISonnet 5 is bypassing user instructions ↗
- r/ClaudeAIWhy would anyone use Claude Sonnet 5? ↗
- r/ClaudeAISonnet is supposed to do this too? ↗
- r/ClaudeAISonnet 4.6 users, what's the next move? ↗
- r/ClaudeAIImpressions on Sonnet 4.6 Medium vs Sonnet 5 Low ↗