Opus가 최근 둔해진 느낌? 알고 보니 단위 착각 실수
한 사용자가 Claude의 이 새 모델 출시 이후 예전보다 성능이 떨어진 것 같다는 의문을 제기했다. 계기는 에서 내려받은 데이터 파일을 에이전트에 분석시켰더니, 사이트가 최근 30일간 수십억 건의 방문(view)을 기록했다고 잘못 해석한 사건이었다. 실제로 712,415,683이라는 숫자는 요청 수나 방문자 수가 아니라 단위였다.
즉 712메가바이트였을 뿐인데, 이를 7억 건이 넘는 요청으로 착각한 것이다. 사진을 서비스하는 CDN이 하루 수백 메가바이트를 처리하는 것은 지극히 정상적인 수준이라 실제로는 놀랄 일이 아니었다. 세션을 새로 시작해 다시 분석을 요청하자 는 스스로 오류를 인정했다.
파일명이 data_d_2026-07-16...csv였는데, 이는 의 '캐시된 데이터(Data d)' 지표를 뜻하는 이름이었고 이 지표는 바이트 단위로 기록된다. 또한 수억~수십억 범위의 숫자는 CDN 트래픽에서 전형적으로 바이트를 나타내는 크기 패턴이라는 점도 놓친 단서였다.
핵심 포인트
- 에이전트가 712,415,683이라는 숫자를 '방문 수'로 잘못 해석
- 실제로는 단위, 즉 712메가바이트였음
- 파일명(data_d)이 의 '캐시된 데이터' 지표임을 알려주는 단서였으나 놓침
- 사진 CDN이 하루 수백MB를 처리하는 것은 정상 범위
- 새 세션에서 재분석을 요청하자 모델이 스스로 오류를 인정하고 정정함