Opus 4.8, 반복 오류와 다른 AI의 지적 뒤 작업 불능
수개월 동안 계열을 큰 문제 없이 사용해 온 개발자가 하루 동안 6~7개 가운데 3~4개에서 명백하고 전면적인 오해를 겪었다. 한 사례에서는 모든 집단에 같은 계산 방식을 적용했는데도, 집단마다 항목을 다르게 셌다는 잘못된 이유로 분석에 문제가 있다고 판단했다.
오류 과정을 기록하게 한 세션에서는 실수가 연달아 이어졌고, 새 세션에서 다시 시도해도 결과가 더 나빠졌다. 더 나은 통제 방법을 논의하는 과정에서도 작업이 정상 궤도로 돌아오지 않았다.
와 을 검토용으로 투입하자 두 도구가 의 오류를 계속 찾아냈으며, 그 을 받은 은 오히려 더 혼란스러워져 결국 사용할 수 없는 상태가 됐다. 다만 이는 특정 사용자가 하루 동안 겪은 경험이며, 모델 전체의 품질 저하를 입증하는 측정 결과는 아니다.
핵심 포인트
- 6~7개 중 3~4개에서 요구사항이나 분석 논리를 크게 잘못 이해했다.
- 모든 집단에 같은 계산 규칙을 적용했는데도 집단별 계산법이 달라졌다고 잘못 판단했다.
- 오류를 기록한 뒤 새 세션에서 다시 시도했지만 결과가 더 나빠졌다.
- 와 의 반복적인 오류 지적 뒤 이 더 혼란스러워져 작업을 계속할 수 없었다.
- 하루 동안의 개인 경험이므로 모델 전체의 품질 저하를 증명하지는 않는다.