Claude Max 모델, ML 시스템 설계 검토 중 엉뚱한 답변 내놔
한 사용자가 ML 작업에 Claude를 활용했다. 처음에는 미디엄() 등급 모델을 써서 설계를 진행했는데, 제안 개수는 적었지만 정확했다. 설계를 마친 뒤 전체 내용을 다시 검토받으려고 맥스() 등급으로 전환했다.
그런데 맥스 모델은 문맥을 벗어나 엉뚱한 방향으로 답하기 시작했고, ML 와 전혀 관련 없는 SSE(-Sent Events)나 웹소켓() 같은 챗봇 앱 기술을 언급하며 잘못된 정보를 여러 차례 제시했다. 사용자가 직접 지적해 바로잡을 때까지 이런 오답이 이어졌다.
핵심 포인트
- 미디엄 등급 모델은 ML 에서 적지만 정확한 제안을 줌
- 설계 완료 후 전체 검토를 위해 맥스 등급으로 전환
- 맥스 모델이 문맥을 벗어나 SSE·웹소켓 등 무관한 기술을 언급
- 사용자가 직접 정정할 때까지 잘못된 정보 제공이 지속됨