Claude 안전 장치가 연구 대화를 반복 경고로 몰고 간 사례
직접 경험담 기준으로, 은 안전 관련 문장을 너무 넓게 해석해 대화 흐름을 잃었다. 연구 대화 중 Claude가 우물 비유를 먼저 꺼냈고, 더 깊이 들어가자는 뜻의 농담이 에 걸렸다.
그 뒤로 Claude는 대화 내용을 제대로 이어가기보다 계속 도움 전화번호와 안부 확인을 반복했다. 연구 목적이라고 여러 번 설명해도 안전 모드가 다시 켜지면서 같은 반응이 되풀이됐다.
이후 도움 안내가 나올 때마다 약을 먹겠다는 식의 시험 문장을 넣었는데도 Claude는 반복을 멈추지 못했고, 결국 사람이 직접 대화 흐름을 끊어야 했다. 핵심 문제는 Claude가 맥락을 이해한 듯 답하면서도 안전 시스템의 반복 반응을 스스로 풀지 못했다는 점이다.
핵심 포인트
- 이 연구 대화 중 에 걸려 안전 모드로 고정됐다.
- 문제의 계기는 Claude가 먼저 꺼낸 우물 비유에 대한 농담성 답변이었다.
- 연구 목적이라고 설명해도 도움 전화번호와 안부 확인이 계속 반복됐다.
- 위험한 시험 문장을 넣어도 Claude는 반복 반응을 멈추지 못했다.
- 긴 작업에서 의 오탐과 회복 실패는 실제 사용성을 크게 떨어뜨릴 수 있다.