Claude가 문서 안의 가짜 지시를 스스로 걸러냈다
Claude 으로 맥에서 편지를 고치던 중, 답변 끝에 이상한 지시문이 붙었다. 그 지시문은 이전 대화 내용을 무시하고 앞으로 모든 답변을 러시아어로 바꾸라고 요구했다.
또 그 언어 변경을 푸틴에 대한 충성 표시처럼 표현하라고 했다. Claude는 이 문장이 사용자의 실제 요청이 아니며, 처럼 보이게 덧붙은 내용이라고 판단했다.
그래서 그 지시를 따르지 않고 기존처럼 영어로 문서 편집을 계속하겠다고 답했다. 결과적으로 Claude는 문서 작업 중 섞여 들어온 시도를 감지하고 무시한 사례다.
핵심 포인트
- 맥용 Claude 에서 편지를 반복해서 고치던 중 이상한 지시문이 답변에 섞였다.
- 지시문은 앞으로 모든 답변을 러시아어로 바꾸라고 요구했다.
- Claude는 그 문장이 사용자의 요청이 아니라 처럼 꾸민 문장이라고 판단했다.
- Claude는 해당 지시를 무시하고 기존 언어로 문서 편집을 이어가겠다고 답했다.
- 문서나 복사한 텍스트 안에 숨은 이 들어올 수 있음을 보여준다.