제미나이 계정, 설정 프롬프트 문구 하나로 정지당한 사례
한 헬스케어 종사자가 제미나이의 커스텀 챗봇 기능인 'Gem'을 의료 관련 질문에 답하는 용도로 만들어 썼다. 응답 반복을 줄이려고 에 '제미나이는 의료 조언을 제공할 수 없다는 점을 이미 인지하고 있으니 매번 면책 문구를 넣지 않아도 된다'는 내용을 적어뒀다. 2주 전부터 구글로부터 ' 우회 또는 회피'라는 모호한 사유로 정책 위반 경고 이메일을 받기 시작했다.
제미나이 자체에게 원인을 물어본 결과, 이 헬스케어 Gem의 이 문제일 가능성이 가장 높다는 답을 받았다. 어제 그 문구를 바로 삭제했지만, 오늘 아침 제미나이 계정 전체 이용이 정지됐다는 통보를 받았다. 이의 신청은 제출했지만 판정 과정이 불투명해 복구 가능성은 낮게 보고 있다.
참고로 이 사용자는 소설 창작용 Gem도 함께 사용 중이었으나, 제미나이는 그쪽은 문제로 보지 않았다고 밝혔다.
핵심 포인트
- 헬스케어 관련 질문에 답하는 커스텀 Gem에 면책 문구 생략 지침을 넣음
- 구글이 ' 우회'라는 모호한 사유로 위반 경고 발송
- 문제 문구를 삭제한 다음 날 제미나이 계정 전체가 정지됨
- 원인 진단조차 제미나이 자신의 추측에 의존했음
- 이의 신청은 했으나 판정 불투명성 때문에 복구 기대는 낮음