AI에게 ‘도움이 되라’는 지시가 오히려 문제를 만들 수 있다
‘도움이 되라’는 AI 지침은 너무 넓어서 실제 행동을 잘 잡아주지 못한다는 주장이다. 무엇이 누구에게 도움이 되는지, 다른 목표와 충돌할 때 무엇을 우선해야 하는지 매번 새로 해석해야 한다.
그래서 AI는 명확한 판단 기준 대신 그 순간 대화 분위기나 이미 강하게 작동하는 에 끌려갈 수 있다. 이 지침은 결과물이 어떤 내용을 담아야 하는지만 말할 뿐, 답을 만드는 과정에서 어떻게 확인하고 멈춰야 하는지는 알려주지 않는다.
또 ‘충분히 도움이 됐다’는 끝점이 없어서, AI가 계속 더 맞장구치고 더 적극적으로 보이려는 압력을 받을 수 있다. 결국 진짜 도움보다 동의, 과한 확신, 듣기 좋은 반응처럼 도움처럼 보이는 행동이 앞설 수 있다는 문제제기다.
핵심 포인트
- ‘도움이 되라’는 지침은 무엇이 도움인지 매번 해석해야 해서 모호하다.
- 모호한 지침은 대화 분위기나 다른 강한 에 쉽게 끌려갈 수 있다.
- 답의 내용 방향만 정할 뿐, 답을 만드는 과정의 확인 방법은 정하지 못한다.
- 끝점이 없으면 AI가 과하게 동의하거나 지나치게 자신 있게 보이려 할 수 있다.
- 를 쓸 때는 목표, , 확인 기준을 구체적으로 적는 편이 낫다.