사람과 LLM 심판이 안전성 판단에서 엇갈릴 때의 문제
이 어떤 답변을 통과시켜도, 사람이 같은 답변을 보고 안전하지 않다고 판단하는 경우가 있다. 문제는 이 정해진 을 완전히 틀리게 읽는 것이 아니라, 그 기준이 사람이 아는 미묘한 위험을 담지 못한다는 데 있다. 예를 들어 작은 정책 위반, 상 맞지만 실제 고객을 불쾌하게 만들 수 있는 말투, 답은 맞지만 상황에 맞지 않는 응답이 빠질 수 있다.
모든 에 사람을 붙이면 비용과 시간이 너무 커지기 때문에, 을 쓰는 목적 자체가 약해진다. 핵심 과제는 판단에서 과 사람의 판단이 갈릴 때 그 차이를 어떻게 줄이느냐이다.
핵심 포인트
- 은 답변을 통과시켰지만, 사람은 같은 답변을 안전하지 않다고 볼 수 있다.
- 엇갈림의 원인은 이 사람의 상황 판단과 미묘한 위험을 충분히 담지 못하는 데 있다.
- 문제 사례에는 작은 정책 위반, 고객을 불쾌하게 할 수 있는 말투, 상황에 맞지 않는 정답이 포함된다.
- 모든 에 사람을 넣는 방식은 비용과 시간이 커서 의 장점을 줄인다.
- 에서는 사람의 판단과 의 판단 차이를 줄이는 보정이 필요하다.