적은 라벨로 안전 분류기를 더 잘 다듬는 방법
Gnosys는 정답 라벨이 부족한 상황에서도 와 분류기를 자동으로 개선하는 도구로 소개된다. 실험은 공개 안전성 기준인 에서 진행됐고, 유해 메시지를 얼마나 잘 잡는지를 비교했다. 모든 방법은 오탐률을 5%로 고정했기 때문에, 점수 차이는 같은 부담에서 더 많은 유해 메시지를 잡았는지를 보여준다.
평가에는 시스템이 학습 중 보지 못한 검증용 데이터가 쓰였다. 3,000개 규모 실험에서 Gnosys는 0.777을 기록해 시작 분류기 0.731과 0.702보다 높았다. 1,000개 규모의 이전 실험에서도 Gnosys는 0.909로 시작 분류기 0.788과 0.848을 앞섰다.
는 한 실험에서는 개선됐지만 다른 실험에서는 시작점보다 나빠져, 라벨이 적을 때 일반 가 항상 안정적이지 않을 수 있음을 보여준다.
핵심 포인트
- Gnosys는 라벨이 적은 상황에서 와 분류기를 자동 개선하는 방식이다.
- 실험에서 Gnosys는 두 번 모두 시작 분류기와 보다 높은 점수를 냈다.
- 오탐률은 5%로 고정해 같은 수준의 잘못된 차단 부담에서 비교했다.
- 3,000개 규모 실험 점수는 Gnosys 0.777, 시작 분류기 0.731, 0.702였다.
- 1,000개 규모 실험 점수는 Gnosys 0.909, 시작 분류기 0.788, 0.848이었다.