신뢰한 LoRA만 따라 배우게 해 악성 학습을 막는 방법
모델을 새 데이터로 추가 학습할 때, 악의적인 데이터가 몰래 들어가면 특정 문구나 패턴에 반응하는 숨은 행동이 생길 수 있다. 제안된 방법은 모델이 아무 방향으로나 바뀌지 못하게 하고, 미리 신뢰한 들이 표현할 수 있는 범위 안에서만 바뀌게 제한한다.
그러면 필요한 맞춤 조정은 어느 정도 가능하지만, 일부 악성 변화 방향은 구조적으로 닿을 수 없게 된다. 예를 들어 회사가 사용자 데이터, 외부 데이터, 생성 데이터로 모델을 계속 다듬을 때 작은 양의 오염 데이터가 을 만들 수 있는데, 이 방식은 그런 변화를 탐지하기보다 애초에 배울 수 있는 업데이트 범위를 좁힌다.
개인 기기 안의 비서가 사용자에게 맞춰 계속 적응하는 경우에도, 새 데이터에서 어떤 행동이든 배우게 두지 않고 신뢰한 어댑터 묶음이 이미 담고 있는 행동 변화 안에서만 적응하게 만들 수 있다. 실험은 공개 196개와 방어를 우회하려는 까지 포함해 진행됐다.
핵심 포인트
- 추가 학습 중 오염 데이터가 들어가면 특정 문구나 패턴에만 반응하는 숨은 행동이 생길 수 있다.
- 방어의 초점은 악성 데이터를 찾아내는 것이 아니라, 모델이 배울 수 있는 업데이트 범위를 제한하는 것이다.
- 신뢰한 들이 표현할 수 있는 범위 안에서만 모델을 바꾸게 한다.
- 회사 내부 모델이나 개인 기기 비서처럼 계속 적응하는 AI에 적용할 수 있는 다.
- 공개 196개와 우회 공격을 포함해 실험했다.