OpenAI, 자가 대결로 AI 취약점 찾는 'GPT-Red' 공개
OpenAI가 GPT-Red라는 자동화된 시스템을 공개했다. 이 시스템은 방식을 써서 AI 모델이 스스로와 겨루며 자신의 약점을 찾아내고 보완하도록 만든다.
목표는 AI 안전성(safety), , 그리고 공격에 대한 방어력을 높이는 것이다. 레드팀은 원래 사람이 직접 시스템을 공격해 취약점을 찾는 작업인데, GPT-Red는 이 과정 자체를 AI가 자동으로 반복 수행하게 만든 것이다.
핵심 포인트
- OpenAI가 자동화된 레드팀 시스템 'GPT-Red'를 공개
- self-play 방식으로 AI가 스스로와 겨루며 취약점을 찾음
- 목표는 안전성, 정렬, 방어력 강화