AI 에이전트 보안 시험용 공격 모델과 공개 데이터 찾기
AI 과 의 보안을 평가하는 틀을 만들 때, 가장 막히는 부분은 공격용 입력을 어떻게 잘 만들지입니다. 많은 보안 시험 방식은 을 써서 일부러 위험하거나 까다로운 입력을 만듭니다. 필요한 것은 품질 좋은 공격 예시를 잘 만드는 과 추천입니다.
다루려는 공격 범위는 유해한 답변 유도, , , 탈옥, 간접 , 프롬프트 유출, 도구 오용, 여러 차례 대화로 이어지는 공격, 에이전트 전용 공격입니다. 또 모든 공격을 새로 생성하지 않고 보안 검증에 쓸 수 있는 공개 기준 데이터도 찾고 있습니다. 이상적인 데이터는 미리 정리된 고품질 공격 예시가 들어 있는 ‘골든 데이터셋’입니다.
실제 현장에서 쓰는 모델, 데이터셋, 논문, 추천이 핵심 관심사입니다.
핵심 포인트
- 보안 평가용 공격 입력을 만들 모델을 찾고 있습니다.
- 과 모두 추천 대상입니다.
- , 탈옥, 도구 오용, 여러 차례 대화 공격이 포함됩니다.
- 새로 생성하지 않고 바로 검증에 쓸 공개 골든 데이터셋을 원합니다.
- 실무에서 쓰는 논문, 데이터셋, 추천이 필요합니다.