실서비스용 LLM과 에이전트에서 조심해야 할 보안 위험
실제 서비스에 LLM을 넣으면 비밀 정보가 , 문맥, 에서 새어 나갈 수 있다. 이나 탈옥으로 모델의 지시 체계를 우회하려는 공격도 생긴다. 도구나 을 붙인 에이전트는 단순한 질문 답변을 넘어 실제 시스템을 조작할 수 있으므로, 잘못 설계하면 피해 범위가 커진다.
에 외부 문서를 넣을 때는 그 문서 안에 숨은 악성 지시가 섞일 수 있다. 긴 대화에서는 에이전트가 민감한 문맥을 너무 많이 쌓아 둘 수 있고, 시간이 지나며 모델 행동이 바뀌어도 응답 속도나 서비스 가동률 같은 지표만 보면 문제를 놓칠 수 있다. LLM 앱에서는 믿을 수 없는 입력과 내부 로직의 경계가 쉽게 흐려진다.
그래서 모델에 들어가기 전의 모든 입력을 의심하고, 출처를 표시하며, 모델과 에이전트가 볼 수 있는 정보와 할 수 있는 행동을 제한해야 한다.
핵심 포인트
- , 문맥, 에서 비밀 정보가 새어 나갈 수 있다.
- 과 탈옥은 모델이 원래 지시를 무시하게 만들 수 있다.
- 도구나 을 가진 에이전트는 실제 시스템을 바꿀 수 있어 권한 제한이 필요하다.
- 에 넣는 외부 자료도 악성 지시를 품고 있을 수 있다.
- 에서는 민감한 문맥이 과하게 쌓이지 않도록 관리해야 한다.