허용/차단 대신 점수로 판단하는 오픈소스 LLM 안전 방식
I-Lang v5.0은 LLM 안전 판단을 단순한 허용 또는 차단 방식에서 벗어나게 하려는 이다. 기존 방식은 규칙표와 문장 패턴을 비교해 요청을 막을지 통과시킬지 정한다. 규칙을 엄격하게 만들면 정당한 연구, 의료 질문, 보안 분석까지 막는 일이 늘고, 규칙을 느슨하게 만들면 교묘한 을 놓칠 수 있다.
I-Lang v5.0은 요청의 의도, 실행 능력, 결과, 관계, 확실성, 권한, 되돌릴 수 있는지, 증거, 주권이라는 9가지 기준을 벡터로 평가한다. 결과도 단순한 허용/차단이 아니라, 상황에 맞는 가장 협력적인 행동을 고르는 방식이다. 이 방식은 어떤 규칙도 절대적인 값으로 두지 않고, 모든 규칙에 0과 1 사이의 가중치를 둔다는 원칙을 포함한다.
로 공개되어 다른 프로젝트에서 비교적 자유롭게 가져다 쓸 수 있다.
핵심 포인트
- I-Lang v5.0은 LLM 요청을 허용/차단으로만 나누는 방식을 바꾸려 한다.
- 요청을 9가지 기준으로 평가해 더 세밀한 안전 판단을 만든다.
- 엄격한 규칙은 정당한 요청까지 막을 수 있고, 느슨한 규칙은 위험한 요청을 놓칠 수 있다는 문제를 다룬다.
- 결과는 단순한 차단 여부가 아니라 상황에 맞는 행동 선택이다.
- 라 다른 에이전트 프로젝트에서 실험해볼 수 있다.