스스로 개선되는 에이전트를 만들 때 드는 실제 비용
에이전트 설계에서 세 가지 선택이 핵심이다. 첫째, 에이전트가 배운 변경은 검증된 결과와 에서 성공률이 실제로 좋아졌을 때만 남긴다. 판단 기준은 모델이 스스로 잘했다고 말하는 내용이 아니라 에 있는 실제 코드 변경이다. 이 방식은 채점기가 필요하고, 배움이 더 적고 느리게 쌓인다는 비용이 있다.
둘째, 은 문장 지시만으로 막기 어렵다고 보고 구조로 줄인다. 오염 추적으로 위험한 실행에서 생긴 메모리와 기술은 바로 승격하지 않고, 격리된 읽기 단계가 믿을 수 없는 내용을 정해진 형식의 필드로 바꾼 뒤 권한이 큰 에이전트가 보게 하며, 위험 표시가 있으면 쓸 수 있는 도구 목록도 좁힌다. 이 실험에서 레드팀 ASR은 100%에서 약 14%로 내려갔지만, 정상적인 내용까지 너무 제한될 수 있다. 셋째, 성능 수치는 과 실패 사례를 함께 공개하고, 좋은 결과가 나올 때까지 반복해 숫자를 꾸미지 않는다.
추론 핵심은 여러 답을 만들고 판단한 뒤 합치는 방식이며, 비용을 의식한 라우터가 뒤에서 어떤 경로를 쓸지 고른다. 코드는 으로 공개되어 있다.
핵심 포인트
- 검증된 결과와 를 통과한 변경만 에이전트의 배움으로 남긴다.
- 모델의 자기 보고가 아니라 실제 를 기준으로 판단한다.
- 대응은 지시문 강화가 아니라 오염 추적, 격리된 읽기 단계, 도구 제한으로 처리한다.
- 레드팀 ASR은 100%에서 약 14%로 낮아졌지만, 정상 콘텐츠가 과하게 막힐 수 있다.
- 성능 수치는 과 실패 사례를 함께 공개하며, 비용을 의식한 라우터가 추론 경로를 고른다.