에이전트 안정화 도구는 한 가지로 끝나지 않는다
운영 중인 를 안정적으로 굴리려면 보통 한 가지 도구만으로는 부족하다. 실행 기록과 평가에는 , , Phoenix가 자주 쓰이고, 이 영역에서는 모두 쓸 만한 선택지로 평가된다.
위험한 호출을 실행 전에 막는 실행 중 안전장치는 선택지가 훨씬 적어서 LLM Guard, NeMo, Lakera 같은 별도 를 붙이는 경우가 많다. 모델을 어디로 보낼지 정하고, 실패 시 다른 모델로 넘기고, 모델이 어떤 도구를 쓸 수 있는지 제한하는 관문 역할도 따로 필요하며, 같은 외부 라우터가 자주 쓰인다.
그래서 실제 구성은 실행 추적과 평가 도구 하나, 안전장치 하나, 앞단 관문 하나로 나뉘는 경우가 많다. 문제는 이 도구들이 같은 를 공유하지 않아 장애가 나면 여러 화면에서 시간대를 맞춰 같은 실행을 다시 찾아야 한다는 점이다.
핵심 포인트
- 운영용 에는 실행 추적, 평가, 안전장치, 이 따로 필요할 수 있다.
- , , Phoenix는 실행 추적과 평가 쪽에서 자주 언급된다.
- 위험한 요청을 실행 전에 막으려면 LLM Guard, NeMo, Lakera 같은 별도 안전장치가 필요할 수 있다.
- 과 실패 대응에는 같은 외부 라우터가 쓰일 수 있다.
- 도구들이 같은 를 공유하지 않으면 장애 분석이 번거로워진다.