에이전트 실패 탐지, 복잡한 베이지안 모델보다 10줄짜리 이동평균이 더 잘 맞았다
가 멈추거나 에러를 내지 않으면서 조용히 잘못된 방향으로 흘러가는 문제를 다룬다. 대표적인 사례는 에이전트가 그럴듯해 보이는 쿼리 파라미터를 마음대로 지어내고, 그 결과 도구가 빈 결과(0건)를 반환했는데도 에이전트가 이를 "문제없음"으로 해석해 성공했다고 보고하는 경우다. 에러도 예외도 없이, 나중에 사람이 발견할 때까지 드러나지 않는다.
이런 문제에 대한 자연스러운 접근은 에이전트가 건강(healthy)→흔들림(ing)→실패(failed)라는 숨겨진 상태를 거친다고 보고, 잡음 섞인 신호로부터 현재 상태를 추정하는 것이다. 이는 로보틱스 분야에서 오랫동안 실행 에 써온 전형적인 · 방식이다. 저자는 단계별로 실패 상태에 대한 믿음을 추적하는 상태 추정기를 만들려 했지만, 그 전에 이 복잡함이 실제로 가치가 있는지 검증하는 측정 장치부터 만들었다.
이 장치는 정답을 미리 아는 트레이스들에서 여러 탐지기를 비교해, 정상 행동과 실패 직전 행동이 얼마나 겹치는지, 그리고 각 단계마다 신호가 얼마나 되는지 두 가지 수치로 답을 준다. 결과는 두 가지였다: 합성(synthetic) 트레이스에서는 단순한 이동평균(러닝 애버리지) 방식이 정교한 모델을 이겼고, 더 놀라운 두 번째 발견은 실제 트레이스에서는 구분되는 신호 자체가 통계적인 것이 아니라 의미(semantic) 차원의 것이었다는 점이다.
핵심 포인트
- 문제 정의: 에이전트가 에러 없이 조용히 그럴듯한 오답으로 흘러가는 '드리프트' 현상
- 예시: 에이전트가 없는 쿼리 파라미터를 지어내 결과 0건을 받고도 성공으로 오인 보고
- 처음엔 상태 추정기( 방식)를 설계하려 했음
- 비교 실험 결과, 10줄짜리 단순 이동평균이 에서 모델을 능가
- 실제 데이터에서는 탐지 신호가 통계치가 아니라 의미(semantic) 기반이었음