에이전트 오류, 프롬프트보다 실행 경로부터 추적하라
반복된 운영 경험에서는 의 에 생긴 오류가 보다 다른 단계에 있는 경우가 대부분이었다. 먼저 모든 의 시작과 끝을 기록하고, 참고 자료가 들어올 때마다 정해진 항목을 남기며, 다음 경로를 고르는 단계가 갈라질 때마다 횟수를 센다.
거창한 감시 시스템은 필요 없고, 서비스가 배포된 뒤에도 보존되는 시간 표시 기록만으로 시작할 수 있다. 이런 기록은 올바른 문서를 찾았지만 문서를 나누는 과정에서 필요한 날짜가 빠진 경우, 도구가 예상과 다른 데이터 항목 이름을 돌려준 경우, 네 번은 제대로 판단하다가 평가 자료에 없던 잘못된 다섯 번째 입력에서 실패한 경우를 드러냈다.
이런 오류는 결과 문장만 읽거나 를 다시 쓰는 것으로는 보이지도 고쳐지지도 않는다. 전체 를 따라가며 예상한 흐름에서 처음 벗어난 지점을 찾는 것이 핵심이다.
핵심 포인트
- 를 고치기 전에 각 실행 단계의 시작과 끝을 기록한다.
- 참고 자료가 들어온 순간과 가 갈라진 횟수를 남긴다.
- 필요한 정보가 문서 분할 과정에서 빠지지 않았는지 확인한다.
- 도구가 돌려준 데이터 항목 이름이 예상 형식과 맞는지 확인한다.
- 전체 경로에서 예상과 처음 달라진 지점을 찾는다.