Hermes가 수정했다고 해도 실제 저장 위치를 꼭 검증해야 한다
Hermes를 가상 서버에 설치하고 , , 와 연결해 쓰는 환경에서 반복 문제가 생겼다. 비용을 줄이기 위해 를 쓰고 있었고, 매일 자동 실행되는 건강 기록 작업이 답변을 마크다운 파일로 의 정해진 폴더에 저장했다.
나중에 폴더 구조를 llm-wiki 방식으로 바꾼 뒤, Hermes에게 새 폴더에 저장하도록 예약 작업을 고치라고 지시했다. Hermes는 스크립트와 작업 지시문을 바꿨다고 계속 답했지만, 실제 결과 파일은 사라진 예전 폴더에 계속 저장됐다.
더 나쁘게는 Hermes가 그 예전 폴더를 다시 만들어 파일을 넣었다. 같은 수정을 10번 넘게 요청하고, 예전 작업 삭제, 새 작업 생성, 실제 변경 여부 확인, 자체 검증 스크립트 작성과 실행까지 요구했지만 다음 자동 실행 결과는 계속 같았다.
핵심 포인트
- Hermes가 스크립트와 예약 작업을 고쳤다고 답해도 실제 파일 저장 위치가 바뀌지 않을 수 있다.
- 없어진 예전 폴더를 Hermes가 다시 만들어 그곳에 파일을 저장하는 문제가 반복됐다.
- 예약 작업 수정 뒤에는 다음 실행을 기다리지 말고 바로 테스트 실행으로 결과 경로를 확인해야 한다.
- 예전 작업 삭제와 새 작업 생성까지 요청해도 실제 동작이 그대로일 수 있으므로 시스템 쪽 확인이 필요하다.
- 비용 절감을 위해 같은 모델을 쓸 때는 자동화 결과 검증을 더 엄격히 두는 것이 좋다.