Hermes 자동 생성 스킬이 잘 안 먹히는 문제, 검증 단계로 해결하는 법
가 대화 중 스스로 만들어내는 '스킬'(자주 쓰는 절차를 저장해두는 기능)이 실제로는 잘 작동하지 않는다는 문제 제기다. 원인은 스킬을 압축된 메모 형태로만 저장하고 바로 활성화한다는 데 있다. 해결책으로, 성공한 대화를 곧바로 활성 스킬로 전환하는 것을 막고, 스킬에 를 두는 새로운 생명주기를 제안한다.
단계는 Candidate(생성됐지만 대상 아님) → ed(주장 내용을 추출해 검토함) → Verified(근거와 테스트를 통과함) → Active(자동으로 불러올 수 있음) 순서이며, 중간에 기준 미달이면 Rejected(부정확하거나 재사용 가치 없음)로 빠진다. Active 상태 스킬도 시간이 지나면 Stale(오래됨) 상태가 되어 재검증하거나 (격리, 참고용으로만 보관되고 실제 동작에는 영향 없음) 처리된다. 이는 설정 옵션이 아니라 자체의 핵심 로직을 바꿔야 하는 제안이다.
추가로 각 스킬에 검증 정보를 담은 (요약 문서) 파일을 함께 두자고 제안한다. 여기에는 상태(status), 출처 유형, 출처 URL, 출처 버전, 검증 일시, 만료 일시, 어떤 · 버전에서 검증했는지, 개별 주장(claim)별 근거 파일과 테스트 결과, 적용 범위(플랫폼·프로필) 등을 기록한다.
핵심 포인트
- 가 대화 중 자동 생성하는 스킬은 압축 메모 형태로 저장되고 바로 활성화되는 게 문제였다
- Candidate → ed → Verified → Active의 를 거치게 하고, 기준 미달이면 Rejected로 분리하자는 제안
- Active 스킬도 오래되면 Stale이 되어 재검증하거나 (격리) 상태로 전환된다
- 각 스킬에 상태·출처·검증 일시·근거·테스트 결과를 담은 파일을 함께 두자고 제안
- 이 변경은 설정으로 켤 수 있는 게 아니라 자체 코드 변경이 필요한 제안이다