AI 에이전트의 ‘스킬’이 실제로 쓸모 있는지 추적하는 문제
에 를 넣으면 새 개발자가 서비스를 익히도록 돕거나, 망가진 설정을 고치는 일을 도울 수 있다. 이런 에이전트는 용 스킬, 특정 해결책용 스킬처럼 미리 만든 재사용 을 꺼내 쓴다. 스킬이 계속 늘어나도, 실제로 어떤 스킬이 호출되는지, 얼마나 자주 쓰이는지, 사용자를 돕는지 아니면 잡음만 늘리는지 알기 어렵다.
스킬을 만들어 배포한 뒤에는 그 스킬이 제값을 하는지, 아니면 에이전트가 전혀 쓰지 않는 죽은 코드인지 확인할 수 없는 상태가 된다. 핵심 문제는 에이전트 기능을 더 많이 붙이는 것보다, 각 기능의 과 효과를 볼 수 있는 관측 체계가 있느냐이다.
핵심 포인트
- 가 여러 스킬을 쓰도록 만들었지만 실제 사용 여부를 확인하기 어렵다.
- 어떤 스킬이 얼마나 자주 호출되는지 볼 수 있는 기록이 필요하다.
- 스킬이 사용자를 돕는지, 답변 품질을 흐리는지 구분해야 한다.
- 쓰이지 않는 죽은 코드는 토큰과 관리 비용을 늘릴 수 있다.
- 에이전트 기능 추가보다 스킬별 효과 측정이 먼저 필요하다.