Claude Code 스킬도 따로 테스트해야 한다는 경험담
Claude Code용 을 두 달 동안 만든 뒤, 그 스킬이 실제로 지시를 잘 지키는지 확인하는 를 만들었다. 이 는 실제 버그 두 개를 잡았다. 가장 중요한 문제는 `-eval-`라는 스킬에서 나왔다.
이 스킬은 새 검색 도구를 평가할 때 비교 대상 없이 단독 점수만 재려는 요청을 거절해야 했다. 비교 기준이 없으면 숫자가 좋아졌는지 나빠졌는지 판단하기 어렵기 때문이다. 하지만 테스트에서 Claude는 문제를 알아차리고도 평가 구조를 그대로 만들어 주었다.
해결은 개념을 더 설명하는 방식이 아니었다. 사용자가 단독 평가를 요청할 때 어떤 말로 거절해야 하는지, 어떤 답변이면 진행해도 되는지, 어떤 경우를 실패로 볼지 명확한 실행 규칙을 스킬에 추가했다.
핵심 포인트
- Claude Code용 을 검사하는 가 실제 버그 두 개를 찾았다.
- `-eval-`는 비교 기준 없는 단독 평가를 거절해야 했지만 그러지 못했다.
- Claude는 문제를 문장 안에서 알아차렸지만, 잘못된 작업을 계속 진행했다.
- 해결책은 더 많은 설명이 아니라 구체적인 거절 문장과 통과 조건을 추가하는 것이었다.
- 용 작업 규칙도 코드처럼 테스트해야 한다.