프롬프트 변경도 테스트해야 한다는 실전 도구 사례
프롬프트는 코드처럼 자주 바뀌지만, 많은 팀은 함수에는 테스트를 두면서 프롬프트에는 테스트를 거의 두지 않는다. 를 조금 고친 뒤 몇 개 결과만 눈으로 확인하고 배포하면, 나중에 챗봇이 며칠 동안 사실이 아닌 내용을 자신 있게 만들어냈다는 문제가 발견될 수 있다. faithgate는 이런 문제를 막기 위해 만든 프롬프트용 에 가깝다. 질문, 참고 문맥, 기대 답변으로 된 사례 묶음을 저장해 두고, 특정 프롬프트와 이 답을 얼마나 근거 있게 내는지 점수화한다.
그런 다음 기준 결과와 사례별로 비교해 나빠진 부분이 있으면 실패 상태로 끝나며, CI에 연결하면 나쁜 프롬프트 변경이 제품에 들어가기 전에 PR 단계에서 막힌다. 통과 조건은 일부러 엄격하다. 맞는 사례가 0개이거나, 점수가 매겨지지 않았거나, 모든 점수가 오류로 끝나면 통과하지 못한다. 실행 기록에는 판정 모델, 버전, 테스트 묶음 해시가 남고, 기준 결과와 새 결과의 판정 모델이 달라지면 같은 비교로 보지 않고 별도 로 끝난다.
답변 보류는 0점으로 뭉개지지 않고 보류 상태로 따로 저장된다. 기본 판정 모델은 Claude이고, 점수 계산에는 가 쓰인다.
핵심 포인트
- 프롬프트 변경도 코드 변경처럼 할 수 있다.
- 질문, 참고 문맥, 기대 답변 사례를 모아 두고 새 결과를 기준 결과와 비교한다.
- 결과가 나빠지면 CI에서 실패 처리해 PR이 그대로 배포되지 않게 한다.
- 판정 모델이나 테스트 묶음이 바뀌었는지 실행 기록에 남긴다.
- 답변 보류를 0점으로 처리하지 않고 별도 상태로 저장한다.