AI 에이전트 프롬프트를 자동으로 시험하고 고치는 도구
Baseline은 의 를 감으로 고치는 문제를 줄이려는 베타 도구다. 를 조금 바꾼 뒤 몇 개 답변만 보고 좋아졌다고 판단하면, 다른 작업에서는 품질이 조용히 나빠질 수 있다. 이 도구는 를 처럼 대상으로 다룬다.
사용자는 정확도, 말투, 해결 여부처럼 중요한 기준을 쉬운 말로 쓰고, 각 기준의 비중을 정한다. 엔진은 를 에 여러 번 돌려 점수를 매기고, 지시문을 다시 쓴 뒤 다시 점수를 매긴다. 소개된 예시에서는 출력 점수가 0.62에서 0.94까지 올랐다.
현재는 를 실제로 만들고 고치는 사람들에게 제한 베타로 열려 있으며, 접근 코드는 직접 요청해야 한다.
핵심 포인트
- Baseline은 를 자동으로 평가하고 고치는 베타 도구다.
- 정확도, 말투, 해결 여부 같은 기준을 쉬운 말로 쓰고 중요도를 정할 수 있다.
- 엔진은 으로 점수를 매기고 지시문을 다시 고친다.
- 소개된 예시에서는 점수가 0.62에서 0.94로 올랐다.
- 현재는 제한 베타이며 접근 코드를 요청해야 한다.