모델 성능 비교 비용을 줄이려는 현실적인 고민
직접 만든 약 100개 작업으로 여러 이 특정 좁은 분야에서 얼마나 잘하는지 비교하려는 상황이다. 로컬 모델은 간단한 로 각 작업을 새 세션에 넣고 결과를 폴더별로 저장하면 비용 부담 없이 테스트할 수 있다. 문제는 OpenAI, Anthropic, Google 같은 이다.
API로 넓은 범위의 모델과 설정을 시험하면 비용이 커질 수 있고, 사람이 직접 웹 화면에서 반복 테스트하기에는 시간이 너무 많이 든다. 대안으로 이나 처럼 정액 구독에 포함된 도구를 써서 을 피하는 방법이 검토되고 있다. 다만 이런 방식은 다른 모델의 답변이나 평가 기준이 들어 있는 파일을 읽지 못하게 샌드박스가 필요하다.
또 더 싼 에이전트가 화면을 보고 질문과 답을 웹 화면에 복사해 넣는 방식도 생각해 볼 수 있다.
핵심 포인트
- 약 100개의 직접 만든 작업으로 여러 모델을 비교하려는 사례다.
- 로컬 모델은 스크립트로 자동 평가하기 쉽고 추가 비용 부담이 작다.
- 은 API로 대량 테스트하면 비용이 커질 수 있다.
- , 같은 구독 기반 도구로 비용을 낮추는 방안이 검토된다.
- 다른 모델의 답변과 평가 기준을 숨기려면 샌드박스가 필요하다.