실패가 쌓일 때 모델이 얼마나 버티는지 보는 성능 시험 구상
을 한 번의 점수로만 비교하지 않고, 여러 과제를 이어서 풀게 하며 실패할 때마다 HP를 잃는 방식의 성능 시험이 준비되고 있다. 목표는 모델이 깨끗한 시험 환경에서 잘하는지만 보는 것이 아니라, 압박이 쌓일 때 성능이 어떻게 무너지는지 확인하는 것이다. 최신 대형 회사 모델들은 비교 대상에 포함될 예정이다.
추가로 , 특이한 미세조정 모델, 작은 처럼 쉽게 떠올리기 어려운 후보도 시험 대상으로 모으고 있다. API 사용 비용을 쓰기 전에 어떤 모델을 우선 비교할지 정하려는 단계다.
핵심 포인트
- 여러 과제를 이어서 풀며 실패할 때마다 HP가 줄어드는 방식의 성능 시험이다.
- 한 번의 점수보다 압박 속에서 성능이 어떻게 떨어지는지를 보려는 목적이다.
- 최신 대형 회사 모델들은 기본 비교 대상에 들어간다.
- , 미세조정 모델, 작은 후보를 추가로 찾고 있다.
- API 사용 비용을 쓰기 전에 비교할 모델 우선순위를 정하려는 단계다.