짧은 시간 안에 경량화 모델 품질을 비교하는 방법 찾기
새 이 너무 자주 나오면서, 여러 경량화 버전의 품질을 차분히 비교하기가 어려워졌다. 예전에는 다양한 을 비교한 가 많이 나왔지만, 지금은 새 모델이 빠르게 쏟아져 따라가기 힘들다.
그래도 실제 사용자는 특정 모델의 q3 버전이 다른 모델의 q6 버전보다 나은지처럼, 직접 돌릴 수 있는 수준의 비교가 필요하다. 문제는 기존 가 넓고 무거워서 수백만 개의 토큰을 만들 수 있고, 집에서 초당 10~20개 토큰 정도로 3000억 개 이상 의 모델을 돌리는 환경에서는 현실적이지 않다.
더 작은 가 필요하며, 특히 q6에서는 통과하지만 q5에서는 실패할 수 있는 문제처럼 품질 차이를 잘 드러내는 과제만 골라 쓰는 방식이 제안된다. 이상적으로는 q5가 q8 품질의 약 몇 퍼센트인지처럼, 낮은 비용으로 대략적인 품질 비율을 자동으로 알려주는 방법이 필요하다.
핵심 포인트
- 새 모델이 자주 나와서 별 품질 비교가 따라가기 어렵다.
- 집에서 큰 모델을 돌리면 긴 는 시간과 토큰 부담이 너무 크다.
- q5와 q6처럼 가까운 단계의 차이를 잘 드러내는 과제만 골라 평가하고 싶다는 요구다.
- 목표는 q5가 q8 대비 어느 정도 품질인지 자동으로 대략 판단하는 것이다.
- 운영에서는 이런 평가가 과 절감에 직접 도움이 된다.