작은 작업으로 AI 모델 비용과 성능을 비교하려는 개인 벤치마크
개인 작업과 게임 같은 작은 과제로 여러 을 비교하는 가 만들어지고 있다. 목표는 모델이 한 번의 답변으로 과제를 얼마나 잘 끝내는지, 도구를 붙였을 때 순수한 답변 생성과 얼마나 달라지는지, 할 수 있는 모델의 여러 양자화 버전이 어떤 차이를 보이는지 보는 것이다.
앞으로 같은 중국 모델을 추가하고, 한 번에 끝내는 방식과 여러 번 시도하는 방식을 따로 비교할 계획이다. Claude 같은 실제 사용 환경도 공개하려는 계획이 있다.
여유 비용이 생기면 API 사용과 Claude Code 사용도 비교하려고 한다. 모바일 앱이나 과제도 후보지만, 테스트하기 어렵다는 문제가 있다.
핵심 포인트
- 개인 업무와 게임 같은 작은 과제로 여러 을 비교하려는 벤치마크다.
- 한 번의 답변으로 끝내는 모델과 여러 번 시도하는 모델을 따로 보려 한다.
- 도구를 붙인 모델 사용과 순수 답변 생성을 비교할 계획이다.
- 가능한 모델의 여러 양자화 버전도 별도 범주로 비교하려 한다.
- API 사용과 Claude Code 사용의 차이도 비용 여유가 생기면 시험할 예정이다.