작은 로컬 모델도 에이전트형 역할극 평가에서 선전
중세 유럽 판타지 역할극을 바탕으로 만든 비공식 벤치마크에서 8개 이 비교됐다. 평가 항목은 임무 완료, 장면 마무리, 물건과 시간 추적, 등장인물 감지, 이야기 전개, 초안 작성 등이었다. 채점에는 외부 LLM 채점기가 쓰였고, 항목별 평가 개수는 서로 달랐다.
전체 통과율은 -4-31B가 87%로 가장 높았고, 가 82%로 뒤를 이었다. -4-12B는 80%였으며, 더 작거나 느슨한 성향의 모델들은 대체로 55~70% 구간에 머물렀다. 핵심은 전체 점수보다 항목별 차이가 컸다는 점이다.
어떤 모델은 임무 완료는 잘했지만, 등장인물의 속마음 처리나 임무 요약에서는 크게 약했다.
핵심 포인트
- 8개 을 역할극과 기준으로 비교했다.
- -4-31B는 전체 통과율 87%, 는 82%, -4-12B는 80%였다.
- 더 작은 모델들은 대체로 55~70% 통과율에 머물렀다.
- 전체 점수는 좋아 보여도 요약, 등장인물 처리, 같은 세부 작업에서 약점이 드러날 수 있다.
- 비용 절감을 위해 작은 모델을 고를 때는 평균 점수보다 필요한 작업별 점수를 확인해야 한다.