LLM끼리 평가하면 같은 회사 모델에 치우침이 생긴다
55개 이 같은 질문에 답하고, 서로의 답을 익명으로 채점했다. 자기 자신을 채점하는 경우는 뺐고, 한 모델만 심판으로 세우지 않는 방식이었다. 전체 자료는 286번의 평가, 직접 만든 질문 198개, 유효 채점 2만2254건, 11개 개발사 계열의 모델 55개로 구성됐다.
코드, , 프롬프트는 모두 로 공개됐다. 충분한 자료가 있는 8개 모델 계열 모두에서 같은 계열 모델을 다르게 평가하는 편향이 통계적으로 확인됐다. Qwen 심판 모델은 다른 Qwen 모델에 약 0.91점을 더 주었고, xAI는 0.75점, Anthropic은 0.62점, 는 0.31점, OpenAI는 0.23점을 더 주었다.
반대로 Google은 같은 계열을 0.59점 낮게, Meta는 0.68점 낮게, Mistral은 1.02점 낮게 평가했다. 특히 코드 문제에서 심판 모델들의 의견 차이가 가장 컸고, 9개 분야별 묶음에서는 서로 다른 6개 모델이 1위를 차지해 하나의 ‘최고 모델’만 고르는 방식이 부족하다는 점도 드러났다.
핵심 포인트
- 55개 모델이 같은 질문 답변을 서로 익명으로 채점했다.
- 총 2만2254건의 유효 채점 자료가 공개됐다.
- 충분한 자료가 있는 8개 모델 계열 모두에서 같은 계열 평가 편향이 확인됐다.
- Qwen 심판은 Qwen 모델에 약 0.91점을 더 주었고, Mistral 심판은 Mistral 모델을 약 1.02점 낮게 줬다.
- 코드 문제에서 모델 심판들의 의견 차이가 가장 컸다.