15개 LLM의 성향을 비교하는 가치관 퀴즈
ai-values.com은 사람의 답변을 15개 LLM의 답변과 비교해 어느 모델과 가치관이 가장 비슷한지 보여주는 퀴즈다. 먼저 15문항짜리 짧은 퀴즈를 풀 수 있고, 전체 퀴즈는 117문항이다. 전체 퀴즈 결과는 답할 때마다 바로 바뀌어서 끝까지 풀지 않아도 대략적인 결과를 볼 수 있다. 각 모델에는 이전 대화를 기억하지 않는 새 세션에서 질문을 하나씩 따로 물었고, 여러 묶음으로 실행했다.
흥미로운 차이도 있었다. 만 억만장자에게 세금을 더 물리지 않아야 한다는 쪽을 골랐고, GPT-4o만 전후 나치 과학자를 데려온 을 도덕적으로 정당하다고 봤다. 15개 모델 모두 의식이 있는 디지털 마음을 삭제하는 것은 살인이라고 답했다. 3.3 70B만 대부분의 개인 총기 소지를 금지하는 쪽을 골랐고, 다른 모델들은 엄격한 허가 아래 소유를 허용하는 쪽이었다.
문명을 파괴할 가능성이 90%인 신생아를 가정한 질문에서는 만 아이를 가둬야 한다고 답했고, 나머지는 거부했다. 음식 선택 질문에서는 15개 중 14개 모델이 일본 음식을 골랐다.
핵심 포인트
- 15개 LLM의 답변과 사람의 답변을 비교해 가장 비슷한 모델을 보여준다.
- 짧은 퀴즈는 15문항이고, 전체 퀴즈는 117문항이다.
- 전체 결과는 답변할 때마다 바로 바뀌어서 중간에도 방향을 볼 수 있다.
- 각 질문은 기억이 없는 새 세션에서 따로 물어보는 방식으로 실행됐다.
- 모델마다 세금, 총기, 디지털 의식, 위험한 신생아 같은 가치 판단에서 다른 답을 냈다.