주사위 숫자도 치우치는 LLM, 탐색 학습의 작은 실험
Claude, GPT, 같은 에 주사위를 굴리라고 하면 여러 숫자 중 하나를 고르게 내기보다 ‘4’를 반복해서 내는 경향이 있다. 겉으로는 사소한 문제처럼 보이지만, 에서 모델이 이미 익숙한 답만 따르지 않고 실제로 여러 선택지를 탐색하게 만드는 문제와 연결된다. 을 통해 모델이 주사위 숫자 1부터 6까지를 각각 약 6분의 1 비율로 내도록 맞추는 실험이 진행됐다.
핵심은 모델이 정답처럼 보이는 한 가지 패턴에 붙어 있지 않고, 의도한 무작위성을 더 안정적으로 따르게 만드는 것이다. 어떤 방법이 효과가 있었고 어떤 방법은 실패했는지도 함께 정리됐다.
핵심 포인트
- 들이 주사위 굴리기 요청에서 특정 숫자, 특히 4에 치우치는 경향이 제기됐다.
- 문제의 초점은 무작위 숫자 생성 자체보다 모델이 익숙한 전략만 반복하지 않게 하는 데 있다.
- 으로 1부터 6까지의 숫자가 약 6분의 1씩 나오도록 조정했다.
- 에서 모델의 탐색 행동을 다루는 작은 실험 사례다.
- 절감보다는 에이전트 행동 다양성과 안정성에 더 가까운 내용이다.