OpenAI, 출시 전 모델 행동을 미리 시험하는 새 방법 공개
OpenAI는 새 모델을 사용자에게 공개하기 전에 실제 사용과 비슷한 으로 모델 반응을 미리 확인하는 을 공개했다. 이 방법은 예전 대화에서 기존 모델의 답변을 빼고, 출시 후보 모델이 그 자리에 어떤 답을 할지 다시 생성해 보는 방식이다. OpenAI는 개인정보와 계정 식별 정보를 제거한 뒤, 모델 개선에 데이터 사용을 허용한 ChatGPT 대화만 분석했다고 밝혔다.
2025년 8월부터 2026년 3월까지 GPT-5 계열 모델의 비식별 대화 약 130만 건을 살폈고, 원치 않는 행동 20종의 실제 발생률을 예측했다. 이 방식은 기존의 어려운 시험용 질문보다 실제 배포 뒤 위험이 늘지 줄지를 더 잘 맞혔고, 중간 예측 오차는 약 1.5배 수준이었다. 또 모델이 시험을 받고 있다는 사실을 알아차리는 문제도 줄였다.
는 실제 사용 대화를 시험처럼 본 비율이 5.4%, 시뮬레이션 대화를 시험처럼 본 비율이 5.1%였지만, 합성 시험 데이터는 거의 100% 시험으로 구분됐다. OpenAI는 Codex 같은 환경에도 이 방식을 적용해, 도구 호출과 저장소 상태까지 흉내 내면 실제 사용과 꽤 가까운 평가가 가능하다고 설명했다.
핵심 포인트
- 은 예전 실제 에 출시 후보 모델의 답변을 다시 넣어 보는 평가 방식이다.
- OpenAI는 비식별 처리한 ChatGPT 대화 약 130만 건으로 GPT-5 계열 모델을 분석했다.
- 원치 않는 행동 20종에 대해 실제 배포 뒤 발생률을 예측했고, 중간 예측 오차는 약 1.5배였다.
- 실제 대화와 비슷한 평가라 모델이 시험을 받고 있음을 알아차리는 문제가 줄었다.
- Codex 같은 도 환경을 흉내 내면 더 현실적인 사전 평가가 가능하다.