GPT-4.5가 MineBench 과제에서 갑자기 “HELP”만 출력
를 과제로 시험하던 중 이상한 출력이 한 번 나왔다. 과제는 “A sky ”, 즉 고층 건물을 만들라는 단순한 요청이었다. 실행 환경은 별도 이 아니라 chatgpt.com을 쓰는 였다.
모델은 의 규칙과 도구 형식은 지켰지만, 건물을 만들지 않고 “HELP”라는 단어를 출력했다. 이후 약 30번 다시 생성하자 매번 정상적으로 고층 건물을 만들었다. 다른 과제나 다른 생성에서는 요청에서 벗어난 사례가 없었다.
그래서 이 사례는 반복되는 문제라기보다, 같은 모델도 가끔 예측하기 어려운 출력을 낼 수 있다는 작은 사례에 가깝다.
핵심 포인트
- 가 고층 건물을 만들라는 과제에서 한 번 “HELP”만 출력했다.
- chatgpt.com을 통한 에서 실행된 사례다.
- 모델은 도구 형식은 지켰지만 실제 내용은 요청과 달랐다.
- 약 30번 다시 생성하자 모두 정상적으로 고층 건물을 만들었다.
- 반복되는 오류라기보다 모델 출력의 드문 불안정성을 보여주는 사례다.