GPT-5.6 Sol/Luna/Terra 역할별 벤치마크, Sol high가 메인 세션에 채택
전략 의사결정 메모 3건, 저장소 기반 실행 브리프 1건, 2건으로 구성된 소규모 역할별 벤치마크에서 의 Sol, Luna, 라인업을 비교했다. 평가 기준은 판단력, 근거 활용, 리스크 인식, 경계 설정, 실행 가능성, 효율성이며 평가자는 모델 정체를 알고 채점했다(블라인드 아님). 다층 제품화 결정 과제에서 레퍼런스가 95점, Sol max 94점, Sol 90점, Sol high 87점, high가 81점을 받았다.
의사결정 방식 검토 과제에서는 레퍼런스 92점에 Sol max 91점이 근접했다. 경계가 정해진 기회 비교 과제에서는 Sol high가 94점으로 레퍼런스(95점)와 1점 차이만 났는데, 소요 시간은 81.5초, 추론 토큰은 369개에 불과했다. 반면 Sol max는 216.9초와 5,178개의 추론 토큰을 쓰고도 결정 내용은 달라지지 않았다.
저장소 기반 실행 브리프 과제에서는 Sol high가 93점(80.73초, 1,818 토큰), Sol 이 91점(70.66초, 779 토큰)을 기록해 이 약 12.5% 더 빠르고 추론 토큰을 57% 적게 쓰면서도 high 수준의 성능을 거의 유지했다.
핵심 포인트
- 전략 의사결정 3종 + 실행 브리프 1종 + 2종으로 역할별 성능 비교
- Sol high가 레퍼런스 대비 1점 차이(94점)를 81.5초·369 추론 토큰으로 달성해 메인 세션용으로 채택됨
- Sol max는 5,178 추론 토큰(216.9초)을 쓰고도 결정 결과는 Sol high와 동일
- 저장소 기반 실행 과제에서 Sol 은 high보다 추론 토큰을 57% 적게 쓰고도 91점(high는 93점) 기록
- 평가는 비블라인드(모델 정체 공개)였고 표본 수가 적어 일반화엔 주의 필요