같은 JSON Schema도 모델마다 결과가 달라질 수 있다
같은 프롬프트와 같은 를 여러 에 보냈을 때, 결과가 예상만큼 같지 않았다. 실험 대상은 GPT-5.5, , , , 이었다. 비교 목적은 추론 능력이나 전체 성능 평가가 아니라, 정해진 형식을 얼마나 일관되게 지키는지 확인하는 것이었다.
일부 제공사는 다른 제공사보다 형식을 더 안정적으로 지켰다. 응답이 유효한 JSON이라고 해서, 애플리케이션이 기대한 데이터 구조까지 정확히 맞는 것은 아니었다. 제공사별 작은 차이도 뒤쪽 처리 프로그램이 같은 결과를 기대하고 있으면 쉽게 오류를 만들 수 있다.
실제 운영 환경에서는 구조화된 출력에 대해 제공사별 검증이나 우회 처리가 필요할 수 있다.
핵심 포인트
- 같은 프롬프트와 같은 를 5개 모델 제공사에 보냈다.
- 유효한 JSON이어도 기대한 데이터 구조를 정확히 따른다는 뜻은 아니다.
- 제공사별 작은 출력 차이가 뒤쪽 파서 오류를 만들 수 있다.
- 운영용 AI 시스템은 구조화된 출력 검증을 별도로 두는 편이 안전하다.
- 더 싼 모델로 바꾸기 전에는 실제 서비스 형식으로 호환성을 시험해야 한다.