큰 추출 작업은 모델보다 요청 방식이 성패를 가를 수 있다
실제 문서와 사람이 확인한 정답을 쓰는 공개 에서, 인공지능이 60쪽짜리 금융 공시에서 369개의 값을 한 번에 뽑아내는 과제가 있었다. GPT-5, , Gemini 3 Pro 같은 6개는 큰 JSON 양식 하나로 답하게 했을 때 모두 0%를 받았다.
값 자체를 전혀 못 찾았다기보다, 너무 넓고 긴 답안을 한 번에 만들다가 출력이 중간에 끊기거나 형식이 깨졌다. 이 방식에서는 답 일부가 맞아도 전체 결과가 버려질 수 있다.
해결책은 더 큰 모델을 쓰는 것이 아니라, 답을 한 줄씩 쓰게 하고 큰 양식을 여러 작은 묶음으로 나누는 것이었다. 같은 문제에서 작은 은 이렇게 쪼갠 방식으로 85%를 기록했다.
핵심 포인트
- 60쪽 금융 공시에서 369개 값을 한 번에 추출하는 평가였다.
- 큰 JSON 하나로 답하게 하자 6개가 모두 0%를 받았다.
- 실패 원인은 지능 부족보다 긴 출력과 엄격한 형식 요구에 가까웠다.
- 답을 한 줄씩 쓰고 작업을 작은 묶음으로 나누자 작은 이 85%를 기록했다.
- 에이전트 설계에서는 큰 요청을 작은 단계로 나누는 방식이 비용 절감에 도움이 될 수 있다.