긴 문맥 모델은 출처 추적은 좋았지만 20만 토큰 뒤 흔들렸다
제품 기획 업무에서 14개 자료를 한 전략 문서로 합치는 실제 Q3 브리프가 에 입력됐다. 자료는 PDF, 실적 발표 녹취록, 애널리스트 노트 2개였고, 전체 분량은 약 34만 토큰이었다. 목표는 여러 자료를 종합하면서 어떤 주장에 어떤 출처가 붙는지 계속 보존하는 것이었다.
는 긴 입력 전체에서 비교적 잘 유지됐다. 예를 들어 한 주장이 Gartner 노트에서 왔는지, 경쟁사 실적 발표에서 왔는지 다시 묻지 않아도 구분할 수 있었다. 문제는 약 20만 토큰을 넘긴 뒤부터 종합 내용이 지나치게 확신 있게 바뀐 점이었다.
그 아래에서는 단서와 예외가 유지됐지만, 그 위에서는 서로 충돌하는 내용을 충돌로 표시하기보다 억지로 맞춰 해석하는 경향이 생겼다. 가 내세운 83.5 점수와 재현 작업 사례는 장문 종합 업무와는 다른 종류의 성능이라, 실제 긴 문서 작업에서도 같은 안정성이 나오는지는 별도로 확인해야 한다.
핵심 포인트
- 14개 자료, 약 34만 토큰 분량의 실제 Q3 브리프가 테스트에 쓰였다.
- 는 긴 입력 안에서도 주장의 출처를 비교적 잘 구분했다.
- 약 20만 토큰 이후에는 단서와 반대 근거를 덜 분명하게 다루는 문제가 나타났다.
- 서로 맞지 않는 내용을 충돌로 표시하지 않고 하나의 이야기로 맞추려는 경향이 있었다.
- 모델 가 실제 전략 문서 작성 품질을 그대로 보장하지는 않는다.