큰 컨텍스트 창이 RAG를 대체할 수 있을까
이 한 번에 더 많은 문서를 읽을 수 있게 되면서, 이 계속 필요할지에 대한 질문이 제기됐다. 핵심 쟁점은 모든 자료를 모델의 에 넣는 방식이 실제 서비스에서 충분히 싸고 빠른지다. 은 필요한 정보만 골라 넣기 때문에 비용과 을 줄이는 데 도움이 될 수 있다.
또 최신 정보 반영, 관련성 높은 문맥 선택, 접근 권한 관리 같은 문제 때문에 실제 운영 환경에서는 여전히 중요한 역할을 할 수 있다. 앞으로 몇 년 동안 AI 이 “전부 컨텍스트에 넣기”로 갈지, 아니면 검색을 계속 함께 쓸지가 주요 판단점이다.
핵심 포인트
- 큰 은 더 많은 정보를 한 번에 모델에 넣을 수 있게 한다.
- 은 필요한 정보만 찾아 넣어 토큰 사용을 줄일 수 있다.
- 비용, , 최신 정보 반영이 핵심 비교 기준이다.
- 권한 관리가 필요한 업무용 AI에서는 검색 방식이 계속 중요할 수 있다.
- 설계에서는 “전부 넣기”와 “필요한 것만 찾기”의 균형이 중요하다.