대규모 검색 증강 생성에서 비용을 키우지 않고 맞는 조각을 찾는 고민
운영 환경에서 쓰는 증강 생성 시스템을 수백 개 문서와 수백만 행 데이터까지 키우려는 상황이다. 데이터는 복잡한 문서 파싱과 자동 웹 수집으로 들어오고, 저장소에는 색인도 만들어져 있다. 하지만 보통의 의미 기반 상위 K개 조각 검색만으로는 필요한 정보를 안정적으로 찾기 어렵다.
비슷해 보이는 조각이 많으면 실제 답이 들어 있는 조각이 빠질 수 있고, 필요한 정보가 여러 조각에 흩어져 있을 수도 있다. K 값을 크게 늘리면 더 많이 찾을 수는 있지만, 거대한 문맥 창을 써야 해서 이 급격히 늘어난다. 긴 문맥에서는 중요한 정보가 가운데에 묻혀 모델이 놓치는 문제도 생긴다.
자동 수집한 문서와 웹페이지는 깔끔하게 나누기 어렵고, 한 조각 안에 여러 주제가 섞여 의미가 흐려지는 문제도 자주 생긴다.
핵심 포인트
- 수백만 행과 수백 개 문서를 다루는 증강 생성 시스템의 확장 문제가 핵심이다.
- 의미 기반 상위 K개 조각 검색은 규모가 커질수록 필요한 정보를 놓칠 위험이 있다.
- K 값을 키우면 문맥 창이 커져 이 빠르게 늘어난다.
- 긴 문맥에서는 중요한 정보가 가운데에 묻혀 모델이 놓칠 수 있다.
- 자동 수집한 문서와 웹페이지는 깔끔한 조각으로 나누기 어렵다.