기업용 RAG는 벡터 검색만으로 부족하다
기업 내부 지식 도우미를 만들 때는 PDF 몇 개를 넣는 간단한 방식으로는 부족하다. 정책, 업무 절차, 설명서, 엑셀, 워드, 스캔 문서, 스크린샷처럼 형태가 다른 자료를 다뤄야 하고, 부서별 접근 권한, 출처 표시, 중국어와 영어 문서, 잦은 문서 변경, 감사 기록, 답변 품질 평가까지 필요하다. 단순히 문서를 작게 나누고, 에 넣고, 관련 조각 몇 개를 언어 모델에 보내는 방식은 긴 문서의 구조를 깨뜨리고, 제품 코드나 오류 코드 같은 정확한 단어를 놓칠 수 있다.
실무 의견은 원문 구조를 살린 문서 파싱, 제목과 표를 고려한 나누기, 과 벡터 검색을 섞는 , 재랭킹, 문서 종류와 부서와 권한을 반영한 필터링이 필요하다는 쪽으로 모인다. 답변은 근거 문서와 연결되어야 하고, 근거가 약하면 모른다고 말해야 하며, 문서가 바뀔 때마다 색인과 버전을 관리해야 한다. 특히 권한 검사는 모델에게 맡기면 안 되고, 검색 단계에서 먼저 걸러야 정보 유출을 막을 수 있다.
좋은 시스템을 만들려면 검색 품질과 답변 정확도를 재는 평가 세트를 먼저 만들고, 비용, , 검색 성공률, 환각, 실패 질문을 계속 봐야 한다. 구조화된 업무 시스템의 정보는 문서에 억지로 넣기보다 API나 도구 호출로 직접 조회하는 방식이 더 알맞을 수 있다.
핵심 포인트
- 간단한 “문서 조각화 → → 언어 모델” 방식은 기업 문서에는 약하다.
- 제품 코드, 문서 번호, 오류 코드처럼 정확한 단어는 이 더 잘 잡을 수 있다.
- , 재랭킹, 권한 필터링, 출처 표시가 함께 필요하다.
- 접근 권한 제어는 답변 생성 뒤가 아니라 검색 전에 적용해야 한다.
- 평가 세트와 모니터링 없이는 검색 품질, 비용, 환각 개선 여부를 알기 어렵다.