사내 지식 검색용 온프레미스 RAG 제품의 초기 검증 고민

엔터프라이즈용 온프레미스 RAG 검색 엔진은 회사 내부 문서를 빠르게 찾고, 근거가 되는 출처를 함께 보여주는 것을 목표로 한다. 데이터는 회사 밖으로 나가지 않고, 토큰 비용이 없으며, 특정 공급업체에 묶이지 않는 구조를 내세운다.

해결하려는 문제는 팀이 문서를 많이 남겨도 실제로는 필요한 정보를 찾기 어렵다는 점이다. 엔지니어가 작성한 기획 문서, 결정 기록, 장애 회고, 운영 문서가 Confluence 안에 쌓이지만, 단순 키워드 검색은 의미를 묻는 질문에 약하고 큰 문서 묶음에서는 문맥이 쉽게 끊긴다.

그 결과 새 입사자는 같은 질문을 오래 반복하고, 시니어 엔지니어가 사실상 사람 검색 엔진처럼 지식을 대신 찾아주게 된다. 현재 최소 기능 제품은 Confluence 연결, 벡터 검색과 BM25를 섞은 하이브리드 검색, 출처가 표시된 답변, 조직 내부 인프라 안에 남는 데이터 구조를 갖췄다.