민감한 사내 문서용 자체 호스팅 RAG 챗봇 고민
사내 정책, 표준 업무 절차, 일반 문서 등 3,000개가 넘는 내부 문서를 직원들이 쉽게 물어볼 수 있는 로 만들려는 사례다. 문서에 민감한 정보가 많아 외부 SaaS는 사용할 수 없고, 모든 시스템을 회사 안에서 해야 한다. 을 써 봤지만 간단한 질문에도 약 10번 중 8번은 정확한 답을 내지 못했다.
작업 공간 설정, 맞춤 프롬프트 작성, 문서 정리와 청킹까지 해도 직원에게 공개할 만큼 안정적이지 않았다. 필요한 조건은 3,000개 이상 문서를 여러 작업 공간이나 팀 단위로 나눠 다룰 수 있고, RAG 정확도가 높으며, 기업에서 설치와 유지보수 부담이 과하지 않은 대안이다.
핵심 포인트
- 3,000개가 넘는 사내 문서로 직원용 를 만들려는 상황이다.
- 민감한 데이터 때문에 외부 SaaS 대신 이 필수 조건이다.
- 은 간단한 질문에서도 약 10번 중 8번 부정확한 답을 냈다.
- 작업 공간 설정, 맞춤 프롬프트, 문서 청킹을 해도 충분히 안정되지 않았다.
- 중요한 선택 기준은 대량 , RAG 정확도, 낮은 유지보수 부담이다.