권한을 지키는 사내 지식 검색 설계의 핵심 고민
사내 위키와 기반 답변 시스템을 직접 운영하려는 설계다. 원본 권한 정보와 문서 상태는 이 기준으로 관리하고, 는 다시 만들 수 있는 검색용 저장소로 둔다.
문서가 올라오면 대기열을 거쳐 작은 조각으로 나누고, 에 조각··작업 목록을 저장한 뒤, 별도 작업자가 임베딩을 만들어 에 넣는다. 의 각 문서 조각에는 접근 가능한 조직 단위, 민감도 등급, 문서 상태가 함께 저장된다.
질문이 들어오면 사용자의 조직 접근 범위를 계산해 에서 먼저 걸러 찾고, 상위 결과는 다시 에서 문서 상태·민감도 권한·테넌트를 확인한 뒤 LLM에 넘긴다. 조직 개편이나 권한 회수가 생기면 영향을 받는 문서 조각을 다시 기록해야 하는데, 하위 조직에 문서가 1만 개 이상 있으면 한꺼번에 작업이 몰릴 수 있다는 점이 가장 큰 위험이다.
핵심 포인트
- 은 최종 기준 저장소로 두고, 는 다시 만들 수 있는 검색 저장소로 둔다.
- 각 문서 조각에 접근 가능한 조직 단위, 민감도 등급, 문서 상태를 함께 저장한다.
- 검색 때는 에서 먼저 로 거르고, 상위 결과를 에서 다시 확인한다.
- 조직 이동이나 권한 회수 때 많은 문서 조각을 다시 처리해야 할 수 있다.
- 큰 조직 하위에 문서가 많으면 재처리 작업이 한꺼번에 몰리는 병목이 생길 수 있다.