기업 문서를 AI가 쓰기 좋게 모으는 AWS 설계 고민
기업 안에 흩어진 문서를 검색과 사내 AI 앱에 쓰기 쉬운 형태로 모으려는 AWS 기반 설계다. 대상 문서는 구글 드라이브, , 이메일, 파일 서버 같은 여러 저장소에 있는 다. 원본과 처리된 파일은 Amazon S3에 저장하고, Airbyte와 직접 만든 연결 도구로 문서를 가져온다.
Unstructured.io와 OCR로 문서 내용을 읽고 정리하며, DataHub로 문서 정보와 출처 같은 메타데이터를 관리한다. 검색이나 질의응답에 쓸 로 Amazon S3 Vectors를 검토하고, API는 로 만들며, 필요하면 Trino로 조회 기능을 붙인다. 권한, 비밀값, 운영 로그는 AWS IAM, Manager, 로 다루는 구조다.
개발 인력은 본인과 최대 한 명뿐이라, 초기에 너무 복잡하지 않으면서도 기업 규모에 버틸 수 있는 설계가 중요하다.
핵심 포인트
- 기업 문서를 AI 검색, RAG, 사내 AI 앱에 쓰기 좋은 형태로 모으는 설계다.
- 원본과 처리 결과를 Amazon S3에 나누어 저장하는 구조를 잡고 있다.
- Unstructured.io와 OCR로 문서 내용을 읽고 정리하려 한다.
- DataHub로 문서의 출처, 상태, 설명 같은 메타데이터를 관리하려 한다.
- 작은 개발팀이라 초기 설계에서 운영 복잡도를 줄이는 판단이 중요하다.