불법 입수 책 400권으로 개인 RAG를 만들 때의 위험
개인 박사 연구용으로 비공개 RAG 지식 저장소를 만들고 있다. 대상 자료는 역사, 사회학, 정신분석 관련 논픽션 책 약 400권이며, 합법적으로 산 책이 아니라 섀도 라이브러리에서 얻은 파일이다. 각 책을 작은 조각으로 나눈 뒤, 조각마다 짧은 문맥 요약, 두 언어 키워드, 해당 부분이 답할 수 있는 질문 몇 개를 만들기 위해 로 보낸다.
지금은 Mistral의 무료 API를 쓰고 있다. 처리된 내용은 로컬 에 저장해 나중에 검색하고 질의하는 구조다. 전체 처리는 책 수가 많아 최소 일주일 정도 걸린다.
핵심 걱정은 불법 입수한 책 내용을 에 보내는 것이 저작권 문제를 키우는지, 많은 양의 책 내용을 무료 API로 처리하다가 계정이 차단되거나 표시될 위험이 있는지다.
핵심 포인트
- 개인 연구용 비공개 RAG 시스템이지만, 원문 책 파일은 합법적으로 산 것이 아니다.
- 책 약 400권을 작은 조각으로 나눠 에 보내 추가 설명과 키워드를 만든다.
- Mistral 무료 API를 사용해 비용을 낮추고 있지만 처리에 최소 일주일이 걸린다.
- 처리 결과는 로컬 에 저장해 검색용으로 쓴다.
- 저작권 문제와 API 계정 차단 가능성이 핵심 위험이다.