RAG용 웹 수집 도구 crawlberg, 깨끗한 문서로 바로 변환
crawlberg는 Rust로 만든 웹 수집·추출 도구다. 웹사이트 주소를 넣으면 robots 규칙과 사이트맵을 확인하고, 로 뒤늦게 그려지는 페이지는 으로 읽는다. 결과물은 원본 HTML이 아니라 정리된 과 링크, 메타데이터, JSON-LD, 같은 다.
그래서 RAG 시스템에 넣기 전에 문서를 잘게 나누기 쉬운 텍스트를 얻을 수 있다. BM25 필터링으로 전체 사이트를 무작정 긁지 않고, 원하는 검색어와 관련 있는 쪽으로 수집 범위를 좁힐 수 있다. SSRF 방어가 기본으로 켜져 있어 사용자가 넣은 주소를 크롤링할 때 내부망이나 민감한 서버 주소 접근을 막는다.
로컬에서 실행되고 라 특정 회사 서비스에 묶이지 않는다.
핵심 포인트
- Rust 기반의 오픈소스 웹 수집·추출 엔진이다.
- robots 규칙, 사이트맵, 기반 페이지 처리를 지원한다.
- 정리된 과 를 만들어 RAG 입력 준비를 쉽게 한다.
- BM25 필터링으로 관련 없는 페이지 수집을 줄일 수 있다.
- SSRF 방어와 로컬 실행을 기본으로 내세운다.