RAG 작업을 로컬에서 점검하는 오픈소스 도구 Chunky
Chunky는 을 로컬 컴퓨터에서 끝까지 만들어 보고 점검할 수 있는 오픈소스 도구다. PDF를 으로 바꾸는 6가지 변환 방식을 같은 문서로 비교할 수 있고, 문서 정리와 문서 조각 확인도 지원한다. , Chonkie, 같은 여러 문서 분할 방식도 서로 비교할 수 있다.
로 문서에 메타데이터를 붙이는 기능도 있다. 0.7.0 버전에서는 같은 PDF를 나란히 비교하고, 확대해서 보며, 화면에 보이는 결과와 원본 을 함께 확인할 수 있다. 파일과 문서 조각 JSON을 바로 내보내는 버튼이 추가됐다.
LiteParse는 자체 출력을 쓰도록 바뀌었고, 키보드 이동, Shift-클릭 여러 개 선택, 오래 걸리는 변환 취소 처리도 개선됐다. 코드는 GitHub에 있으며 로 공개됐다.
핵심 포인트
- 을 로컬에서 만들고 점검하는 오픈소스 도구다.
- PDF를 으로 바꾸는 6가지 방식을 같은 문서에서 비교할 수 있다.
- 여러 문서 분할 방식을 비교해 더 적절한 문서 조각을 고를 수 있다.
- 과 문서 조각 JSON을 바로 내보낼 수 있다.
- 모든 작업이 로컬에서 실행되며 로 공개됐다.