RAG 문서 쪼개기가 검색 품질과 재작업 비용을 좌우한다
학습용 을 만들면서 문서를 로 나누어 에 넣었다. 이 과정에서 '@tool' 같은 데코레이터 정보가 사라졌고, 의 경계도 검색에 잘 맞지 않게 나뉘었다. 전체 문서를 로컬 임베더로 처리해 에 넣는 데 약 48분이 걸렸다.
이후 검색 단계에서 알맞은 조각이 위에 오지 않아 답변 품질을 기대하기 어려운 상태가 됐다. 핵심 문제는 을 어떻게 나눌지 정하는 방법과, 이미 에 들어간 조각을 더 나은 방식으로 다시 바꾸는 방법이다.
핵심 포인트
- 문서를 로 나누는 과정에서 '@tool' 같은 코드 단서가 사라졌다.
- 로컬 임베더로 전체 문서를 에 넣는 데 약 48분이 걸렸다.
- 잘못 나뉜 때문에 검색 결과의 순위가 좋지 않았다.
- 이미 넣은 자료라도 더 나은 쪼개기 기준으로 다시 만들 필요가 생길 수 있다.
- 전체 처리 전에 작은 표본으로 과 검색 품질을 먼저 확인하는 것이 중요하다.