오픈웹 UI에서 문서 검색형 AI를 더 잘 쓰기 위한 구성 고민
오픈웹 UI의 작업 공간에 계획서, 양식, 사례 연구, 표준 문서 같은 여러 PDF를 넣고, 그 안의 생각들을 서로 연결해 질문에 답하게 하려는 구성이다. 현재 문서 추출에는 , 임베딩 모델에는 jina--v5-text-small, 재정렬 모델에는 jina--v3를 쓰고 있다.
답변을 만드는 은 나 로컬에서 돌리는 를 번갈아 사용한다. 전체 구성은 대체로 만족스럽지만, 질문을 여러 번 다른 방식으로 다시 해야 할 때가 있다.
원인은 문서를 작은 조각으로 나누는 방식인 청킹이 일부 중요한 내용을 놓치게 만들기 때문일 수 있다. 그래서 문장의 뜻을 기준으로 문서를 나누는 시맨틱 청킹 도구인 Chonkie를 추가하면 더 나아질지 검토하고 있다.
핵심 포인트
- 여러 PDF 문서의 내용을 연결해 답하는 오픈웹 UI용 RAG 구성을 다룬다.
- 현재 구성은 , Jina 임베딩 모델, Jina 재정렬 모델, 또는 로컬 Qwen 모델이다.
- 질문을 여러 번 바꿔 물어야 하는 문제가 있으며, 청킹 방식이 원인일 수 있다.
- Chonkie 같은 시맨틱 청킹 도구가 문서 조각의 품질을 높일 수 있는지 검토 중이다.
- AI 에이전트의 문서 기반 답변 품질과 토큰 사용량을 함께 줄이려는 사람에게 참고할 만하다.