내 PDF만 보고 답하는 오프라인 문서 질의 앱
PDF를 올리면 그 문서를 여러 조각으로 나누고, 각 조각을 검색하기 쉬운 숫자 정보로 바꿔 저장한다. 질문이 들어오면 질문도 같은 방식으로 바꾼 뒤, 가 PDF 안에서 가장 관련 있는 문단 조각을 찾는다. 로 실행한 대화 모델은 그 조각만 참고해 답한다.
지시문에는 PDF에서 찾은 내용만 쓰고, 없으면 모른다고 답하라는 조건이 들어간다. PDF에 없는 내용을 물었을 때 추측하지 않고 모른다고 답했다. 와이파이를 끈 상태에서도 동작했기 때문에 대화 모델, 문서 검색, 저장소가 모두 로컬 컴퓨터에서 돌아간다.
구성은 , , 로 단순하다.
핵심 포인트
- PDF를 올리면 겹치는 문단 조각으로 나눠 문장이 잘리지 않게 처리한다.
- 각 문단 조각은 임베딩으로 바뀌어 에 디스크 저장된다.
- 질문도 임베딩으로 바뀌고, 가장 관련 있는 문단만 모델에 전달된다.
- 지시문은 PDF 안의 근거만 쓰고 없으면 모른다고 답하게 만든다.
- 를 써서 대화 모델과 을 로컬에서 실행한다.