전기 문서용 RAG에서 환각을 줄이는 고민
에서 학자의 전기 PDF만 근거로 질문에 답하는 RAG 기반 질의응답 시스템을 만들고 있다. 사용 도구는 , , Mistral, 임베딩, , BM25다.
흐름은 PDF를 잘게 나누고, 관련 조각을 검색한 뒤, 상위 문서 조각을 언어 모델에 넣어 답을 만드는 방식이다. 검색 자체는 어느 정도 작동하지만, 모델이 문서에 없는 사실을 만들어내는 문제가 있다.
반대로 답이 문서에 분명히 있어도 “본문에 명시되어 있지 않다”처럼 지나치게 조심스럽게 답하는 경우도 있다. 핵심 고민은 원인이 검색 품질인지, 프롬프트 문제인지, 아니면 7B~8B급 작은 모델이 전기처럼 이야기형 문서를 정확히 다루기 어려운 한계인지다.
핵심 포인트
- 목표는 전기 PDF 안의 내용만 근거로 답하는 로컬 질의응답 시스템이다.
- 구성은 PDF 분할, 임베딩, 벡터 검색, 상위 조각 선택, 언어 모델 답변 생성 순서다.
- 사용 모델과 도구는 , , Mistral, BM25, 다.
- 검색 결과는 어느 정도 맞지만, 답변 단계에서 문서에 없는 사실이 만들어지는 문제가 있다.
- 7B~8B급 작은 모델이 이야기형 전기 에 충분한지 의문이 제기된다.