RAG 답변 품질은 색인보다 질문 구성에서 갈릴 수 있다
같은 를 써도 질문을 어떻게 만들었는지에 따라 한 화면에서는 정확히 답하고 다른 화면에서는 없는 내용을 지어낼 수 있다. 안정적인 RAG 흐름은 먼저 이전 대화와 현재 질문을 합쳐, 따로 읽어도 뜻이 분명한 하나의 질문으로 바꾸는 데서 시작한다. 어려운 질문에는 3~5개의 질문 변형이나 를 만들어 각각 검색한 뒤 결과를 합치되, 비용이 늘어나므로 모든 요청에 쓰지 않는 편이 낫다.
검색은 의미가 비슷한 문서를 찾는 방식과 를 함께 쓰고, 각각 50~150개 정도를 넓게 가져온다. 는 사람 이름, 제품명, 식별번호처럼 글자가 정확히 맞아야 하는 정보를 잘 잡는다. 그다음 여러 검색 결과를 순위 기준으로 합치고, cross-encoder rerank로 후보를 5~20개까지 줄인다.
최종 답변에는 보통 20개 안팎의 자료만 넣고, 점수가 낮은 자료는 버린다. 답변은 제공된 자료 안에서만 만들고, 근거가 없으면 모른다고 답하게 해야 한다. 수집 단계에서는 조각마다 짧은 설명을 붙여 함께 색인하고, 예상 질문이나 비슷한 표현을 추가하며, 의미 단위로 문서를 나누고 를 붙이면 검색 품질의 한계를 더 높일 수 있다.
핵심 포인트
- 같은 라도 질문 구성 방식이 다르면 답변 품질이 크게 달라질 수 있다.
- 대화 기록과 현재 질문을 합쳐 독립적인 질문으로 바꾸는 단계가 특히 중요하다.
- 질문 변형이나 는 어려운 질문에만 쓰면 비용 낭비를 줄일 수 있다.
- 과 를 함께 쓰면 비슷한 뜻과 정확한 이름·번호를 모두 잡기 쉽다.
- 근거 자료 안에서만 답하게 하는 규칙은 없는 내용을 지어내는 일을 줄인다.