질문 임베딩만 쓰는 RAG 답변봇의 한계
고객 이메일에 답장하는 을 만들 때, 과거 이메일 대화에서 질문과 답변 쌍을 뽑아 저장하는 방식이 쓰이고 있습니다. 가 에서 핵심 질문과 답변을 추려 더 일반적인 표현으로 바꾸고, Voyage로 임베딩을 만든 뒤, 질문과 답변의 가 모두 매우 높은 항목은 중복으로 합칩니다.
새 이메일이 들어오면 가 핵심 질문을 뽑고, 저장된 질문 임베딩에서 가장 비슷한 질문·답변 쌍을 찾은 다음, 재정렬을 거쳐 더 비싼 에 넘겨 답장 초안을 만듭니다. 문제는 질문 표현이 조금만 바뀌어도 필요한 과거 답변이 검색되지 않는 경우가 있다는 점입니다.
오히려 큰 자주 묻는 질문 파일 전체를 에 넣는 이전 방식이, 정보가 항상 문맥 안에 있기 때문에 더 잘 작동할 때도 있습니다. 질문 임베딩만 저장하는 대신 답변도 함께 임베딩해 검색하는 방법이 대안으로 거론됩니다.
핵심 포인트
- 고객 이메일 답변용 에서 과거 질문·답변 쌍을 검색 자료로 씁니다.
- 는 질문 추출에, 더 비싼 은 최종 답장 작성에 쓰입니다.
- 질문 임베딩만 검색하면 표현이 조금 달라졌을 때 관련 답변을 놓칠 수 있습니다.
- 큰 자주 묻는 질문 파일을 통째로 넣는 방식은 비용은 크지만 정보 누락이 적을 수 있습니다.
- 답변도 임베딩해 함께 검색하는 방식이 개선 후보로 언급됩니다.