별도 벡터 데이터베이스 없이 RAG 도우미를 만든 교훈
도우미를 만들 때 꼭 별도 를 붙여야 하는 것은 아니다. 기존 분석용 계층이 검색 요구를 감당할 수 있는지 먼저 시험하면, 새 시스템을 하나 더 운영하지 않아도 될 수 있다. 시스템이 단순해지면 구조를 이해하고 문제를 찾기가 쉬워진다.
하지만 품질을 좌우한 핵심은 종류보다 검색 자체였다. 문서를 어떻게 나눌지, 어떤 결과를 위에 올릴지, 무엇을 걸러낼지, 결과가 좋은지 어떻게 평가할지가 중요했다. 특히 정확한 용어, 제품명, 사내 표현이 중요한 경우에는 과 도 꽤 쓸모가 있었다.
결국 좋은 구조는 유행하는 기본 조합을 따르는 문제가 아니라, 어떤 정보를 어떻게 찾아야 하는지에 맞춰 정해야 한다.
핵심 포인트
- 별도 없이 기존 분석용 로 도우미 검색을 시험했다.
- 시스템이 단순해져서 이해와 운영이 쉬워졌다.
- 검색 품질은 문서 분할, 순위 매기기, 필터링, 평가에 크게 좌우됐다.
- 정확한 용어와 제품명이 중요한 경우 과 이 유용했다.
- 구조는 기본 유행 조합이 아니라 실제 검색 문제에 맞춰 정해야 한다.