RAG 개발~배포 단계별 기술 스택 선택법 (비용 절감 접근)

RAG(검색 증강 생성)를 처음 도입하는 팀이 개발 단계와 실제 서비스 배포 단계에서 서로 다른 도구를 선택하는 이유와 그 구성을 정리한 글이다. 개발 단계에서는 비용 없이 로컬에서 실행 가능한 오픈소스 도구를 활용한다.

텍스트를 벡터(숫자 표현)로 바꾸는 임베딩 모델로는 Nomic Embed Text를, 벡터를 저장하는 데이터베이스로는 ChromaDB를, 언어 모델로는 Llama 3를 Ollama를 통해 로컬에서 돌린다. 배포 단계에서는 안정성과 성능을 위해 유료 클라우드 서비스로 전환한다.

벡터 데이터베이스는 Qdrant 또는 Pinecone으로 바꾸고, 임베딩은 Azure OpenAI, 언어 모델은 GPT-4o를 쓴다. RAG 연결 로직은 LangChain 의존을 줄이고 직접 구현하는 방향을 권장한다.