첫 RAG 챗봇에서 어려운 부분은 프롬프트보다 검색 품질이었다
작은 챗봇을 만들면서 예상보다 문서 쪼개기 방식이 결과에 큰 영향을 줬다. 좋은 답을 만들려면 자체보다 필요한 정보를 제대로 찾아오는 검색 품질이 더 중요할 때가 많았다. 임베딩은 여러 검색 결과를 직접 비교하고, 그 결과가 답변을 어떻게 바꾸는지 확인한 뒤에야 이해하기 쉬워졌다.
처음에는 프롬프트를 잘 쓰는 일이 가장 어려울 것이라고 생각했지만, 실제 시간은 관련 정보가 왜 검색되지 않는지 찾고 검색 방식을 개선하는 데 더 많이 쓰였다. , , 로 만든 첫 경험에서는 답변 문장보다 답변에 넣을 자료를 고르는 과정이 핵심 문제였다.
핵심 포인트
- 문서 쪼개기 방식은 RAG 답변 품질에 큰 영향을 준다.
- 검색 품질이 선택보다 더 중요할 수 있다.
- 임베딩은 검색 결과를 직접 비교해 보면 이해하기 쉬워진다.
- 처음 예상과 달리 프롬프트보다 검색 개선에 더 많은 시간이 들었다.
- 관련 정보가 검색되지 않는 이유를 찾는 과정이 RAG 구축의 핵심 난관이었다.