챗봇용 RAG를 실제로 잘 작동하게 만드는 고민
기존 위에 를 붙여 챗봇을 만들 때 성능은 구현 품질에 크게 달라진다. 중요한 기본 요소로는 을 잘 나누어 필요한 문맥이 끊기지 않게 하는 것, 믿을 만하고 관련성 높은 자료를 쓰는 것, 결과를 계속 평가하고 개선하는 것이 꼽힌다. 좁은 전문 분야 실험에서는 직접 만든 보다 GPT나 ini 같은 범용 서비스가 더 나은 답을 내는 경우가 있었다.
이런 차이는 대형 서비스가 훨씬 넓은 데이터와 지식을 이미 갖고 있기 때문일 수 있다. 목표는 그들과 정면으로 경쟁하는 것이 아니라, 실제 사용 환경에서 비슷하게 쓸 만한 품질에 가까워지는 실용적인 방법을 찾는 것이다.
핵심 포인트
- 기존 을 쓰면서 챗봇에 를 적용하려는 상황이다.
- 을 잘 나누지 않으면 필요한 문맥이 빠져 답변 품질이 떨어질 수 있다.
- 자료는 많기보다 정확하고 관련성이 높아야 한다.
- 결과를 계속 평가하고 개선하는 과정이 필요하다.
- 좁은 전문 분야에서는 직접 만든 보다 GPT나 ini가 더 좋은 답을 낼 수 있다.