RAG와 파인튜닝은 서로 다른 문제를 푼다
실제 운영용 에서는 모델을 바로 하기 전에 정보 부족이 문제인지 먼저 봐야 한다. 는 내부 문서, 회사 검색, 고객 지원 지식, 제품 문서, 회사 규정처럼 내용이 많고 자주 바뀌는 지식을 다룰 때 잘 맞는다. 만 바꾸면 새 정보를 반영할 수 있어 모델을 다시 학습시킬 필요가 줄어든다.
답변이 어떤 문서에서 나왔는지도 함께 보여줄 수 있어, 모델의 기억에만 기대는 방식보다 확인하기 쉽다. 실험도 더 빠르다. 거대한 LLM을 다시 학습시키는 대신 , 청킹 전략, 재랭커를 바꿔 보며 품질을 조정할 수 있다.
반대로 은 모델의 말투, 답변의 일관성, 출력 형식을 고쳐야 할 때 더 알맞다. 에서는 와 을 경쟁 관계로 보기보다 함께 쓰는 경우가 많다.
핵심 포인트
- 정보가 없거나 자주 바뀌는 문제가 핵심이면 가 먼저 검토할 만하다.
- 말투, 일관성, 출력 형식이 문제라면 이 더 맞을 수 있다.
- 는 를 갱신해 새 정보를 반영할 수 있어 재학습 부담을 줄인다.
- 출처 문서를 함께 보여줄 수 있어 답변 검증이 쉬워진다.
- 에서는 와 을 함께 쓰는 선택지도 현실적이다.