RAG가 AI 답변을 문서에 근거하게 만드는 기본 원리
RAG는 AI가 기억만으로 답하지 않고, 먼저 관련 문서를 찾아 그 내용을 바탕으로 답하게 만드는 방식이다. LLM은 학습할 때 본 정보만 알고 있어서, 회사 문서나 최신 정보처럼 학습 밖의 질문을 받으면 확신 있게 틀린 답을 만들 수 있다. 이를 환각이라고 한다.
RAG는 문서를 작은 조각으로 나누고, 각 조각을 라는 숫자 표현으로 바꾼 뒤, 에 저장한다. 질문이 들어오면 가 단어가 똑같은지만 보지 않고 의미가 가까운 을 찾는다. 찾은 은 LLM에 컨텍스트로 함께 전달되고, LLM은 그 자료를 근거로 답을 만든다.
핵심은 질문과 문서가 vector space 안에서 의미상 가까운 위치를 찾도록 만드는 것이다.
핵심 포인트
- RAG는 답변 전에 관련 문서를 먼저 찾아 LLM에 넣는 방식이다.
- LLM은 학습 밖의 정보에 대해 틀린 답을 자신 있게 만들 수 있다.
- 문서는 작은 조각으로 나뉘고 로 바뀐 뒤 에 저장된다.
- 는 같은 단어가 아니라 의미가 가까운 을 찾는다.
- 에서는 필요한 자료만 컨텍스트로 넣어 답변 근거와 비용을 함께 관리할 수 있다.