로컬 RAG는 답변 속도보다 프리필 속도가 체감 성능을 좌우한다
로컬 RAG에서는 답을 만들어내는 디코드 속도보다, 답변 전에 긴 문맥을 먼저 읽는 프리필 속도가 더 큰 병목이 될 수 있다. RAG는 검색해 온 자료를 매번 프롬프트에 수천 토큰씩 붙여 넣기 때문에, 첫 답이 나오기 전 준비 시간이 길어진다.
같은 기기는 일부 에서 디코드 속도가 초당 25~40토큰으로 괜찮아도, 프리필 속도는 개별 그래픽카드보다 크게 느릴 수 있다. 24GB 개별 그래픽카드는 같은 문맥을 몇 초 안에 처리할 수 있지만, 환경에서는 첫 토큰이 나오기까지 20~60초를 기다릴 수 있다.
한 번에 많이 돌리는 에는 도 충분할 수 있다. 하지만 자주 묻고 고치며 대화형으로 RAG를 쓰려면, 나중에 개별 그래픽카드를 추가할 수 있도록 이 남는 보드를 고르는 편이 현실적이다.
핵심 포인트
- RAG는 매 질문마다 검색한 자료를 긴 문맥으로 붙여 넣는다.
- 프리필이 느리면 답변 생성 전에 20~60초를 기다릴 수 있다.
- 디코드 속도가 초당 25~40토큰이어도 대화형 사용이 느릴 수 있다.
- 24GB 개별 그래픽카드는 긴 문맥 처리에서 보다 빠를 수 있다.
- 예산이 부족하면 나중에 그래픽카드를 꽂을 수 있는 을 남기는 것이 좋다.