로컬 RAG 앱에 맞는 오픈소스 모델 선택 고민
해커톤 팀이 인터넷 서버 대신 노트북 두 대에서만 돌아가는 을 만들려 한다. 한 대는 i7 13세대 프로세서와 메모리 32GB가 있지만 는 없다. 다른 한 대는 i5 12세대 프로세서와 메모리 , 엔비디아 4GB가 있다.
목표는 RAG 방식으로 자료를 찾아 답하는 앱을 만들고, 속도를 잘 내면서 그럴듯하지만 틀린 답을 줄이는 것이다. 그래서 이 환경에서 어떤 을 쓰는 것이 좋은지 판단하려는 상황이다.
핵심 포인트
- 로컬에서 돌아가는 을 만들려는 해커톤 상황이다.
- 사용 가능한 장비는 가 없는 메모리 32GB 노트북과 4GB가 있는 메모리 노트북이다.
- 목표는 좋은 속도와 낮은 오류 답변이다.
- 비용을 줄일 수 있는 방향이지만, 제약이 크다.