소규모 RAG 서버의 저비용 배포처를 찾는 단계
개인 학습과 포트폴리오를 위해 간단한 시스템을 만들었다. 같은 요청을 다시 처리하지 않도록 결과를 임시 저장하고, 짧은 시간에 들어오는 요청 수를 제한하는 장치도 넣었다.
문서 검색용 는 를, 답변 생성은 Groq를 사용했다. Gemini 연결에서 원인을 알 수 없는 오류가 계속 발생해 Groq를 선택했다.
서버 뒷단을 로 묶어 에 올리려 했지만, 설정 화면에서는 이 배포 방식에 유료 이용이 필요한 것으로 나타났다. Gradio 같은 다른 방법을 포함해 개인 실험용 서버를 어디에 배포할지는 아직 정하지 못했다.
핵심 포인트
- 개인 학습과 포트폴리오를 위한 간단한 시스템이다.
- 반복 작업을 줄이는 결과 임시 저장과 과도한 사용을 막는 요청 횟수 제한을 적용했다.
- 는 , 답변 생성 서비스는 Groq를 사용했다.
- Gemini 연결은 계속 오류가 발생해 사용하지 못했다.
- 를 에 배포하려 했지만 유료 이용 안내가 나타나 Gradio 등 다른 방법을 찾고 있다.