512MB 서버 한계가 만든 더 가벼운 AI 검색 구조
AI 의 처음 구조는 서버가 저장소를 복사하고, 파일을 작은 조각으로 나누고, 임베딩을 만들고, 벡터를 저장한 뒤 질문에 답하는 방식이었다. Render 의 512MB 메모리에서 큰 저장소를 처리하자 이 거의 500MB까지 올라갔고, 서비스가 종료됐다. 더 큰 서버를 쓰는 대신, 사용자의 컴퓨터가 할 수 있는 일을 서버에서 빼는 방향으로 구조를 바꿨다.
이제 브라우저가 저장소를 읽고, 에서 파일을 나누고, 임베딩을 작은 묶음으로 만들고, 벡터를 에 저장한다. 서버는 검색과 LLM 추론만 맡는다. 그 결과 서버 을 예측하기 쉬워졌고, 호스팅 비용이 줄었으며, 서버 구조도 단순해지고 더 많은 사용자를 감당하기 쉬워졌다.
대신 색인은 각 기기에 따로 저장되기 때문에, 여러 기기에서 같은 색인을 동기화하는 일이 더 어려워졌다.
핵심 포인트
- 512MB 메모리 제한에서 큰 저장소를 처리하자 서버가 거의 500MB까지 사용하고 종료됐다.
- 저장소 읽기, 파일 나누기, 임베딩 생성, 벡터 저장을 브라우저로 옮겼다.
- 서버는 검색과 LLM 추론만 맡도록 줄였다.
- 서버 과 호스팅 비용을 낮출 수 있었다.
- 기기마다 색인이 따로 생겨 여러 기기 동기화는 더 어려워졌다.