오픈 모델을 토렌트로 받게 하는 실험적 모델 저장소
는 인기 있는 오픈 모델의 토렌트 파일을 모아 배포하는 저장소와 웹사이트다. 내려받을 사람이 서로 파일을 나눠 주는 방식으로 모델을 받을 수 있고, 받을 상대가 없을 때는 에서 파일을 대신 받도록 웹 시드가 으로 작동한다. 이를 위해 BitTorrent 클라이언트의 요청을 의 올바른 파일 위치로 보내는 작은 백엔드 서비스가 만들어졌다.
파일이 LFS에 저장된 경우와 그렇지 않은 경우를 구분해야 해서 별도 처리가 필요했다. 아직 실험 단계라 CDN에서 일부 파일 오류가 날 때가 있지만, 보통 몇 번 다시 시도하면 내려받기가 끝난다. 앞으로 새 모델의 토렌트 생성과 사이트 게시를 로 자동화할 계획이다.
다만 GitHub 무료 실행 환경은 디스크가 약 100GB라서, 100GB가 넘는 큰 모델은 다른 방법이 필요하다.
핵심 포인트
- 인기 있는 오픈 모델의 토렌트 파일을 공유하는 저장소와 웹사이트다.
- 받을 상대가 없으면 를 웹 시드로 써서 파일을 내려받는다.
- 파일 저장 방식에 맞춰 요청을 보내는 백엔드 서비스가 필요했다.
- 아직 실험 단계이며 일부 다운로드 오류는 재시도로 해결되는 경우가 많다.
- 100GB가 넘는 큰 모델은 무료 환경만으로 자동 처리하기 어렵다.