5시간 만에 훈련한 1.17억 매개변수 Silia 모델
Silia라는 맞춤형 모델 구조로 1억 1700만 개 모델을 에서 약 5시간 동안 훈련했다. 계산 자원은 Ok-Internal9317의 후원으로 마련됐다. 모델 파일은 에 공개됐고, 코드는 GitHub에 올라와 있다.
실행은 uv로 추론 를 돌리고 torch, , regex, coma를 설치하는 방식이다. 공개된 예시 출력은 질문에 바로 답하기보다 문장을 이상하게 나누는 흐름이라, 실제 답변 품질은 아직 불안정해 보인다.
핵심 포인트
- Silia 구조로 만든 1억 1700만 모델이다.
- 한 대에서 약 5시간 훈련됐다.
- 모델은 , 코드는 GitHub에 공개됐다.
- uv와 몇 가지 파이썬 로 추론을 실행할 수 있다.
- 예시 출력은 질문을 제대로 해결하지 못해 품질 검증이 더 필요하다.