Y0oshi/Text-LLM-Training-from-scratch2026년 7월 13일 · 1일 전
토큰화(tokenization)부터 사전학습(pretraining), (SFT), (preference-based alignment)까지 언어모델 학습 전 과정을 로 밑바닥부터 구현한 코드가 깃허브에 공개되었습니다. 외부 학습 에 의존하지 않고 각 단계를 직접 구현했다는 점이 특징이며, 모델이 어떻게 훈련되는지 전체 구조를 코드 수준에서 볼 수 있게 되어 있습니다.