H64LM, 비용형 대형언어모델 구조를 직접 구현한 실험 프로젝트
H64LM은 로 직접 만든 2억 4900만 파라미터 규모의 입니다. 목적은 강한 성능의 모델을 내놓는 것이 아니라, 최신 대형언어모델이 어떻게 돌아가는지 구조를 직접 구현하며 확인하는 것입니다. 고수준 학습 도구에 기대지 않고 주의집중, 혼합 전문가 라우팅, 정규화, 학습 반복 과정을 직접 만들었습니다.
구조에는 묶음 질의 주의집중, 8개 전문가 중 2개만 골라 쓰는 희소 혼합 전문가 방식, 세 가지 보조 라우팅 손실, SwiGLU, RoPE, , 주의집중이 들어갑니다. 학습 쪽에는 혼합 정밀도 학습, 그래디언트 누적, 직접 만든 학습 루프, 체크포인트 저장과 이어서 학습하기가 포함됩니다. 공개된 체크포인트는 WikiText-103 일부로 전체 학습 흐름이 작동하는지 확인한 수준이며, 10번째 학습 반복 이후에는 과적합이 뚜렷하고 가장 좋은 는 약 40.5입니다.
현재 한 번에 1개 샘플만 생성할 수 있고, 진짜 분산 학습은 없으며 Data로 대체되는 한계가 있습니다.
핵심 포인트
- 2억 4900만 파라미터 규모의 H64LM이 로 직접 구현됐습니다.
- 8개 전문가 중 2개만 쓰는 희소 구조를 사용합니다.
- 묶음 질의 주의집중, 주의집중, 혼합 정밀도 학습 등 계산 비용을 줄이는 데 관련된 기법이 포함됐습니다.
- 공개 체크포인트는 성능용이 아니라 학습 파이프라인 검증용이며, 는 약 40.5입니다.
- 현재 생성은 배치 크기 1만 지원하고, 진짜 분산 학습은 지원하지 않습니다.