개인 개발자가 2억7천만 파라미터 언어모델을 처음부터 직접 만들어 공개
한 독립 연구자가 2억7천만 개 파라미터 규모의 언어모델을 밑바닥부터 설계해 만들었다. 커스텀 구조를 썼는데, 위치 정보를 표현하는 로터리 위치 임베딩(RoPE), 학습 안정성을 높이는 정규화, 방식의 피드포워드 레이어, 그리고 추론 속도와 메모리 효율을 높이는 을 결합했다.
디코더 구조는 (개인 컴퓨터 등 클라우드 없이)에서 추론하기 좋도록 최적화됐다. 스페이스에 WikiSmartBot이라는 이름으로 실제로 써볼 수 있는 데모가 올라와 있고, 모델을 처음부터 학습시키는 과정을 담은 코랩() 노트북도 함께 공개됐다.
핵심 포인트
- 2억7천만 파라미터 규모의 언어모델을 개인이 처음부터 직접 설계·학습
- RoPE, , , 등 효율적인 구조 채택
- 에서의 추론 속도를 고려해 디코더를 최적화
- 스페이스에 WikiSmartBot이라는 실행 가능한 데모 공개
- 사전학습 전 과정을 담은 코랩 노트북도 함께 공유