소프트맥스 없는 3.5억 매개변수 언어 모델 공개
RRT-355M은 GPT-2 과 비슷한 크기의 언어 모델로, 약 3억5400만 개 매개변수를 갖고 115억 개 토큰으로 처음부터 학습됐다. 핵심 실험은 소프트맥스 없이도 문장 안의 중요한 연결을 고르는 주의 구조가 작동하는지 확인하는 것이다. 모델은 구조적으로 많은 연결을 꺼 두는 방식으로 계산을 줄이며, 긴 문맥에서는 일부 계산 묶음을 건너뛰는 커널을 함께 제공한다.
공개된 평가는 22개 과제를 묶은 CORE 기준에서 0.1558점을 기록했고, 같은 크기의 GPT-2 0.1770보다는 낮지만 GPT-2 124M 0.1211보다는 높았다. 긴 문맥 실험에서는 H100 기준으로 계산 묶음의 34%에서 55%를 건너뛸 수 있었고, 1만6384 토큰 길이의 주의 계산에서 최대 VRAM 사용량은 5.5GB로 제시됐다. 다만 일반적인 s 방식으로 바로 실행하면 안 되고, 별도 RRT 엔진과 커널이 필요하다.
MMLU, GSM8K, , 채팅 성능, 지시 따르기 성능은 평가되지 않았으며, 공개 저장소의 라이선스는 이다.
핵심 포인트
- 약 3억5400만 매개변수 모델이며 115억 토큰으로 학습됐다.
- 소프트맥스 없이 주의 구조를 작동시키는 실험 모델이다.
- 긴 문맥에서 일부 계산 묶음을 건너뛰어 VRAM 절감을 노린다.
- CORE 점수는 0.1558로 GPT-2 보다 낮고 GPT-2 124M보다 높다.
- 일반 s 실행 방식이 아니라 별도 RRT 엔진과 커널이 필요하다.