오래된 그래픽카드에서도 대형 언어 모델 학습을 쉽게 하는 Picotron
Picotron은 오래되었거나 저렴한 그래픽카드에서도 학습 코드를 실행하기 쉽게 만든 오픈소스 학습 프레임워크다. 기존 Nanotron은 flash-attn, , functorch 같은 무거운 그래픽카드 전용 도구를 처음 불러올 때부터 요구해, T4나 V100 같은 장비에서는 시작 단계에서 바로 멈출 수 있었다. Picotron은 이런 필수 의존성을 없앤 새 구현이다.
를 지원하는 대부분의 그래픽카드에서 돌아가며, 오래된 카드에서는 기본으로 FP16을 쓰고 최신 카드에서는 BF16을 쓴다. 빠른 주의 계산 도구인 가 설치되어 있으면 실행 중에 감지해 사용하지만, 없으면 표준 방식으로 대신 처리한다. 작은 200만 매개변수 모델을 FineWeb-Edu 데이터로 실제 학습한 사례도 있다.
설정에는 GQA, MLA, QK-Norm, logit soft-capping, 병렬 FFN/Attn 실행, DDP 위의 ZeRO-1 래핑이 포함되어 있다. 다음 과제로는 MoE 준비 기능과 데이터 준비를 더 쉽게 만드는 작업이 제시되어 있다.
핵심 포인트
- Picotron은 Nanotron의 무거운 그래픽카드 전용 필수 의존성을 줄인 학습 프레임워크다.
- T4나 V100 같은 오래된 그래픽카드에서도 시작 단계에서 멈추지 않도록 설계됐다.
- 기본 기능으로 먼저 작동하고, 가 있으면 자동으로 활용한다.
- 작은 200만 매개변수 모델을 FineWeb-Edu 데이터로 학습한 사례가 있다.
- 용 작은 모델 실험 비용을 낮추는 데 도움이 될 수 있지만, 절감 기능은 아니다.