Claude로 작은 반복형 언어 모델을 만든 실제 실험기
Claude를 개발 보조 도구로 써서 1억3500만 매개변수 규모의 을 처음부터 만들었다. 모델은 FineWeb 데이터 46억 토큰으로 학습했고, Parcae 논문에서 제안한 안정화 방식을 따라 여러 실험을 했다.
총 5가지 비교 실험을 2주 동안 디버깅했지만, 이 작은 규모에서는 복잡한 안정화 방식이 단순한 기본 방식보다 낫지 않았다. 그래도 실제 학습을 끝까지 진행했고, 까지 한 뒤 기본 모델과 미세조정 모델을 에 공개했다.
학습은 Modal의 H100 2개와 무료 Lightning H200 자원을 써서 약 3시간 걸렸고, 전체 비용은 약 51달러였다. Claude는 논문 구현을 점검하고, 옵티마이저 연결 오류를 찾아내고, Modal 학습 환경 코드를 작성하고, 모델 공개 작업까지 돕는 역할을 했다.
핵심 포인트
- 1억3500만 매개변수 규모의 을 처음부터 학습했다.
- FineWeb 데이터 46억 토큰을 사용했고, 기본 모델과 모델을 에 공개했다.
- Parcae 논문의 안정화 방식 5가지를 시험했지만, 이 규모에서는 단순한 기본 방식보다 좋은 결과를 내지 못했다.
- 학습은 H100 2개로 약 3시간 걸렸고, 총비용은 약 51달러였다.
- Claude는 논문 구현 디버깅, 옵티마이저 오류 발견, Modal 학습 코드 작성, 공개 작업을 도왔다.