무료 Colab에서 작은 언어 모델을 훈련하려는 시도
을 직접 만들어 문법, 추론, 수학 같은 제한된 작업에 쓰려는 계획이다. 큰 모델이 아니라 nanoGPT_75M 기반의 작은 모델을 목표로 한다. 먼저 일반 능력을 갖춘 뒤, 나중에 개인 프로젝트 데이터로 추가 훈련하려 한다.
은 무료 버전이다. 현재 단계는 구체적인 성능 결과나 비용 수치가 아니라, 와 파라미터 선택에 대한 조언을 구하는 수준이다.
핵심 포인트
- 문법, 추론, 수학에 쓰는 을 만들려는 계획이다.
- 로 nanoGPT_75M을 언급했다.
- 나중에 개인 프로젝트 데이터로 추가 훈련하려 한다.
- 은 무료 버전이다.
- 아직 성능, 비용 절감, 실제 에이전트 적용 결과는 없다.