32GB VRAM으로 작은 자동완성 모델을 직접 만들려는 실험
32GB VRAM만으로는 큰 모델을 만들기 어렵기 때문에, 목표를 작은 자동완성 모델로 낮추는 접근입니다. 계획된 모델 크기는 약 2,500만 매개변수입니다.
목표는 대화형 답변을 잘하는 모델이 아니라, 주어진 문맥 뒤에 올 다음 토큰, 문장, 문단을 예측하는 모델입니다. 가장 큰 문제는 입니다.
대략 매개변수 수보다 몇 배 많은 토큰으로 학습해야 한다는 기준을 잡으면, 2,500만 매개변수 모델도 실험용으로 1억 개 이상의 토큰이 필요할 수 있습니다. 첫 실험 데이터로는 유튜브 코미디 대본을 정리해 농담의 흐름을 이어 쓰는 모델을 만드는 가 제시됩니다.
핵심 포인트
- 32GB VRAM에서는 큰 보다 작은 특화 모델이 현실적입니다.
- 목표 모델은 약 2,500만 매개변수 규모의 자동완성 모델입니다.
- 대화형 답변보다 다음 토큰, 문장, 문단 예측에 초점을 둡니다.
- 실험에도 1억 개 이상의 토큰이 필요할 수 있어 데이터 확보가 큰 과제입니다.
- 코미디 대본처럼 좁은 데이터로 특정 패턴을 배우게 하는 방향이 제안됩니다.