사용자 데이터로 공개 소형 언어모델을 만들 수 있을까
여러 사람이 평소 쓰는 위에 간단한 기록 장치를 붙이면, 입력과 결과를 모아 큰 를 만들 수 있다는 제안이다. 이렇게 모은 데이터는 더 작은 을 만드는 데 쓸 수 있다.
모델 학습에는 큰 이 필요하지만, 빠르게 끝낼 필요가 없다면 게이머들의 그래픽카드를 나눠 쓰는 방식도 가능하다는 생각이다. 가장 어려운 부분은 기술보다 조율과 신뢰다.
데이터를 맡기고, 실제로 을 내놓을 중심 조직이 필요하다. 처음에는 작은 모델부터 공개해 약속을 지키는 기록을 쌓으면 더 많은 참여자를 모을 수 있다는 구상이다.
핵심 포인트
- 평소 쓰는 의 입력과 결과를 모아 로 만들자는 제안이다.
- 목표는 공개적으로 쓸 수 있는 을 만드는 것이다.
- 학습 작업은 시간이 오래 걸려도 된다면 여러 사람의 그래픽카드에 나눠 맡길 수 있다는 생각이다.
- 핵심 난관은 데이터를 모으고 모델을 공개할 믿을 만한 중심 조직이다.
- 작은 모델부터 성공 사례를 만들면 참여자가 늘 수 있다는 구상이다.