900k 매개변수짜리 교육용 이미지-텍스트 모델 공개
SupraLabs가 SupraVL-Nano-900k라는 첫 을 공개했다. 이 모델은 약 90만 개 매개변수로 만들어졌고, Flickr8k 데이터로 처음부터 학습됐다. 실제 서비스에 바로 쓰기 위한 모델이 아니라, 이미지가 글로 바뀌는 과정을 코드로 읽고 이해하기 위한 교육용 설계도에 가깝다.
전체 구조는 하나의 에 들어갈 만큼 작고 투명하게 구성됐다. 이미지 인코더는 CNN으로 만들었고, 글을 만드는 부분은 GPT-2와 비슷한 디코더를 쓴다. 토크나이저는 Flickr8k 설명문으로 직접 학습한 2048개 BPE 토큰을 사용한다.
모델은 이미지에서 나온 16개 토큰과 텍스트 48개 토큰을 합쳐 총 64개 위치 안에서 처리한다.
핵심 포인트
- SupraVL-Nano-900k는 약 90만 개 매개변수의 작은 이다.
- Flickr8k 데이터로 처음부터 학습됐고, 전체 구조가 하나의 에 들어간다.
- 이미지는 CNN 이미지 인코더로 처리하고, 텍스트 생성은 GPT-2식 디코더가 맡는다.
- 16개와 텍스트 토큰 48개를 합쳐 총 64개 위치를 사용한다.
- 실제 서비스용 모델이 아니라 구조를 이해하기 위한 공개 학습 자료에 가깝다.