SupraLabs, 채팅 제목 생성용 소형 모델과 11.5만 건 데이터 공개
SupraLabs가 채팅 내용을 짧은 제목으로 바꾸는 전용 모델 `supra-title-FFT-`를 공개했다. 이전 모델은 1만 2천 건의 학습 예시로 만들어져 흔한 대화에는 괜찮았지만, 낯선 주제에는 약했다. 새 모델은 더 깨끗하게 거른 11만 5천 건의 채팅 제목 데이터로 학습해 주제 범위를 넓혔다.
은 `LiquidAI/LFM2.5-350M-Base`이며, 크기는 약 4억 개 매개변수 수준이다. 학습 방식은 `LoRA`가 아니라 전체 모델을 다시 학습하는 ``이다. 용도는 하나로 좁혀져 있으며, 사용자가 쓴 메시지만 넣으면 별도 없이 제목을 만든다.
함께 공개된 11만 5천 건 데이터셋은 작은 모델의 지시 학습, 제목 생성 평가, 분류식 제목 생성 실험에 쓸 수 있다.
핵심 포인트
- 채팅 제목 생성 전용 모델 `supra-title-FFT-`가 공개됐다.
- 가 1만 2천 건에서 11만 5천 건으로 늘었다.
- 약 4억 개 매개변수의 작은 을 사용한다.
- 별도 없이 사용자 메시지만으로 제목을 만든다.
- 에이전트 서비스에서 제목 생성 같은 보조 작업의 을 낮추는 데 쓸 수 있다.