Gemma 4 31B 오픈모델 중심으로 음성·아바타·파인튜닝 실험 활발
를 둘러싸고 커뮤니티에서 다양한 실험이 이어지고 있다. 한 개발자는 Nvidia의 음성인식 모델 Parakeet, 가 서빙하는 , 자체 제작한 Qwen3 TTS(음성합성)를 연결해 실시간 음성 대화 데모를 공개했다.
이 조합은 OpenAI의 를 대체할 수 있는 완전 오픈소스 스택으로, 로컬에서도 구동 가능하며 맥북 프로 M3(36GB) 환경에서 더 작은 버전인 로 비슷한 응답 속도를 낸다. 같은 스택을 활용한 다른 프로젝트는 3D 아바타가 표정과 손짓을 스스로 결정하며 얼굴을 보고 대화하는 데모를 선보였는데, 립싱크에는 별도 오픈소스 도구를 사용했고 응답이 빠른 이유는 의 고속 서빙 덕분이다.
한편 맥북 프로에서 CUDA 없이도 애플 실리콘용 MLX 라이브러리로 를 구동하는 커널 프로젝트가 오픈소스로 공개됐고, 개발자는 26B로 모델 크기를 줄여 재구성하는 작업도 진행 중이다(로컬 어텐션 레이어 구조를 조정하는 방식). 이 외에도 카피라이팅·크리에이티브 라이팅에 특화되도록 파인튜닝한 버전이 벤치마크에서 기본 모델 대비 크게 향상된 점수를 받았고, 롤플레이용 파인튜닝 버전을 유료 API 서비스로 제공하는 곳도 등장했다.
핵심 포인트
- Parakeet(음성인식)+( 서빙)+Qwen3 TTS 조합으로 실시간 음성 대화 데모 공개, 로컬 구동 가능
- 3D 아바타가 표정·손짓을 스스로 결정하는 얼굴 대화 데모도 같은 스택으로 구현됨
- MLX 라이브러리로 애플 실리콘에서 를 구동하는 커널 프로젝트 오픈소스 공개
- 개발자가 를 26B로 축소 재구성 중(로컬 어텐션 레이어 조정)
- 카피라이팅 특화 파인튜닝 버전이 벤치마크에서 큰 점수 향상 기록
이 사건을 다룬 원문 (9)
- r/LocalLLaMAGemma 4 31B 오픈모델 중심으로 음성·아바타·파인튜닝 실험 활발 ↗
- r/LocalLLaMAGemma 4 Technical Report ↗
- r/LocalLLaMAI told Gemma 4 12B (Q8_0, no cache quant) to write a single-file 3D bowling simulator in WebGL. It's terrible, but honestly better than I expected. ↗
- r/LocalLLaMAGemma 4 12B - MLX Kernel ↗
- r/SillyTavernAIHas anyone tried Gemma 4 31B RP finetunes on NanoGPT (ArliAi)? ↗
- r/LocalLLaMAGemma Avatar: Talk to Gemma 4-31B face to face ↗
- r/LocalLLaMAFine-tuned Gemma-4-31B specifically for Copywriting & Creative Writing Tasks (Scored +290 Elo over base using EqBench3) ↗
- r/LocalLLaMARebuilding Gemma 4 31b... better... As 26b... ↗
- r/LocalLLaMAgemma-4-31B on Cerebras is better than ChatGPT voice mode ↗