poolside가 에이전트 코딩용 대형 오픈 모델 Laguna M.1 공개
Laguna M.1은 poolside가 공개한 2250억 개 규모의 모델이다. 한 번에 전체 모델을 다 쓰지 않고 토큰마다 약 230억 개의 활성 파라미터만 사용하도록 설계되어, 큰 모델의 능력을 유지하면서 실행 부담을 줄이는 방향이다. 목표 사용처는 에이전트 코딩과 오래 이어지는 작업이다.
구조는 70개 층으로 되어 있고, 앞의 3개 층은 일반 밀집 구조, 나머지 67개 층은 256개 전문가 중 일부를 고르는 전문가 라우팅 구조를 쓴다. 모든 층에서 전체 문맥을 보는 어텐션 구조를 사용하며, 도구 호출 사이에 추론 과정을 끼워 넣는 기능도 지원한다. , Multilingual, , 같은 에이전트 코딩 평가에서 최신 오픈 가중치 모델과 상용 최상위 모델에 견줄 만한 성능을 낸다고 제시됐다.
로 공개되어 상업용과 비상업용 모두에서 사용과 수정이 가능하다. 학습은 사전학습, 후속학습, 강화학습 단계를 거쳤다.
핵심 포인트
- 2250억 개 규모 모델이지만 토큰마다 약 230억 개의 활성 파라미터만 사용한다.
- 에이전트 코딩과 오래 이어지는 작업을 목표로 설계됐다.
- 67개 희소 MoE 층에서 256개 전문가 중 일부를 선택하는 전문가 라우팅을 쓴다.
- 도구 호출 사이에 추론 과정을 넣고, 요청마다 추론 사용 여부를 조절할 수 있다.
- 라 상업용 서비스에도 쓸 수 있다.