LoopCoder-V2, 반복 계산으로 코드 모델 효율을 높이려는 7B 모델
LoopCoder-V2는 코드 작성과 코드 추론에 맞춘 70억 매개변수 규모의 지시 조정 코드 모델이다. 18조 토큰의 글과 코드 데이터를 섞어 처음부터 학습했다. 핵심은 구조로, 모델 크기를 늘리지 않고 같은 블록을 반복해서 써서 답을 더 다듬는 방식이다.
공개된 체크포인트는 두 번 반복하는 설정이며, 논문에서는 이 설정이 성능 향상과 계산 비용 사이의 균형이 가장 좋았다고 한다. 두 번째 반복은 숨은 추론을 꽤 개선했지만, 더 많은 반복은 효과가 줄거나 업데이트가 불안정했다. 목표 사용처는 코드 생성, 여러 언어의 코드 처리, 코드 추론, 소프트웨어 개발, 도구 사용 흐름이다.
구조에는 반복 사이 위치 차이를 주는 방식과 공유-KV 게이트 어텐션이 포함된다.
핵심 포인트
- LoopCoder-V2는 70억 매개변수 규모의 코드용 지시 조정 모델이다.
- 18조 토큰의 글과 코드 데이터를 섞어 처음부터 학습했다.
- 는 같은 블록을 반복 사용해 답을 더 다듬는다.
- 공개 모델은 두 번 반복하는 설정이며, 논문에서는 이 구성이 비용 대비 효과가 가장 좋았다.
- 대상 작업에는 코드 생성, 코드 추론, 소프트웨어 개발, 도구 사용 흐름이 포함된다.