여러 블록을 동시에 만드는 새 언어 모델 방식
Multi-Block Language 는 글을 한 조각씩만 만드는 기존 방식에서 더 나아가, 이어진 여러 조각을 동시에 처리하려는 방식이다. 기존 은 과 길이를 유연하게 정하는 생성으로 확산 기반 글 생성을 개선했다. 다음 단계인 MultiBD는 연속된 블록 묶음을 동시에 해독해 블록 사이 작업을 병렬로 처리하려 한다.
문제는 많은 기존 모델이 로 훈련되어, 깨끗한 앞부분을 보고 노이즈가 섞인 블록 하나만 다루는 데 익숙하다는 점이다. 확산 강제는 여러 노이즈 블록을 함께 보게 만들지만, 실제 MultiBD 추론에서처럼 제한된 실행 묶음과 자리마다 다른 노이즈 상태를 다루는 상황과는 아직 차이가 있다. MBD-LMs는 MultiTF라는 후훈련 방식으로 이 차이를 줄인다.
MultiTF는 깨끗한 앞부분을 조건으로 제한된 노이즈 묶음을 학습시키고, 무작위 노이즈 스케줄러를 써서 실제 MultiBD 추론 상태에 더 가깝게 맞춘다. 실제 실행을 위해 Block 기반의 최적화된 해독 알고리즘도 제안된다.
핵심 포인트
- 기존 은 과 유연한 길이 생성으로 글 생성 방식을 개선했다.
- MultiBD는 연속된 여러 블록을 동시에 해독해 더 병렬적인 생성을 목표로 한다.
- 기존 훈련은 실제 MultiBD 추론 상태와 맞지 않는 부분이 있다.
- MultiTF는 여러 노이즈 블록 묶음을 실제 실행 방식에 가깝게 후훈련한다.
- Block 기반 최적화 해독 알고리즘으로 MultiBD를 실제로 실행 가능하게 만들려 한다.