RWKV, RNN인데 트랜스포머급 성능에 병렬 학습까지 가능
RWKV는 순환신경망(RNN) 구조를 쓰면서도 트랜스포머()와 맞먹는 언어모델 성능을 낸다. 트랜스포머는 입력 길이가 길어질수록 계산량과 이 제곱으로 늘어나는데, RNN 계열인 RWKV는 이론적으로 에 비례해서만 계산량이 늘어난다.
동시에 RWKV는 트랜스포머처럼 학습 단계에서 병렬 처리가 가능하도록 설계되어, 기존 RNN이 가진 느린 순차 학습 단점을 극복했다. 이용자가 이 아키텍처를 소개하는 글을 올렸다.
핵심 포인트
- RWKV는 RNN 구조이지만 트랜스포머 수준의 LLM 성능을 낸다
- 트랜스포머는 입력 길이에 따라 계산량이 제곱으로 늘지만 RWKV는 그렇지 않다
- RWKV는 트랜스포머처럼 학습 시 병렬 처리가 가능하다