openPangu 2.0 Flash, 긴 문맥과 낮은 추론 비용을 겨냥
openPangu 2.0 Flash는 Ascend 환경에서 학습된 이다. 전체 매개변수는 920억 개지만, 한 번 답을 만들 때 실제로 쓰는 는 60억 개다. 한 번에 다룰 수 있는 는 51만 2천 토큰이며, 사전 학습에는 총 34조 토큰이 쓰였다.
긴 문서를 다루는 추론에서 계산량, , 메모리 접근 비용을 줄이기 위해 여러 주의 방식이 섞여 있다. 지역적인 내용은 SWA가 맡고, 넓게 떨어진 중요한 문맥은 DSA가 잡는 구조다. 또한 한 단계에서 토큰 3개를 미리 초안처럼 예측하는 다중 토큰 예측을 써서 답변 생성 속도를 높인다.
학습 뒤 단계에서는 느리게 생각하기와 빠르게 생각하기, 여러 강화학습 전문가, 그리고 를 함께 사용했다.
핵심 포인트
- 전체 매개변수는 920억 개이고, 추론 때 는 60억 개다.
- 는 51만 2천 토큰으로 매우 길다.
- 긴 문맥 추론의 계산량과 메모리 비용을 줄이기 위한 주의 구조를 사용한다.
- 다중 토큰 예측으로 한 단계에서 토큰 3개를 미리 만들어 속도를 높인다.
- 가 긴 자료를 읽고 처리할 때 비용과 속도 측면에서 살펴볼 만하다.