HDD-RoPE, 더 빨리 학습되는 위치 표현 실험
HDD-RoPE는 이 단어의 순서를 이해하도록 돕는 새로운 방식이다. 기존 RoPE는 를 두 차원씩 묶어 정해진 속도로 회전시키며, 모델이 단어 사이의 상대적 위치를 배우게 한다.
HDD-RoPE는 이전 프로젝트의 누적 행렬 곱 아이디어를 에 바꿔 적용한다. TinyStories 데이터셋으로 학습한 비슷한 모델에서, xPos를 쓴 기본 보다 이 더 빨리 낮아졌다.
실험 모델은 TinyStories-33M 설정을 참고해 블록 4개와 768차원 크기를 사용했다. 공개 저장소에는 결과를 다시 확인할 수 있는 코드와 수학적 설명, 구조 설명이 들어 있다.
핵심 포인트
- HDD-RoPE는 단어 순서를 다루는 방식이다.
- 기존 RoPE는 를 두 차원씩 회전시켜 상대 위치를 배우게 한다.
- HDD-RoPE는 누적 행렬 곱을 에 활용한다.
- TinyStories 실험에서 xPos 기반 기본 보다 이 더 빨리 낮아졌다.
- 코드와 수학 설명이 공개 저장소에 올라와 있어 재현이 가능하다.