MRU, 어텐션 대신 긴 입력을 더 싸게 처리하려는 실험
는 긴 글이나 코드처럼 순서가 있는 데이터를 처리할 때 쓰는 어텐션을 대체하려는 구조다. 입력 임베딩을 작은 행렬 형태의 상태로 바꾼 뒤, 순서대로 행렬들을 누적해서 곱해 출력 상태를 만들고, 마지막에 다시 벡터로 되돌린다.
딥러닝 칩에서 빠르게 돌리기 위해 행렬 곱셈의 결합 성질을 이용한 도 만들었다. 예전에는 간단한 셰익스피어 문자 예제에서 괜찮은 결과가 나왔지만, 더 복잡한 데이터에서는 상태 행렬의 크기를 안정적으로 제한하는 문제와 학습 불안정 문제가 드러났다.
이를 줄이기 위해 입력 벡터를 행렬로 만드는 방식을 바꾸는 실험이 추가됐다. 처음 방식은 벡터를 행렬로 모양만 바꾼 뒤 단위 행렬을 더하는 것이었고, 새 방식에는 벡터 값으로 비대칭 행렬을 만들고 행렬 지수 같은 변환을 쓰는 방법이 포함된다.
핵심 포인트
- 는 어텐션을 대체하려는 순서 처리 구조다.
- 입력 임베딩을 행렬 상태로 바꾸고, 행렬을 누적 곱해 결과를 만든다.
- 을 써서 딥러닝 에서 더 효율적으로 실행하려 한다.
- 간단한 문자 데이터에서는 좋은 결과가 있었지만, 더 복잡한 데이터에서는 학습 불안정 문제가 나왔다.
- 새 실험은 상태 행렬을 더 안정적으로 만들기 위해 입력 행렬 생성 방식을 바꾼다.