가중치를 나눠 미세 조정을 더 빠르게 하려는 훈련 방식
신경망 훈련에서 를 크기와 방향으로 나누어 다루는 방식이 소개됐다. 목표는 모델을 새 작업에 맞게 할 때 과정을 더 단순하게 만들고 속도를 높이는 것이다.
핵심 생각은 모델 안의 숫자 묶음을 한 덩어리로 바꾸지 않고, 얼마나 큰지와 어느 방향을 가리키는지를 따로 조절하는 것이다. 제공된 내용에는 실제 속도 향상 수치, 비용 절감 수치, 적용한 모델 크기 같은 구체적인 결과는 없다.
핵심 포인트
- 를 크기와 방향으로 나누어 훈련하는 접근이다.
- 목표는 을 더 단순하고 빠르게 만드는 것이다.
- 훈련 비용 절감 가능성은 있지만, 실제 수치는 제공되지 않았다.
- 추론 때 쓰는 를 줄이는 기술은 아니다.