LoRA 논문의 하위공간 유사도 그림 해석 질문
논문의 그림에서 축의 의미가 헷갈리는 지점이 다뤄졌다. 해당 는 낮은 순위 행렬에서 상위 i개 가 만드는 이 더 높은 순위 행렬에서 상위 j개 가 만드는 안에 얼마나 들어가는지 재는 것으로 이해된다. 이 해석대로라면 j는 i보다 작을 수 없다.
그런데 논문은 오른쪽 두 그림이 왼쪽 두 그림의 왼쪽 아래 삼각형 부분을 확대했다고 설명한다. 그 경우 j=1인데 i가 2부터 8까지인 값들이 생겨 보여서, 오른쪽 두 그림의 세로축이 정확히 무엇을 뜻하는지 의문이 제기됐다.
핵심 포인트
- 논문의 그림 해석이 핵심이다.
- 는 상위 i개 의 이 상위 j개 의 에 얼마나 포함되는지 보는 것으로 이해된다.
- 그 이해가 맞다면 j는 i보다 작을 수 없다는 문제가 생긴다.
- 오른쪽 두 그림의 세로축 의미가 명확하지 않다는 점이 질문의 핵심이다.
- 실무형 비용 절감 소식이라기보다 이론 이해에 가까운 항목이다.