소규모 QLoRA 학습에서는 기본 학습률 0.0002를 의심해야 한다
문서와 예제, 원래 논문 등은 의 시작 학습률로 2e-4, 즉 0.0002를 흔히 사용한다. 이 값은 약 5만2천 개 예제를 사용한 데이터에서 나왔지만, 개인이나 소규모 팀이 직접 만든 데이터는 보통 5천~1만 개 수준일 수 있다. 데이터가 적으면 첫 번째 에폭 안에 과적합이 시작돼 훈련 손실은 계속 낮아져도 평가 손실은 그대로이거나 오를 수 있다.
직접 실험에서는 약 8천 개였던 데이터를 두 차례 정리해 약 7천200개로 줄이고, 지시문 형식을 두 번 고치고, 데이터를 손으로 다시 분류했지만 일곱 번의 가 거의 같았다. 이후 학습률을 2e-4에서 1e-4로 낮추고 학습 횟수를 3에폭에서 5에폭으로 늘리자 이전 변경을 모두 합친 것보다 가 크게 좋아졌다. 추가로 세 번 실행해도 같은 흐름이 나타났다.
따라서 1만 개 미만의 데이터에서는 2e-4를 고정된 정답처럼 쓰지 말고 실제 에 맞춰 조정할 필요가 있다.
핵심 포인트
- 2e-4는 약 5만2천 개 예제를 사용한 학습에서 쓰인 값이다.
- 5천~1만 개 수준의 데이터에서는 첫 에폭부터 과적합이 생길 수 있다.
- 약 7천200개 데이터에서는 학습률 1e-4와 5에폭 조합이 기존 2e-4와 3에폭보다 좋은 를 냈다.
- 공유된 학습 예제의 기본값을 그대로 믿지 말고 평가 손실을 확인해야 한다.
- 학습률과 에폭 수는 한 번에 하나씩 바꿔야 원인을 구분할 수 있다.