모델 능력 간 의존성을 찾아 훈련 순서를 정하려는 실험
에서 특정 능력만 조금 더 키우는 SFT 실험이 진행됐다. 40개 분야에서 6가지 품질 항목을 평가했더니, 한 항목이 다섯 번의 실험에서 계속 가장 약하게 나왔다.
같은 에서 출발해 그 약한 항목을 깊게 다룬 예시와 일부러 얕게 다룬 예시를 나누어 다시 훈련하는 방식이 사용되고 있다. 두 결과 모델의 차이를 비교해 그 능력과 관련된 회로를 찾고, 특정 를 어블레이션해서 다른 품질 항목이 함께 떨어지는지 보려는 계획이다.
어떤 능력 A의 회로를 지웠을 때 능력 B 점수가 떨어지면, 모델 안에서 B가 A에 의존한다고 볼 수 있다. 이런 식으로 능력 사이의 를 만들면, 앞으로는 먼저 키워야 할 능력부터 훈련하는 순서를 정할 수 있다는 생각이다.
핵심 포인트
- 에서 특정 능력을 겨냥한 SFT 실험이 진행됐다.
- 40개 분야와 6가지 품질 항목 평가에서 한 항목이 반복적으로 가장 약했다.
- 같은 에서 깊은 예시와 얕은 예시를 나눠 훈련해 차이를 비교하려 한다.
- 어블레이션으로 한 능력을 지웠을 때 다른 능력 점수가 떨어지는지 확인하려 한다.
- 목표는 능력 간 를 찾아 더 효율적인 훈련 순서를 정하는 것이다.