TorchJD, 여러 목표를 함께 학습하는 파이토치 도구
TorchJD는 에서 모델을 학습할 때 여러 손실을 함께 다루는 도구다. 여러 작업, , 보조 손실, 정규화 항목처럼 목표가 여러 개일 때 쓸 수 있다. 보통은 여러 손실을 평균이나 학습 가능한 가중치로 하나로 합친 뒤 으로 학습한다.
다른 방법은 각 손실마다 따로 기울기를 계산하고, 각 손실이 줄어드는 방향으로 학습 업데이트를 만드는 것이다. 이 방식은 목표들이 서로 충돌할 때 더 나을 수 있지만, 보통 메모리를 더 많이 쓴다. TorchJD는 두 계열의 주요 방법들을 한 안에 모아, 코드 몇 줄만 바꿔 여러 학습 방식을 시험할 수 있게 한다.
최근에는 생태계에 받아들여졌다.
핵심 포인트
- TorchJD는 에서 여러 손실을 함께 다루는 학습 도구다.
- 여러 손실을 하나로 합치는 방식과, 손실별 기울기를 따로 계산하는 방식을 모두 지원한다.
- 목표들이 서로 충돌할 때 손실별 기울기 방식이 도움이 될 수 있다.
- 손실별 기울기 방식은 보통 메모리를 더 많이 쓴다.
- 여러 학습 방법을 코드 몇 줄 변경으로 비교할 수 있게 하는 것이 핵심이다.