강화학습 중 보상 해킹을 빨리 찾는 디버깅 도구
rewspy는 학습 중 보상 점수가 오를 때 실제 성능이 좋아지는지, 아니면 의 빈틈을 이용하는지 확인하는 작은 도구다. 기존 를 감싸서 쓰며, 학습이 진행되는 동안 의 초기 신호를 계속 살핀다. 확인 항목에는 최근 보상 통계, 보상 변동 폭이 갑자기 줄어드는 현상, 보상 구성 요소가 한쪽으로 치우치는 현상, 답변 길이가 달라지는 흐름, 보상 증가 기울기 변화, 그룹 붕괴 등이 포함된다.
만든 사람은 학습을 실험하다가 보상 점수 상승만으로는 정책이 정말 개선되는지 판단하기 어렵다는 문제를 겪었다. 아직 첫 주요 프로젝트에 가까운 초기 이며, 기술 조언을 받고 있다.
핵심 포인트
- rewspy는 기존 를 감싸서 학습 중 이상 신호를 감시한다.
- 목표는 보상 점수 상승이 실제 개선인지 인지 더 빨리 구분하는 것이다.
- 최근 보상 통계, 보상 변동 폭 축소, 답변 길이 변화, 보상 기울기 변화 등을 본다.
- 학습에서 정책 개선 여부를 판단하기 어려웠던 경험에서 출발했다.
- 초기 라서 실제 사용 전 검증과 조정이 필요하다.