LLM 판정을 사람이 확인하기 쉽게 나누는 작은 감사 도구
이 답안을 채점할 때 나온 결정을 더 쉽게 확인하기 위한 작은 도구가 공개됐다. 이 도구는 하나의 판정 과정을 주장, 근거, 최종 판정으로 나눈다.
그런 다음 최종 판정이 제시된 근거로 충분히 뒷받침되지 않는 경우를 표시한다. 표시된 부분은 사람이 직접 확인할 수 있다.
만든 사람은 모델이 답안을 채점한 결과를 검토하다가 이상한 사례를 손으로 찾기 위해 이 방식을 만들었다. 코드 링크는 Hub의 claim---sdk 로 연결된다.
핵심 포인트
- 의 판단 과정을 주장, 근거, 최종 판정으로 나눠 보여준다.
- 근거가 부족해 보이는 최종 판정을 표시해 사람이 확인하게 한다.
- 모델이 답안을 채점한 뒤 이상한 사례를 손으로 찾는 데 쓰려고 만들었다.
- Hub에 claim---sdk라는 이름으로 코드가 연결돼 있다.