구글의 논문 검토 인공지능, 대형 학회에서 약 1만 편 처리
구글은 논문을 미리 검토하는 도구인 Paper Tool을 만들었다. 이 도구는 논문 전체를 읽고, 이론 결과가 맞는지 확인하며, 실험이 타당한지 살피고, 고칠 점과 잠재적 오류를 찾아낸다.
와 ICML이라는 주요 컴퓨터과학 학회에서 제출 전 점검용으로 시험 배포됐고, 약 1만 편의 논문을 다뤘으며 결과를 약 30분 안에 냈다. 수학 오류를 찾는 평가에서는 제로샷 방식보다 오류를 찾아내는 비율이 34% 높았다.
핵심 방식은 한 번의 답변에만 맡기지 않고 을 써서 더 깊은 문제를 찾는 것이다. 최종 판단은 사람 심사자가 맡고, 이 도구는 심사자가 보기 전에 큰 오류를 줄이는 보조 역할을 한다.
핵심 포인트
- 구글의 Paper Tool은 논문 전체를 읽고 오류와 개선점을 찾는 이다.
- 와 ICML에서 제출 전 점검용으로 시험 배포되어 약 1만 편의 논문을 처리했다.
- 결과를 약 30분 안에 냈고, 수학 오류 탐지에서 제로샷 방식보다 34% 더 나은 성과를 냈다.
- 한 번의 답변에 의존하지 않고 을 사용해 더 깊은 문제를 찾는다.
- 사람 심사자를 대체하기보다, 최종 판단 전에 오류를 줄이는 보조 도구에 가깝다.