hermes-agent로 만든 연구 에이전트의 실전 점검법
는 위에서 돌아가며 스스로 연구 과정을 반복하는 시스템이다. 초기 제작은 약 한 달 동안 소비자용 개인용 컴퓨터 한 대에서 이루어졌고, 이후 계속 실행되고 있다. 이 시스템은 스스로 연구 질문을 만들고, 여러 작업자 프로그램에 일을 나누고, 실험을 실행하며, 그 실험을 만든 코드와 결과 주장을 함께 남긴다.
지금까지 약 13만 3천 건의 실험과 7만 7천 건의 주장이 쌓였다. 중요한 특징은 결론을 믿기 전에 일부 계산 자원을 들여 그 결론이 틀릴 수 있는지 찾는 것이다. 이를 위해 , 다른 분야에서의 반례 찾기, 기존 문헌과 비교한 새로움 검사, 독립성 검사, 검사를 사용한다.
약 500개의 자체 점검에서 새 분야로 옮겨도 맞을 주장을 고르는 성적은 58%였고, 이는 우연보다 조금 나은 수준이라서 를 낮췄다. 한 감사에서는 발견 목록의 약 98%가 실세계 데이터로 검증되지 않았고, 작업자들이 직접 만든 시뮬레이션 안에서만 확인됐다는 문제가 드러났다.
핵심 포인트
- 위에 스스로 연구 질문을 만들고 실험하는 가 구축됐다.
- 약 13만 3천 건의 실험과 7만 7천 건의 주장을 코드와 함께 추적했다.
- 결론을 반박하려는 과 검사를 별도로 수행했다.
- 약 500개 자체 점검에서 전이 성적은 58%에 그쳐 를 낮췄다.
- 발견 목록의 약 98%가 실세계 데이터가 아니라 자체 시뮬레이션으로만 확인됐다.