ScholarLoop, 연구용 AI 에이전트를 비용 통제형 루프로 구성
ScholarLoop는 여러 가 논문 조사, 아이디어 제안, 실험, 결과 반성, 글 작성과 검토를 차례로 수행하는 오픈소스 연구 다. 핵심은 큰 실험을 바로 돌리지 않고, 여러 아이디어를 먼저 싼 방식으로 빠르게 거른 뒤 살아남은 아이디어만 더 비싼 로 올리는 구조다. 예산 한도, 반복 횟수, 성과가 더 이상 좋아지지 않는 상태를 기준으로 스스로 멈출 수 있다.
각 에이전트의 예측과 판단은 실제 측정값과 비교되어 다음 라운드에서 더 믿을 에이전트를 고르는 데 쓰인다. 실험 점수는 고정된 기준으로 재고, 모델이 점수를 속이거나 결과 숫자를 꾸며내지 못하게 코드 차원의 제한을 둔다. 현재 예시는 숫자 분류와 당뇨 회귀 실험을 포함하며, 실제 실행에서 기준 성능을 조금 넘긴 결과와 약 0.45달러, 0.77달러 수준의 실행 비용을 공개했다.
전체 루프는 테스트 108개가 있고, 빠른 데모는 나 GPU 없이 정해진 가짜 LLM으로 실행할 수 있다.
핵심 포인트
- 여러 가 논문 조사, 실험 제안, 실행, 반성, 글 작성을 나눠 맡는다.
- 싼 예비 실험으로 나쁜 아이디어를 먼저 버리고, 통과한 아이디어만 더 큰 실험으로 올린다.
- 예산, 반복 횟수, 성과 정체를 기준으로 루프가 자동으로 멈춘다.
- 각 에이전트의 예측을 실제 결과와 비교해 다음 판단에 반영한다.
- 데모는 나 GPU 없이도 돌릴 수 있고, 실제 실행 비용 예시도 공개되어 있다.