AI 에이전트 자기개선 루프를 누구나 쓸 수 있게 오픈소스로 공개
대형 AI 관측 기업들은 에이전트가 과거 을 분석해 오류·비효율을 스스로 찾아 고치는 '자기개선 루프'를 제품으로 출시하고 있다. 그러나 이 도구들은 도입이 복잡하고, 유료 구독 뒤에 잠겨 있으며, 고객이 아니면 데이터를 직접 소유하기 어렵다. 핵심 원리는 LLM이 심판 역할을 맡아 다른 에이전트의 행동을 평가하는 것이다.
개발자는 Claude Code나 다른 에이전트 구독만 있으면 같은 기능을 로컬에서 직접 돌릴 수 있다는 판단 아래 Kyoko라는 도구를 만들어 오픈소스로 공개했다. Kyoko는 네 가지 요소로 구성된다: 기반의 완전 로컬 추적 기록 수집·저장, 로컬 Claude Code 인스턴스를 실행해 기록을 분석하는 분석 호출, 코드와 LLM을 조합해 성능을 지속 측정하는 , 그리고 발견된 문제에 대해 사람이 수정을 승인하는 관찰 대시보드다. 완전히 자체 서버에서 실행되며 사람이 대시보드로 운영하거나 에이전트가 CLI로 자동 운영할 수 있다.
Sierra의 실험에서 같은 모델이 이 수정 과정을 거친 결과 성능이 24%p 향상됐다.
핵심 포인트
- Claude Code 구독 하나로 에이전트 자기개선 루프를 로컬에서 무료로 운영 가능
- 모든 추적 데이터가 로컬에 저장되어 외부 서비스에 데이터를 넘기지 않아도 됨
- LLM이 심판 역할을 맡아 에이전트의 과거 행동 기록을 보고 오류와 비효율을 탐지
- 에서 동일 모델이 24% 성능 향상을 기록
- 사람이 대시보드에서 수정을 승인하는 단계를 통해 자동화와 인간 감독을 병행