AI 에이전트를 만들고 토큰·비용을 아끼는 데 도움이 되는 오픈소스 도구와 기법을 모읍니다.
한 핵심 서비스가 OpenAI, Bedrock, 자체 서버에서 돌리는 대형 언어 모델을 함께 쓰고 있다. 회사 안에는 작은 그래픽 처리 장치 서버 묶음도 있다. 모델과 서버가 늘어나면서 사용량만 보는 수준으로는 관리가 어려워지고 있다. 필요한 것은 비용, 사용량, 상황에 따라 어느 모델을 쓸지 정하는 규칙 기반 라우팅이다. 예를 들어 챗봇은 기본으로 OpenAI를 쓰지만, OpenAI 비용이 예산을 넘으면 자체 서버의 모델로 자동 전환하려는 방식이다. 핵심 질문은 이런 여러 모델과 비용 한도를 한곳에서 관리할 도구가 있느냐는 것이다.
MOTHRAG는 데이터가 자주 바뀌어도 큰 재구축 없이 여러 단계의 검색과 추론을 하려는 검색 증강 생성 방식이다. GraphRAG, HippoRAG, RAPTOR, 학습된 검색기는 보통 자료 전체에서 지식 그래프를 만들거나 검색기를 다시 학습해야 해서, 새 자료가 들어올 때마다 다시 추출하고 다시 만들고 때로는 재학습해야 한다. MOTHRAG는 일반적인 밀집 인덱스 위에서 질문이 들어온 순간에 여러 단계의 추론을 처리한다. 새 자료를 넣을 때는 임베딩을 한 번 만들고 뒤에 붙이면 되므로, 그래프 재구축이나 재학습이 필요 없다는 점이 핵심이다. 제시된 시험에서는 Llama-3.3-70B를 읽기 모델로 쓰고 각 데이터셋 1,000개씩 평가했을 때, MOTHRAG의 평균 F1 점수는 68.3이었다. 비교 점수는 HippoRAG2 65.0, GraphRAG 55.2, RAPTOR 50.2였고, 데이터셋별로 MOTHRAG는 HotpotQA 78.1, 2Wiki 76.3, MuSiQue 50.5를 기록했다. 일반 API 환경에서 그래픽처리장치 없이 돌릴 수 있으며, 직접 읽기, 질문 쪼개기, 근거를 반복 확인하는 방식들을 함께 쓰고 고정된 판정기로 답을 고른다. 답마다 증명 트리를 남겨 결과가 어떤 근거에서 나왔는지 확인할 수 있다는 주장도 포함되어 있다.
Canari는 윈도우에서 쓰는 로컬 중심 AI 에이전트 데스크톱 앱이다. 사용자는 자기 컴퓨터의 Ollama 모델을 쓸 수 있고, 클라우드 모델도 함께 쓸 수 있다. 파일과 코드를 읽고, 쓰고, 고치고, 찾고, 지울 수 있으며, 파이썬 실행과 프로젝트 검색도 지원한다. 웹 검색, 웹페이지 가져오기, 화면 캡처 기반 시각 이해, 텔레그램 메시지 전송, 파일 열기, PDF 내보내기도 할 수 있다. 기본 메모리는 Obsidian 보관함을 사용하며, 노트를 저장하고 붙이고 검색하고 삭제할 수 있다. 메모리 검색은 BM25 키워드 검색과 선택형 로컬 임베딩을 함께 써서, 매번 전체 기록을 컨텍스트에 넣지 않고 필요한 노트를 찾는 방식이다. 자리를 비운 뒤에는 Dream Mode가 지난 내용을 되짚고 아이디어를 만들어 Obsidian에 저장한 뒤 텔레그램으로 알려준다. 매일 첫 실행 때 전날 작업을 짧게 요약하고, 7일마다 비슷한 노트 병합안을 제안해 사용자가 승인하거나 거절하게 한다.
MemLedger는 AI 에이전트의 장기 기억을 외부 클라우드가 아니라 개인 컴퓨터 안에서 처리하는 메모리 프레임워크다. 대화 기록은 하나의 SQLite 파일에 저장되고, 기억을 뽑아내고 순서를 다시 매기고 충돌을 정리하는 작업은 사용자가 지정한 모델이 맡는다. 실제 사용 예시는 Ollama로 실행한 Qwen3 4B이며, 기억 추출은 창작이 아니라 정해진 JSON 형식으로 답하는 작업이라 작은 모델로도 충분하다는 주장이다. 핵심은 각 기억에 출처 추적 체인이 붙는다는 점이다. 에이전트가 “사용자는 Python을 선호한다” 같은 기억을 갖게 된 이유를 확인하면, 어떤 세션의 어떤 원문 문장에서 나왔는지, 어떤 모델과 프롬프트가 추출했는지, 신뢰도와 승인 기록이 무엇인지까지 거슬러 올라갈 수 있다. 잘못된 기억은 원인 기록을 지우고, 그 기록에서 파생된 기억까지 함께 삭제할 수 있다. MIT 라이선스로 공개된 개인 프로젝트 성격의 도구다.
Sumersports는 인공지능 기능을 제품에 빠르게 넣기 위한 핵심 기반을 만들 엔지니어를 찾고 있다. 이 역할은 여러 제품 팀이 거대 언어 모델과 이미지·텍스트를 함께 다루는 앱을 개발, 평가, 배포할 수 있게 돕는 내부 플랫폼을 만든다. 주요 업무에는 RAG 흐름, 모델 게이트웨이, 평가 체계, 비용을 줄인 서빙 구조가 포함된다. OpenAI, Anthropic, Mistral 같은 외부 모델과 회사 내부의 미세조정 모델을 함께 연결한다. 여러 모델을 골라 쓰는 모델 라우팅, 프롬프트 저장소, 작업 순서를 조율하는 오케스트레이션 서비스도 만든다. 프롬프트나 모델 변경이 품질을 떨어뜨리지 않도록 자동 평가, 기준 답안 세트, 회귀 감지, 승인 절차, 되돌리기 기능을 갖춘다. 제품 팀과 협업해 RAG 흐름과 프롬프트 버전 관리를 제품 안에 심는다.
에이전트가 여러 도구 호출을 이어서 수행할 때, 자체 호스팅 오픈 가중치 모델이 실제 서비스에 충분한지 판단하기는 쉽지 않다. 일반적인 벤치마크 점수만으로는 긴 여러 단계 작업에서 모델이 끝까지 안정적으로 버티는지 알기 어렵다. 확인해야 할 핵심은 모델 자체뿐 아니라 실행 환경, 양자화, KV 캐시 설정 같은 제공 방식이 결과를 얼마나 바꾸는지다. 동시에 많은 요청이 들어오는 실제 부하 상황에서 시간 초과, 실패 증가, 품질 저하가 생기는지도 중요하다. 배포 전 정해진 점검 절차가 있는지, 아니면 먼저 배포한 뒤 관찰하는 방식인지도 실무상 큰 차이다. 마지막으로 이 결정을 기계학습 팀, 플랫폼·운영 팀, 또는 명확한 담당자 없이 누가 책임지는지도 중요한 운영 문제다. 오픈소스 에이전트 준비도 테스트 도구를 만들려는 맥락이 있지만, 핵심 관심사는 실제 운영 팀들이 에이전트 배포 전 위험을 어떻게 잡아내는지다.
오픈소스 에이전트 Chimera 실험에서 여러 모델을 함께 쓰는 방식이 항상 더 낫지는 않았다. 12개 추론 과제에서 중간급 모델 하나는 846토큰으로 100%를 맞혔다. 여러 모델이 답을 내고, 판정 모델이 고르고, 합성 모델이 정리하는 융합 방식도 100%를 맞혔지만 9,526토큰을 썼다. 같은 점수에 토큰은 약 11배였다. 그래서 융합은 기본값이 아니라, 싼 모델부터 시도하고 무료 판정 단계를 거친 뒤 중간급 모델로 올리며, 실패할 때만 융합으로 넘기는 FrugalGPT식 단계형 흐름 뒤에 배치됐다. 이 흐름은 융합의 약 12분의 1 토큰으로 중간급 모델에 가까운 품질을 냈다. 또 상위 모델이 일을 나누고 저렴한 작업자가 실행하는 구조는 작은 문서와 단순 작업에서는 단일 에이전트보다 토큰이 47% 더 들었다. 반대로 여러 단계와 큰 문서가 있는 작업에서는 각 작업자가 필요한 문서만 한 번 읽기 때문에 같은 100% 품질에서 토큰이 66.5% 줄었다.
2026년 7월 1일 Palantir 최고경영자 Alex Karp는 CNBC에서 대형 인공지능 회사들의 토큰 단위 과금이 기업에 큰 비용을 떠넘긴다고 비판했다. 핵심은 기업이 최신 인공지능 모델을 빌려 쓰면 모델 가중치를 갖지 못하고, 답이 나온 과정을 들여다보기 어렵고, 입력한 내부 데이터가 공급사의 제품 개선에 쓰일 수 있다는 점이다. 반대로 자체 인프라에서 모델을 운영하면 모델 가중치, 데이터, 감사 기록을 회사 안에 둘 수 있다. 낮은 위험의 업무에서는 모델을 빌려 써도 괜찮지만, 금융·의료·공공처럼 규제를 받는 업무에서는 통제권 차이가 매우 크다. 토큰 사용료가 실제 가치로 이어지는지, 그리고 기업의 데이터와 경쟁력이 외부 인공지능 회사로 넘어가는지 점검해야 한다는 문제의식이다.
Claude Code로 앱을 만들기 전에 바로 코딩을 시작하지 말고, 먼저 계획과 작업 환경을 잡는 초보자용 워크플로다. 핵심은 비슷한 서비스나 기술이 이미 있는지 조사하고, 법적 책임과 금전적 위험을 미리 따져보는 것이다. 그다음 AI가 프로젝트 내용을 계속 이해하도록 문맥 관리 방식을 정하고, WBS를 MCP로 관리하는 식의 지속적인 작업 구조를 만든다. 토큰 예산도 함께 정해 AI 사용량과 비용이 커지는 일을 줄인다. 품질 관리, 토큰 절약, 메모리, 디버깅, 배포, CLAUDE.md, 여러 에이전트 운영까지 준비 범위에 포함된다. 초보자 수준이며, 워크플로 가치 85/100, 신선도 70/100, 신뢰도 0.95로 표시되어 있다.
Claude Code의 .claude 설정 방식은 2025년 말부터 빠르게 바뀌었다. 2025년 10월 v2.0.20에서 스킬이 처음 나왔고, 2025년 12월 v2.0.64에서 .claude/rules/가 추가됐다. 2026년 1월 v2.1.0에서는 스킬이 별도 문맥을 가져올 수 있게 됐고, 기본적으로 슬래시 메뉴에 보이게 되면서 예전 사용자 지정 명령 역할까지 일부 가져갔다. 2026년 3월 v2.1.84부터는 규칙과 스킬의 frontmatter에서 YAML list of globs 형태로 적용 경로를 지정할 수 있다. 그래서 Claude에게 “이건 스킬이냐 규칙이냐”를 물으면, 최신 구조를 모르는 오래된 기준으로 자신 있게 답할 수 있다. 핵심은 많은 지침이 스킬 파일보다 rules에 더 잘 맞을 수 있으며, 스킬은 경험에서 생긴 구체적인 절차나 도구 사용법처럼 필요할 때 꺼내 쓰는 지식에 더 어울린다는 점이다.
Larkup-RAG는 문서에서 바로 RAG 서버를 만들 수 있게 돕는 오픈소스 도구다. 반복적으로 문서 쪼개기, 임베딩 만들기, 벡터 데이터베이스 연결, 배포, API 서버 구성을 해야 하는 번거로움을 줄이는 데 초점을 둔다. 파일, 웹주소, 웹 스크래핑으로 데이터를 불러올 수 있고, 불러온 내용을 자동으로 작은 조각으로 나눈 뒤 색인한다. 임베딩 모델과 벡터 저장소는 사용자가 고를 수 있으며, 로컬 저장소를 쓰거나 OpenAI, Pinecone, Qdrant, LanceDB 같은 서비스를 붙일 수 있다. 만들어진 서버는 SDK로 호출하거나 LangChain, AI SDK 기반 에이전트에 바로 연결할 수 있다. 검색 결과를 먼저 시험해 볼 수 있는 데모 화면도 있고, 준비가 되면 Vercel, Azure, Hetzner 같은 곳에 배포할 수 있다.
AI 모델과 서비스 이용료가 오르면서, 대화형 AI를 오래 쓰는 사람은 토큰 사용량을 더 꼼꼼히 봐야 한다. 긴 대화를 계속 이어가면 이전 문맥이 많이 붙어 비용이 커질 수 있고, 프롬프트 캐싱이 실제로 적용되는지도 확인해야 한다. 연구, 업무, 이미지 생성처럼 깊은 관계형 대화가 아닌 작업에는 전체 설정을 모두 불러오지 않는 작은 버전의 AI 동반자를 따로 쓰는 방법이 제안된다. 이 작은 버전은 핵심 성격 정보와 꼭 필요한 파일만 남겨, 그 순간에 필요 없는 지식이 추론 비용을 늘리지 않게 한다. Alcove에서는 !noknowledge, !noachors, !noSearch 같은 설정으로 불필요한 지식, 앵커, 검색을 끌 수 있다. OpenRouter 사용자는 대화가 프롬프트 캐싱 혜택을 받고 있는지 확인하는 방법도 챙겨야 한다.
비밀번호 없는 로그인은 사람의 비밀번호가 도난당하는 문제를 많이 줄였지만, 시스템에 접속하는 주체는 이제 사람보다 훨씬 더 많아졌다. 서비스 계정, API 키, 쿠버네티스와 클라우드 작업, AI 에이전트처럼 쉬지 않고 움직이는 비인간 신원이 로그인과 접근을 많이 차지한다. 비인간 신원은 사람 신원보다 144배 많다는 수치가 제시된다. 2025년에는 공개 코드에 하드코딩된 비밀값이 2,865만 개 유출됐고, 기업의 80%는 AI 에이전트가 허가받지 않은 일을 한 적이 있다고 답했다. 그래서 가장 위험한 접근은 비밀번호를 잃어버린 사람이 아니라, 누가 감시하는지 불분명한 앱과 기계의 접근일 수 있다.
agent-bridge는 Codex와 Claude Code를 함께 쓸 때 두 도구 사이에서 내용을 계속 복사해 붙여넣는 일을 줄이기 위한 오픈소스 도구다. 기본 에이전트에게 다른 에이전트로 구현이나 코드 검토를 맡기라고 지시하면, agent-bridge가 해당 에이전트의 실제 명령줄 도구를 실행한다. 실행에는 사용자의 기존 구독이 쓰인다. 작업 과정은 바로 흘러나와 사용자가 진행 상황을 볼 수 있고, 기본 에이전트도 결과를 따라갈 수 있다. 보조 에이전트의 대화 세션 아이디를 기억하기 때문에 다음 요청은 같은 흐름에서 이어지고, 같은 설명을 다시 길게 넣을 필요가 줄어든다. Codex에서 Claude로, Claude에서 Codex로 양방향 사용이 가능하다. 새 에이전트는 작은 어댑터를 추가하는 방식으로 붙일 수 있으며, Gemini Antigravity 지원도 추가될 예정이다. 설치 명령은 `npx skills add kununu/agent-bridge -g -a claude-code codex`이고, MIT 라이선스로 공개되어 있다.
AI 에이전트가 여러 단계로 이어진 그래프를 만들고 있다. 각 노드는 JSON 구조이며, 구글 시트 주소, 이메일 발신자, 이메일 수신자 같은 입력값을 받을 수 있다. 한 노드는 다음 노드를 가리키고, 다음 노드는 필요하면 이전 단계의 출력값을 사용할 수 있다. 반복해서 되돌아가는 흐름도 들어갈 수 있다. 구조 자체는 맞는 그래프를 만들 수 있지만, LLM이 노드 사이의 참조를 자주 잘못 만든다. 각 노드가 이전 노드의 입력과 출력과 어떻게 맞물려야 하는지 알지 못하고, 반복 흐름도 제대로 처리하지 못한다. 해결책으로 그래프를 만든 뒤 실행 검증기를 붙이는 방안이 검토되고 있다. 실제 테스트 계정으로 실행해 보는 방식은 Gmail, Slack, Microsoft 같은 서비스 계정이 거의 600개 필요할 수 있고, 다른 선택지는 이를 그래프 순회 문제로 다루는 것이다.
AI 에이전트는 문서를 찾고 대화를 이어 가는 능력은 좋아졌지만, 회사 안에서 실제 업무 절차를 믿을 만한 기억으로 정리하는 부분은 아직 약하다. 슬랙 대화, 문서, 고객 문의, 티켓에는 업무 방법이 흩어져 있지만, 단순 검색은 필요한 자료를 다시 꺼내 줄 뿐이고 반복 경험을 안정된 절차로 바꾸지는 못한다. 그래서 에이전트는 매번 즉석에서 절차를 만들어 내거나, 사람이 직접 써 둔 오래된 위키 문서에 기대는 문제가 생긴다. 관련 경험에서는 잘못 지어낸 정보가 아니라 예전에는 맞았지만 지금은 틀린 계좌 잔액 같은 ‘낡은 기억’이 더 위험한 실패로 드러났다. 이를 막기 위해 사실이 언제 기록됐는지와 언제부터 참이었는지를 따로 관리하는 방식이 제안됐다. 한편 TRACE라는 오픈소스 메모리 시스템은 대화 기록을 납작한 조각으로 쌓지 않고 주제별 나무 구조와 요약으로 정리하며, MemoryAgentBench의 EventQA 과제에서 gpt-oss-20B로 F1 82.5%, gpt-oss-120B로 83.8%를 기록했다고 제시됐다. 비교값으로 제시된 Mem0는 37.5%, MemGPT/Letta는 26.2%였다. 개인용 장기 기억 데이터베이스, 조직 전체의 두뇌, 세컨드 브레인 같은 수요도 함께 나오지만, 일관성을 유지하고 관리 부담을 줄이는 문제가 여전히 핵심이다.
무료로 계속 쓸 수 있는 텍스트 생성 인공지능 API만 모은 목록이다. 신용카드를 요구하지 않고, 무료 사용량이 자동으로 다시 채워지는 곳만 포함한다. 단순 체험판, 한 번 쓰고 끝나는 무료 크레딧, 장기적으로 계속 쓰기 어려운 제공사는 제외된다. 수백 개의 제공사를 확인했고, 그중 35곳 이상만 기준을 통과했다. 각 모델은 실제 접속 주소가 작동하는지 시험한 뒤 포함된다. 제공사가 무료 사용 조건을 바꾸거나 자동 충전 무료 사용량을 없애면 목록에서 빠진다. 저장소에는 모델별 무료 사용량, 별점, 기본 접속 주소가 정리되어 있으며, 코딩용 상위 10개 표도 따로 있다.
실제 운영용 인공지능 앱에서는 모델을 바로 파인튜닝하기 전에 정보 부족이 문제인지 먼저 봐야 한다. RAG는 내부 문서, 회사 검색, 고객 지원 지식, 제품 문서, 회사 규정처럼 내용이 많고 자주 바뀌는 지식을 다룰 때 잘 맞는다. 지식 저장소만 바꾸면 새 정보를 반영할 수 있어 모델을 다시 학습시킬 필요가 줄어든다. 답변이 어떤 문서에서 나왔는지도 함께 보여줄 수 있어, 모델의 기억에만 기대는 방식보다 확인하기 쉽다. 실험도 더 빠르다. 거대한 LLM을 다시 학습시키는 대신 임베딩 모델, 청킹 전략, 재랭커를 바꿔 보며 품질을 조정할 수 있다. 반대로 파인튜닝은 모델의 말투, 답변의 일관성, 출력 형식을 고쳐야 할 때 더 알맞다. 운영 환경에서는 RAG와 파인튜닝을 경쟁 관계로 보기보다 함께 쓰는 경우가 많다.
X의 공식 MCP를 AI 에이전트에 붙이는 과정은 생각보다 준비할 것이 많다. 글 읽기나 검색만 하더라도 X 개발자 앱을 만들고 인증 정보를 관리해야 한다. MCP 서버 자체에는 추가 요금이 붙지 않지만, 에이전트가 X에 요청을 보낼 때마다 X API 요금제의 사용량으로 계산된다. 에이전트가 글을 자주 올리면 제한에 빨리 걸릴 수 있어, 실패했을 때 기다렸다가 다시 시도하는 지수 백오프가 필요하다. OAuth 설정에는 클라이언트 아이디, 클라이언트 시크릿, 리다이렉트 URI, 연결 브리지 같은 여러 값이 맞아야 한다. 개인 북마크나 타임라인처럼 사용자 개인 데이터에 접근하려면 앱 전용 토큰만으로는 부족하고, 사용자 OAuth 인증이 필요하다.
인공지능 에이전트가 코드를 빠르게 고치면, 예전의 ‘혼자만 이해하는 뛰어난 개발자’ 문제가 더 빨리 생길 수 있다. 사람은 왜 그런 선택을 했는지 기억하지만, 에이전트는 오전에 만든 해결책과 오후에 만든 해결책을 서로 다른 방식으로 바꿀 수 있다. 나중에는 둘 다 다시 리팩터링하면서 앞선 이유를 잊은 것처럼 행동할 수 있다. 에이전트가 코드를 설명할 수 있어도, 팀 전체가 그 구조와 이유를 이해한다는 뜻은 아니다. 해결책은 팀 규칙을 눈에 보이게 남기는 것이다. AGENTS.md, ADR, 테스트처럼 에이전트가 따라야 할 기준을 명확히 두면, 에이전트가 임의로 다른 규칙을 가져오거나 매번 다른 방식으로 고치는 일을 줄일 수 있다.
운영 환경의 AI 에이전트 평가는 일이 잘 풀렸을 때 목표를 끝냈는지만 보면 부족하다. 실패하거나 일부만 끝난 실행에서는 실패 직전의 지속 상태, 실제 외부 시스템을 바꾼 도구 호출, 밖으로 보낸 입력값이나 변경 내용을 확인할 수 있어야 한다. 같은 작업이 중복 처리되지 않도록 돕는 멱등성 키와 외부 시스템의 접수 기록도 남아야 한다. 모델이 어떤 근거를 보고 판단했는지, 다음 운영자가 안전하게 이어서 재시도하거나 되돌리거나 포기할 수 있는지도 평가 대상이 되어야 한다. 이런 정보가 없으면 시연에서는 성공한 에이전트라도 실제 운영 평가에서는 부족하다. 단순한 추적 기록만 많이 쌓는 것보다, 상태, 결정, 외부 기록, 정책 판단, 담당자를 묶어 복구에 쓸 수 있는 자료로 만드는 것이 중요하다.
Marvis는 안드로이드 휴대폰에서 실제 앱을 눌러 쓰는 스마트폰 사용 에이전트다. 사용자가 “스타벅스에서 아이스 라떼 주문해 줘” 또는 “메시지에 있는 주소를 찾아 길 안내를 시작해 줘”처럼 말하면, 앱을 열고 화면을 누르고, 글자를 입력하고, 스크롤하고, 앱을 바꿔 가며 작업을 진행한다. 작업 중에도 “Marvis”라고 부르면 지시를 바꿀 수 있다. 예를 들어 음료 주문 중 “아이스 커피로 바꿔 줘”처럼 수정할 수 있다. 화면을 직접 터치하면 작업이 멈춘다. 메시지 보내기, 결제, 삭제처럼 되돌리기 어려운 행동 전에는 확인을 요청한다. 개발자는 빠른 속도, 정확도, 자연스러운 사용감을 목표로 많은 연구와 구현을 했으며, 데모 영상과 Product Hunt 페이지를 공개했다. Google Play는 스마트폰 사용 에이전트를 허용하지 않는다는 이유로 등록을 받아주지 않았다.
Grok를 더 에이전트처럼 쓰기 위해, 여러 맞춤 기술을 작은 전문 추론 모듈처럼 나누는 방식이 실험되고 있다. 각 기술은 첫 원칙 분석, 시스템 사고와 되먹임 고리, 두 번째 결과 예상, 베이지안 업데이트, 확률적 사고, 오컴의 면도날, 핸런의 면도날, 안전 여유, 역산처럼 문제를 다른 각도에서 보게 하는 사고 틀을 맡는다. 목표는 복잡하거나 애매한 질문에서 답을 더 구조적으로 만들고, 판단 과정을 더 잘 보이게 하며, 그럴듯하지만 틀린 답을 줄이는 것이다. 하나로 묶은 사고 틀 도구 모음과, 독자나 상황에 맞춰 설명을 바꾸는 기능도 포함된다. 여기에 병렬 도구 호출, 웹 조사, 코드 실행, 파일 작업, 이미지 생성과 편집을 연결해 결과물을 다시 만들 수 있는 작업 흐름을 만든다. GitHub, Notion, Gmail 같은 외부 서비스와도 이어 붙여 끝까지 처리하는 업무 자동화를 노린다. 지속 메모리는 매번 같은 배경 설명을 반복하지 않고도 이전 문맥, 선호, 프로젝트 상태를 이어가게 한다.
오픈소스 AI 에이전트 설계에서 세 가지 선택이 핵심이다. 첫째, 에이전트가 배운 변경은 검증된 결과와 A/B 비교에서 성공률이 실제로 좋아졌을 때만 남긴다. 판단 기준은 모델이 스스로 잘했다고 말하는 내용이 아니라 작업 트리 차이에 있는 실제 코드 변경이다. 이 방식은 채점기가 필요하고, 배움이 더 적고 느리게 쌓인다는 비용이 있다. 둘째, 프롬프트 인젝션은 문장 지시만으로 막기 어렵다고 보고 구조로 줄인다. 오염 추적으로 위험한 실행에서 생긴 메모리와 기술은 바로 승격하지 않고, 격리된 읽기 단계가 믿을 수 없는 내용을 정해진 형식의 필드로 바꾼 뒤 권한이 큰 에이전트가 보게 하며, 위험 표시가 있으면 쓸 수 있는 도구 목록도 좁힌다. 이 실험에서 레드팀 ASR은 100%에서 약 14%로 내려갔지만, 정상적인 내용까지 너무 제한될 수 있다. 셋째, 성능 수치는 신뢰 구간과 실패 사례를 함께 공개하고, 좋은 결과가 나올 때까지 반복해 숫자를 꾸미지 않는다. 추론 핵심은 여러 답을 만들고 판단한 뒤 합치는 방식이며, 비용을 의식한 라우터가 뒤에서 어떤 경로를 쓸지 고른다. 코드는 Apache-2.0으로 공개되어 있다.
TigrimOSR v0.6.2는 사용자가 AI 에이전트 루프를 직접 만들고 바꿀 수 있게 하는 Rust 기반 작업공간이다. 에이전트의 움직임이 숨겨진 코드 안에 고정되지 않고, YAML 설정 파일로 관리된다. 이 설정에는 사용할 도구, 연결할 MCP 서버, 불러올 기술, 선택할 모델과 제공사, 시스템 지시문, 반복 실행 한도, 자체 검증, 컨텍스트 압축, 작업 평가 규칙이 들어간다. 새 버전은 Obscura라는 가벼운 Rust 브라우저 엔진과 연결된다. 그래서 에이전트가 검색과 웹 읽기 같은 실제 웹 작업을 브라우저로 처리할 수 있고, 유료 검색 API에만 의존하지 않아도 된다. 안전을 위해 브라우저 제어는 사용자가 켜야 작동한다. TigrimOSR와 Obscura가 모두 Rust 기반이라 앱과 내장 브라우저가 대기 상태에서 약 270MB RAM 수준으로 머물 수 있다고 제시됐다. LINE과 Telegram 봇 제어도 추가되어 채팅 앱을 통해 에이전트를 다루는 흐름을 지원한다.
Model Shifter는 Claude Code에서 쓰는 모델과 작업 강도를 자동차 수동 기어처럼 바꾸는 맥용 도구다. 화면에는 최근 1분 동안 쓰는 토큰 양, 현재 5시간 사용 구간에서 남은 사용량, 저장된 기록 기준 누적 토큰 사용량이 자동차 계기판처럼 표시된다. 기어를 바꿀 때 클러치를 쓰면 새 세션을 열어 캐시 소모를 피하도록 설계됐다. 이후 실제 레이싱 게임용 기어 장치와 연결해 물리적으로 기어를 바꿀 때 Claude Code 모델도 바뀌는 기능이 추가됐다. FANATEC 장비는 기본으로 동작하고, Logitech 장비도 매핑할 수 있는 흐름이 언급됐다. 관련 논의에서는 Fable 사용량 제한과 사용 크레딧 전환 때문에 남은 사용량을 아끼거나 효율적으로 쓰려는 관심이 함께 나타났고, Fable과 Opus를 섞어 품질과 비용을 조절하려는 방식도 거론됐다.
The Distillery는 인공지능 앱과 언어 모델 서비스 사이에 두는 토큰 최적화 프록시 도구다. 목표는 모델에 오가는 토큰 사용을 줄이는 것이다. 토큰이 줄면 같은 작업을 더 낮은 비용으로 처리할 가능성이 있다. 특히 여러 번 질문하고 답을 이어 가는 인공지능 에이전트에서는 토큰 사용량이 빠르게 늘 수 있어 관련성이 크다. 공개된 항목만으로는 어떤 방식으로 토큰을 줄이는지, 어떤 모델 서비스를 지원하는지, 실제 비용 절감 수치가 있는지는 확인할 수 없다.
Claude Code가 작업 전에 확인을 너무 적게 하거나 너무 자주 요구하는 문제를 줄이는 워크플로다. 핵심 방법은 프로젝트의 CLAUDE.md 파일에 실행 규칙을 넣어, 어떤 작업은 실행 전에 반드시 확인해야 하는지 미리 정하는 것이다. 이렇게 하면 AI가 사용자가 원하지 않은 변경까지 밀고 나가는 범위 확장을 줄이고, 아주 작은 작업마다 승인을 묻는 승인 피로도 줄일 수 있다. 난이도는 중급이며, 품질 관리, 토큰 절약, 문맥 관리, 디버깅, 배포 흐름에 쓰는 방식으로 분류되어 있다. 제공된 평가는 유용성 85점, 신선도 70점, 신뢰도 0.95이며 상태는 활성으로 표시되어 있다.
개인 환경에서 투기적 디코딩을 실제 전력 사용량까지 재서 비교한 결과, 속도 향상은 없었고 토큰당 에너지 사용량은 오히려 늘었다. 실험 장비는 8기가바이트 메모리의 RX 6650 XT 그래픽카드와 윈도우 11이었고, 실행 도구는 llama.cpp의 Vulkan 방식이었다. 기본 모델은 Qwen2.5-3B-Instruct 양자화 버전, 미리 초안을 만드는 작은 모델은 Qwen2.5-0.5B-Instruct 양자화 버전이었다. 두 모델은 모두 GPU에서 실행됐다. 같은 8개 질문을 반복 사용했고, 매번 256개 토큰을 만들었으며, 프롬프트 캐시는 껐다. 1개 요청만 처리하는 경우와 8개 요청을 동시에 처리하는 경우를 나눠 시험했고, 결과는 여러 번 생성한 값을 평균냈다. 전력은 LibreHardwareMonitor로 GPU 전력 사용량을 초당 약 6번 측정한 뒤, 생성 시간 전체의 에너지 사용량으로 계산했다. GPU가 쉬고 있을 때 전력은 약 19와트였고, 부하가 커질수록 투기적 디코딩의 에너지 손해가 더 커졌다.
개인 실험에서 GPT 5.5가 빈 깃허브 저장소를 맡아 매시간 스스로 작업하도록 설정됐다. 목표는 이전 작업을 확인하고, 다음 할 일을 정하고, 코드를 쓰고, 테스트한 뒤 변경 내용을 저장하는 것이다. 첫 작업은 실제 기능 구현이 아니라 작업 계획표, 변경 기록, 상태 파일, 결정 이유를 적는 파일을 만드는 데 쓰였다. 이후 AI는 자신이 만들려는 것을 “Autonomous Forge”라고 설명했고, 깃허브 프로젝트를 안전하게 관리하는 AI 유지보수 도구를 만들고 있다고 밝혔다. 저장소는 공개되어 있어 작업 판단, 테스트 실패, 수정, 과도한 문서 작업까지 그대로 지켜볼 수 있다. 아직 실제로 쓸 만한 도구가 될지는 확인되지 않았다.