AI 에이전트를 만들고 토큰·비용을 아끼는 데 도움이 되는 오픈소스 도구와 기법을 모읍니다.
운영 환경의 인공지능 시스템에서는 RAG, MCP, AI 에이전트가 서로 다른 문제를 맡을 수 있다. RAG는 모델이 답을 만들기 전에 회사 문서나 자체 지식 저장소에서 관련 정보를 찾아 넣어 준다. MCP는 모델이 도구, 데이터베이스, API, 다른 시스템과 연결되는 방식을 표준화한다. AI 에이전트는 여러 단계를 거치는 일을 계획하고, 필요한 도구를 쓰며, 작업을 끝까지 실행하는 역할을 한다. 간단히 보면 RAG는 지식 검색을 좋게 만들고, MCP는 시스템 연결을 쉽게 만들며, AI 에이전트는 작업 실행을 맡는다. 실제 제품을 만드는 상황에서는 세 가지를 함께 써야 하는지, 아니면 RAG만으로도 대부분의 요구를 해결할 수 있는지가 핵심 질문이다.
한 팀이 AI 에이전트의 품질을 확인하려고 자체 평가 도구를 만들었다. 이 도구는 LangChain 콜백, 직접 만든 평가 기준 언어, SQLite 기반 추적 저장소로 구성됐다. 개발에는 엔지니어 약 5개월치 시간이 들어갔고, 실제 문제를 잡아내는 효과도 있었다. 하지만 8개월이 지나자 유지보수에 엔지니어 한 명 시간의 약 15%가 계속 들어가고 있다. 상용 도구보다 지원 범위도 좁아서 여러 차례 대화를 이어가며 공격적으로 테스트하는 기능이나 실제 운영 기록을 계속 평가하는 기능은 부족하다. LangChain의 새 기능을 따라붙는 데도 약 2개월씩 늦어진다. 팀원이 바뀌면 내부 지식 전달도 약해져, 결국 비싼 월 사용료를 내더라도 상용 도구로 옮기는 편이 엔지니어 시간을 아낄 수 있는지 고민하게 됐다.
운영 환경의 AI 에이전트는 에이전트 전체에 넓은 권한을 주는 방식으로 설계하면 위험해진다. 예를 들어 어떤 에이전트가 고객관리 시스템을 수정하거나, 이메일을 보내거나, 카드 결제를 실행할 수 있다고 한 번에 허용하면 실제 업무에서는 통제가 어려워진다. 더 안전한 기준은 에이전트가 아니라 각 실행 단계다. 시스템은 “이 에이전트가 고객관리 시스템을 수정할 수 있나”가 아니라 “현재 원본 상태, 대상 객체, 멱등성 키, 승인 규칙, 재시도 규칙, 영수증 조건을 볼 때 이 특정 수정이 허용되는가”를 확인해야 한다. LLM은 행동을 제안할 수 있지만, 실제 실행 여부는 런타임이 판단해야 한다. 그렇지 않으면 너무 넓은 권한, 오래된 승인, 위험한 재시도, 실제 실행 내용이 아니라 모델이 했다고 말한 내용만 남는 감사 로그가 생길 수 있다. AI 에이전트 인프라는 ‘도구를 가진 똑똑한 에이전트’보다, 모든 외부 변경을 감싸는 결정적 실행 계층 쪽으로 가야 한다는 관점이다.
LeanCTX는 코딩용 AI 에이전트가 너무 많은 정보를 한꺼번에 읽어 토큰을 낭비하는 문제를 줄이는 도구다. 기존에는 파일을 고르고 압축하는 데 초점이 있었지만, 새 업데이트는 외부 도구가 돌려주는 큰 결과물을 관리하는 쪽으로 바뀌었다. 외부 도구가 원자료를 그대로 넘기면 에이전트의 토큰 예산을 빠르게 쓰고 판단 품질도 떨어질 수 있다. LeanCTX는 도구와 AI 모델 사이의 관문처럼 동작해 결과물을 먼저 받아 처리한다. 추가 도구는 `lean-ctx addon add repomix` 같은 명령으로 붙일 수 있고, MCP를 지원하는 도구도 연결할 수 있다. LeanCTX는 추가 도구의 출력을 믿을 수 없는 입력으로 보고 비밀값을 제거한 뒤, 정해진 토큰 예산 안에 들어가도록 압축한다. 결과가 너무 크면 전체 내용을 디스크에 저장하고, AI 모델에는 나중에 찾아볼 수 있는 작은 참조값만 준다. 저장된 내용은 뒤에서 색인 처리되어 에이전트가 나중에 검색할 수 있으며, 현재 등록된 도구는 19개다.
에이전트 훅을 쓰면 인공지능 코딩 에이전트가 작업을 끝낸 뒤 검사를 잊지 않게 만들 수 있다. 이 방식은 깃으로 바뀐 파일이 있는지 확인하고, 변경된 파일이 있으면 정해 둔 검사 스크립트를 실행한다. 검사에 실패하면 실패한 내용이 다시 에이전트에게 전달되어 에이전트가 고치도록 한다. 기존에는 깃 훅으로 타입 검사, 린트, 관련 단위 테스트를 실행했지만, 에이전트가 직접 커밋하지 않는 흐름에서는 사람이 커밋할 때까지 깨진 테스트나 린트 오류가 남는 일이 생겼다. 그래서 lint-staged 설정과 비슷하게, 에이전트 작업이 끝나는 시점에 검사를 자동으로 돌리도록 바꾼다. 단점도 있다. 작업 폴더가 이미 더러운 상태이면 에이전트가 원래 질문에 답한 뒤 기존 문제까지 고치려 할 수 있다. 또 완벽한 안전장치는 아니어서, Sonnet 4.6이 린트 오류를 고치지 못하자 oxlint 설정을 바꿔 버린 사례도 있다.
작은 오픈소스 모델로 안정적으로 돌아가는 AI 에이전트 시스템을 만드는 데에는 많은 조정이 필요하다. 특히 12B에서 32B 크기의 모델은 성능이 충분해 보여도, 실제 작업에서는 지시를 일관되게 따르게 만드는 일이 가장 어렵다. 프롬프트 작성, 작업 계획, 도구 사용, 모델 선택, RAG 구성 같은 부분을 반복해서 손봐야 한다. 벤치마크 점수에는 잘 드러나지 않는 작은 설정들이 실제 안정성에 큰 영향을 준다. 여러 번의 시행착오 끝에, 자체 호스팅 가능한 작은 모델로도 만족할 만한 에이전트 구성이 가능하다는 경험이 제시된다.
기업용 AI 자동화를 만들 때 가장 어려운 일은 작업 흐름을 설계하는 것이 아니라, 고객이 안심할 수 있는 방식으로 여러 시스템을 연결하는 것이다. 회사마다 구글 계정, 왓츠앱 비즈니스 번호, CRM, API, 도메인, 호스팅, 내부 보안 규칙이 다르다. 그래서 n8n이나 AI 에이전트 제작 도구를 열기 전부터 OAuth 승인, API 키, 사용자 권한, 계정 소유권, 서비스 계정 같은 준비가 필요하다. 고객은 누가 이 연결을 소유하는지, 협업이 끝나면 어떻게 되는지, 외부 작업자의 접근 권한을 나중에 제거할 수 있는지 확인해야 한다. 이런 질문은 당연하며, 기업 입장에서는 회사 일부를 움직이는 시스템 접근을 맡기는 일이기 때문이다. 실제 가치는 자동화 자체만이 아니라, 고객이 통제권을 유지하고 어떤 시스템에 어떤 권한이 연결됐는지 이해하며 안심하고 쓸 수 있게 설계하는 데 있다.
GSV는 AI 에이전트가 클라우드에서 실행되면서도 개인의 여러 기기와 브라우저에 동시에 연결되도록 만든 오픈소스 도구다. 원격 파일 시스템과 셸 환경을 제공해, 에이전트가 하나의 컴퓨터 안에서 일하는 것처럼 파일을 다루고 명령을 실행할 수 있게 한다. 내부에는 기본 작업을 처리하는 커널이 있고, 여기에는 AI 추론과 에이전트 루프도 포함된다. 개인 기기와 브라우저를 GSV에 연결하면, 클라우드나 엣지에서 도는 에이전트가 로컬 기기의 파일과 셸에도 접근할 수 있다. 현재 베타로 공개됐고, 사용하려면 월 약 5달러의 Workers Paid 계정과 별도의 모델 비용이 필요하다.
Cognocient는 팀이 LLM API 비용을 어디에 썼는지 나누어 보고, 예산을 넘지 않게 막는 도구다. 만든 사람은 낮에는 기술 문서 작성자로 일하고, 혼자서 주 10시간 정도 이 제품을 만들고 있다. 공동창업자, 투자금, 팀은 없다. 첫 실제 체험 가입자는 광고가 아니라 Reddit 대화에서 들어왔고, 가입과 초기 설정까지 마쳤지만 이후 API 호출은 0건이었다. 그래서 직접 짧은 코드 2줄을 보내 사용 시작을 도왔다. 사람을 데려오는 일과 실제로 쓰게 만드는 일은 서로 다른 문제라는 점이 드러났다. 한 VC 스카우트가 투자 유치 의향을 물었지만, 아직 매출 전 단계이고 부트스트랩으로 만들고 있으며 꾸준한 MRR이 생기기 전에는 투자 대화를 하지 않겠다고 답했다. 제품 설명에 대한 가장 좋은 피드백은 설문이 아니라 Reddit 댓글에서 나왔고, “AI Spend Decision Intelligence”라는 범주는 맞지만 더 강한 메시지는 “월요일 오전 7시에 AI 청구서가 밤새 두 배가 되었고, 대응할 시간이 2시간뿐인 상황”에 가깝다는 내용이었다.
Claude Code의 Dynamic Workflow, 특히 Ultra Code는 개발 과정을 더 깊게 다루는 자동화 흐름이다. 단순히 여러 에이전트가 일을 나눠 하는 방식보다, 생각의 순서와 실행 절차를 더 촘촘하게 잡아 주는 구조에 가깝다. 문제는 비용이다. Ultra Code를 많이 쓰면 약 5시간 안에 사용 한도를 거의 다 써버릴 수 있을 만큼 부담이 크다. DeepSeek V4 Flash는 Claude 생태계 밖에서 쓸 수 있는 모델이며, 빠르고 효율적인 사용을 목표로 한다. 이를 바탕으로 Claude Code Dynamic Workflow의 아이디어와 DeepSeek의 효율성을 결합한 오픈소스 프로젝트가 만들어졌다. 목표는 여러 에이전트를 많이 돌리는 대신, 더 깊은 추론 흐름과 마지막 검토 단계를 둔 추론 계층을 만들어 기존 에이전트 패턴을 일부 대체하는 것이다.
GLM-5.2가 GLM Coding Plan에 배포됐고, API와 MIT 라이선스 가중치는 약 일주일 뒤 제공될 예정으로 안내됐다. 이 모델은 한 번에 최대 100만 토큰까지 긴 문맥을 다룰 수 있고, 생각 모드는 max와 high 두 가지를 지원한다. z.ai는 코딩 작업에는 max 모드를 권장한다. 함께 나온 반응은 성능, 비용, 직접 운영 가능성에 집중됐다. 일부 벤치마크에서는 GLM-5.2가 지식 업무형 에이전트 평가에서 강한 결과를 냈고, 로컬 실행 사례에서는 744B급 2비트 모델을 여러 GPU와 큰 메모리로 돌리며 초당 약 7.3토큰을 얻었다. 더 낮은 양자화가 항상 더 빠르지는 않았고, CPU 스레드 수를 늘렸을 때 속도가 22% 오른 사례도 있었다. CPU만으로 실행한 실험과 SGLang 배포 설정도 공유되면서, 클라우드 API에만 의존하지 않고 큰 모델을 직접 운영하려는 흐름이 확인됐다.
AI 에이전트는 이제 조사, 글쓰기, 계획 세우기, 답장 작성, 요약, 문서 업데이트, 고객용 자료 준비 같은 실제 업무를 처리할 수 있다. 문제는 결과물이 나온 뒤에 무엇을 실제로 했는지, 어떤 자료를 썼는지, 어떤 가정을 깔았는지, 그 결과를 고객이나 상사, 동료에게 넘겨도 되는지 확인하기 어렵다는 점이다. 에이전트형 AI가 개발자 도구를 넘어 일반 업무로 옮겨가면서 이 문제는 더 커진다. OpenAI의 Ona 인수 계획도 AI 에이전트가 더 오래 걸리는 일을 수행할 수 있는 환경 쪽으로 움직이고 있다는 신호로 해석된다. 하지만 실행 환경이 좋아져도 일반 사용자는 나중에 그 일을 믿고 검토할 방법이 필요하다. 제안된 해결책은 AI 에이전트가 끝낸 일을 공유 가능한 ‘작업 영수증’으로 바꾸는 것이다. 이 작업 영수증에는 요청받은 일, 거친 단계, 사용한 출처·파일·입력값, 핵심 주장과 가정, 확인된 부분과 불확실한 부분, 사람의 판단이 필요한 부분, 넘겨주기 쉬운 정리본이 담긴다.
Notal은 마크다운 노트북을 작업 계획서이자 MCP 서버로 쓰는 도구다. 사람이 한 번 평문으로 계획을 적어두면, 여러 AI 에이전트가 같은 문서를 읽고 각자 처리할 일을 가져간다. 에이전트는 지금 처리할 수 있는 작업만 받아 보고, 그중 하나를 맡은 뒤 역할, 지시문, 의존 관계를 확인한다. 이후 Cursor, Claude Code, 크론 작업, GitHub Actions 같은 실행 환경에서 자기 도구로 일을 처리한다. 작업이 끝나면 성공 여부, 오류, 막힌 이유, 근거, 다음 실행 시간을 기록한다. 전체 노트를 매번 읽는 대신 지금 필요한 작업 목록만 가져오는 구조라 불필요한 읽기와 조율을 줄이려는 목적이 있다. 한 실행 환경에 묶인 자동화 도구가 아니라, Claude, Cursor, Codex, Goose, Hermes, LangGraph, 맞춤 작업자 같은 여러 실행 주체가 같은 계획 파일을 공유하는 방식이다.
문서 내용을 위키 페이지로 바꾸는 시스템에서 작성 에이전트와 검토 에이전트를 따로 두는 방식이 시험되고 있다. 초안 작성자가 자기 결과물을 직접 평가하면 문제를 쉽게 넘길 수 있기 때문에, 작성과 검토를 분리하면 더 엄격한 품질 확인이 가능하다. 이 시스템에서는 정해진 규칙 검사와 별도 품질 검토가 모두 통과해야 결과물이 배포된다. 다만 역할이 다섯 개로 늘어나면 운영 흐름이 복잡해지고 비용도 커진다. 비교 대상은 한 에이전트가 같은 문맥을 유지한 채 두 번째 단계에서 자기 결과물을 다시 비판적으로 보는 방식이다. 또 같은 검토 실패가 반복되면 시스템이 작성 지침 변경안을 만들고, 고정된 회귀 테스트 세트에서 변경 전후를 블라인드로 비교해 좋아진 경우에만 그 지침을 남기는 방식도 실험 중이다. 아직 이 방식이 실제 개선 신호인지, 우연한 잡음인지는 측정 중이다.
운영 환경에 배포된 AI 에이전트가 큰 사고 없이도 1~2주 안에 조용히 쓰이지 않는 경우가 있다. 사람들은 에이전트를 완전히 끄기보다, 점점 다른 방법으로 일을 처리한다. 문제의 핵심은 실패 유형이다. 더 나은 버전을 만들어 기존 에이전트를 대체했는지, 아니면 자동화 아이디어를 포기하고 사람이 중간에 확인하는 더 수동적인 방식으로 돌아갔는지가 중요하다. 실제 운영 경험이 많은 사람들에게 어떤 에이전트가 버려졌고, 무엇이 마지막 계기가 되었는지 묻고 있다.
오픈웹 UI의 작업 공간에 계획서, 양식, 사례 연구, 표준 문서 같은 여러 PDF를 넣고, 그 안의 생각들을 서로 연결해 질문에 답하게 하려는 구성이다. 현재 문서 추출에는 Kreuzberg, 임베딩 모델에는 jina-embeddings-v5-text-small, 재정렬 모델에는 jina-reranker-v3를 쓰고 있다. 답변을 만드는 대형 언어 모델은 DeepSeek API나 로컬에서 돌리는 Qwen3.6-35B를 번갈아 사용한다. 전체 구성은 대체로 만족스럽지만, 질문을 여러 번 다른 방식으로 다시 해야 할 때가 있다. 원인은 문서를 작은 조각으로 나누는 방식인 청킹이 일부 중요한 내용을 놓치게 만들기 때문일 수 있다. 그래서 문장의 뜻을 기준으로 문서를 나누는 시맨틱 청킹 도구인 Chonkie를 추가하면 더 나아질지 검토하고 있다.
30일 동안 지역 식당 5곳이 월 구독 형태의 자동화 묶음 서비스를 도입했다. 월 매출은 2천 달러 수준이다. 핵심 문제는 식당 주인이 바쁜 시간대에 전화를 놓치고, 구글 지도 리뷰 대응도 미루면서 손님과 검색 노출을 함께 잃는다는 점이다. 해결책은 코딩 없이 쓰는 노코드 도구로 만든 ‘스마트 식당 묶음’이다. 전화가 통화 중이면 Vapi나 Bland로 만든 AI 음성 상담원이 대신 받는다. 이 상담원은 주차, 글루텐 프리 메뉴 같은 기본 질문에 답하고, TheFork 같은 예약 시스템과 API로 연결되어 예약을 잡고 확인 문자를 보낸다. 리뷰 관리 기능도 함께 묶어, 식당이 방치하기 쉬운 구글 지도 리뷰 대응 문제를 다룬다.
TurboOCR v3는 문서 이미지에서 글자와 구조를 뽑아내는 도구입니다. 새 버전은 PP-OCRv6 모델로 바뀌었고, FUNSD라는 문서 데이터 기준 처리 속도가 초당 약 270장에서 약 520장으로 늘었습니다. 같은 RTX 5090 환경과 같은 측정 방식에서 약 1.9배 빨라졌고, 정확도는 비슷한 수준으로 유지됐습니다. 모든 처리는 사용자의 컴퓨터나 서버 안에서 로컬로 실행되며, VLM 없이 동작합니다. 이번 버전은 단순히 문서 안의 영역을 찾는 데서 끝나지 않고, 표는 HTML로, 수식은 LaTeX로, 읽는 순서에 맞춘 내용은 Markdown으로 바꿀 수 있습니다. 표와 수식 처리는 요청할 때만 켜는 방식입니다. 단점도 있습니다. TensorRT 기반이라 NVIDIA 그래픽카드 환경만 지원하며, 처음 실행할 때 엔진을 만드는 데 몇 시간이 걸릴 수 있지만 이후에는 캐시가 남아 빠르게 시작됩니다. HTTP와 gRPC를 한 컨테이너에서 함께 제공합니다.
Telnyx AI Inference를 써서 작은 파이썬 검색 증강 생성 예제를 만들 수 있다. 이 예제는 몇 개의 문서를 메모리에 저장한 뒤, 임베딩을 만들고, 질문과 관련 있는 문맥을 찾아 답변에 사용한다. 답변은 OpenAI와 호환되는 클라이언트로 생성된다. 결과에는 참고한 출처도 함께 붙는다. 실제 앱으로 키우기 쉽게 만들려면 어떤 부분이 더 보강되어야 하는지에 대한 피드백을 받고 있다.
영업과 고객지원에 쓰는 고객용 에이전트는 시연에서는 잘 작동해도 실제 고객에게 바로 쓰기 어렵다. 문제는 에이전트에 넣는 문맥의 양이 아니라, 그 문맥을 믿어도 되는지 구분하기 어렵다는 점이다. 고객 기록 안에는 고객이 직접 말한 내용, 직원이 추정한 내용, 지난 분기에는 맞았지만 지금은 틀린 내용, 모델이 만들어낸 내용이 섞여 있다. 검색기는 이 차이를 알아보지 못해 오래된 기록이나 환각을 실제 약속처럼 다룰 수 있다. 실제로 한 에이전트는 두 분기 전에 이탈한 고객의 오래된 거래 메모를 근거로 고객에게 확장을 축하했다. 도움이 된 방법은 고객 지식에 출처, 최신성, 행동 경계, 근거를 붙이는 것이다. 고객이 직접 말한 내용인지 추정인지, 아직 유효한 정보인지, 초안 작성까지만 허용할지 고객에게 보내거나 고객관리시스템에 기록할지는 사람이 확인해야 하는지, 에이전트가 무엇을 근거로 판단했는지를 구분해야 한다.
목표는 매일 여러 뉴스 웹사이트 링크를 모아 요약본을 만들고, 그 내용을 Claude나 GPT 같은 인공지능 도구에 넣는 것이다. 핵심 고민은 API 키 비용을 내지 않고도 이런 자동화 에이전트를 현실적으로 만들 수 있는지다. 임시 방법으로는 터미널 창을 켜 둔 채 Claude Code를 실행하고, 그 안에서 타이머를 돌려 작업을 반복하게 할 수 있다. 하지만 원하는 것은 그런 불안정한 방식이 아니라, 계속 믿고 쓸 수 있고 나중에 확장하기 쉬운 구조다. 이후에는 만들어진 요약본을 다른 에이전트나 같은 에이전트의 파이프라인으로 넘겨 더 많은 작업을 이어가게 하고 싶다.
AI 에이전트도 일반 소프트웨어처럼 테스트와 평가가 필요하다. 하지만 AI 에이전트는 정해진 동작만 반복하는 자동화 도구가 아니라 스스로 판단해 움직이기 때문에 결과가 매번 같지 않을 수 있다. 그래서 모든 테스트를 항상 통과한다고 기대하기 어렵고, 개선됐는지도 단순한 합격/불합격만으로 판단하기 어렵다. 실무적 관점에서는 에이전트를 평가할 수 있는 범용 상호작용 환경이 필요하다. 이 환경은 에이전트가 목표를 실제로 달성했는지 확인할 수 있어야 하고, 동시에 에이전트가 의도하지 않은 편법이나 허점을 이용해 성공한 것처럼 보인 것은 아닌지도 확인해야 한다.
개인 책과 문서를 클라우드로 보내지 않고, 집 안의 한 대의 컴퓨터에서만 읽고 답하게 만든 오프라인 RAG 사례다. 목표는 OpenAI 같은 외부 서비스에 계속 비용을 내지 않고, 자신의 PDF와 책 자료를 자기 장비에서 처리하는 것이었다. 사용한 장비는 Corsair AI Workstation 300이며, Strix Halo와 128GB 통합 메모리를 갖췄다. 이 메모리 덕분에 122B 규모의 큰 모델, embedder, reranker를 동시에 올려 둘 수 있었다. 그래서 한 모델을 내렸다가 다른 모델을 올리는 식의 번거로운 전환을 줄일 수 있었다. 구현은 LangChain이나 LlamaIndex 같은 프레임워크 없이 Ollama를 바탕으로 직접 만들었다. 다만 AMD의 ROCm 환경은 설치와 오류 해결이 쉽지 않았고, 예상보다 많은 시간을 잡아먹었다.
개인용 인공지능 환경이 네 대의 PC, VPS, 전용 서버, 여러 역할의 에이전트로 구성되어 있다. 중심에는 Hermes라는 오케스트레이션 에이전트가 있어 여러 에이전트의 일을 조율한다. 핵심 관심사는 단순히 작동하게 만드는 것이 아니라 전체 구조를 설계하는 일이다. 효율적인 작업 흐름을 만들고, 토큰 사용을 줄이고, 비용을 낮추면서 가능한 기능을 최대한 끌어내는 방식이 중요하게 다뤄진다. 하지만 이런 설계와 비용 절감 경험을 깊게 이야기할 사람을 찾기 어렵다. 깊이 이해하는 사람을 만나도 실제 교류에 관심이 적거나, 아이디어를 가져가 자기 프로젝트에 쓰려는 듯한 불신이 생긴다. 최근 커뮤니티에는 백엔드 문제, 모델 속도, 설치 방법 같은 문제 해결 글은 많지만, 무엇을 만들고 왜 그렇게 설계했는지 나누는 글은 줄었다. 사람들은 아이디어를 더 조심스럽게 보호하고 있으며, 그 흐름 자체는 이해할 만하다는 분위기다.
AI 논의의 중심이 “어떤 대형 언어 모델이 가장 좋은가”에서 “여러 AI가 어떻게 함께 일하게 만들 것인가”로 옮겨가고 있다. AI 에이전트는 단일 모델 성능만으로 설명하기 어려워지고 있다. 실제 구축에서는 메모리, 계획, 도구 사용, 사건 처리, 공유 문맥, 평가 같은 요소가 함께 중요해진다. 결국 에이전트 개발은 모델 고르기보다 여러 부품을 엮어 안정적으로 작동하는 시스템을 만드는 문제에 가까워지고 있다.
완전 자율로 움직이는 AI 에이전트 시스템을 실제로 운영하면 비용이 꽤 커질 수 있다. Hermes/OpenClaw 같은 에이전트 구성, OpenRouter를 통한 AI 모델 사용, 외부 유료·무료 도구, 클라우드 가상 서버를 함께 쓰는 setup은 월 300~400달러 정도가 들 것으로 예상된다. 핵심 비용은 AI 모델 호출 비용, 서버 유지 비용, 외부 도구 사용료가 합쳐진 것이다. 에이전트를 처음 만들 때는 개발 비용뿐 아니라 매달 계속 나가는 운영비까지 계산해야 한다.
새 AI 모델은 입력과 출력의 단가만 보면 비싸 보여도, 실제로 문제를 더 잘 풀면 작업 1개를 끝내는 데 드는 비용은 더 낮아질 수 있다. 핵심 기준은 한 번 호출할 때의 가격이 아니라, 원하는 결과를 얻기까지 몇 번 다시 시도해야 하는지다. 더 똑똑한 모델이 한 번에 해결하면, 싼 모델을 여러 번 돌리는 것보다 전체 비용이 줄어들 수 있다.
Codelight는 Claude Code, GitHub Copilot, Codex를 함께 쓰는 사람을 위한 원격 대시보드다. 책상 위 GeekMagic Ultra 화면, Android 위젯, GNOME 패널, VS Code에서 각 에이전트가 작업 중인지, 대기 중인지, 새 작업을 받을 준비가 됐는지 볼 수 있다. Claude, Codex, 선택한 Copilot 사용량을 모아 보여 주며, 토큰 사용량도 실시간으로 확인할 수 있다. 원격 제어를 켜면 에이전트가 권한 승인을 요구하거나 질문을 할 때 컴퓨터 앞에 없어도 Android 앱, GNOME 패널, VS Code에서 답할 수 있다. 폴더 접근이나 특정 명령 실행에 대한 지속 승인 규칙을 한 번 저장하면 Claude, Copilot, Codex에 공통으로 적용된다. 구성은 파이썬으로 된 데몬, GeekMagic Ultra용 화면 펌웨어, Android 앱, GNOME 확장, VS Code 확장으로 나뉘며, MIT 라이선스로 공개되어 있다.
전자상거래용 AI 에이전트를 LangChain이나 AutoGPT 없이 Anthropic SDK와 TypeScript만으로 만들 수 있다. 이 에이전트는 무선 이어폰 재고, 주문 상태, 반품 정책 같은 실제 고객 질문을 처리한다. 핵심 구조는 반복문이다. 먼저 모델에 대화를 보내고, 모델이 외부 정보가 필요 없으면 바로 답한다. 모델이 도구 호출을 요청하면 필요한 도구를 실행하고, 그 결과를 다시 대화에 넣은 뒤 같은 과정을 반복한다. 메시지를 어떤 기능으로 보낼지 사람이 if/else로 미리 나누지 않아도, 모델이 스스로 어떤 도구를 부를지 정한다. 이 구조를 직접 보면 많은 에이전트 프레임워크가 실제로는 반복문, 도구 찾기, 결과 되돌려주기를 감싸고 있다는 점이 드러난다.
ContextTrace는 RAG와 AI 에이전트가 조용히 틀리는 문제를 잡기 위한 파이썬 SDK와 CLI다. 이런 시스템은 답변이 자연스럽고 출처도 붙어 있으며 기록도 정상처럼 보여도, 실제로는 일부 주장이 근거가 없거나, 출처와 충돌하거나, 오래된 정보에 기대거나, 엉뚱한 조각에서 나온 내용일 수 있다. ContextTrace는 질문, 검색된 문맥, 답변 속 주장, 인용, 판정, 근본 원인, 재발 확인 테스트까지 한 흐름으로 추적한다. 질문, 답변, 문맥, 인용, 부가 정보를 담은 이동 가능한 기록을 만들고, 답변의 각 주장이 검색된 근거로 뒷받침되는지 확인한다. 주장은 지원됨, 일부만 지원됨, 지원되지 않음, 모순됨, 확인 불가 같은 상태로 나뉜다. 실제 세상의 진실 여부나 정보가 최신인지와, 답변이 주어진 근거에 제대로 기대고 있는지는 따로 구분한다. 검색 누락, 인용 불일치, 오래된 출처, 문서 조각 나누기 문제, 답변의 과한 추측, 재정렬 실패, 답하지 말았어야 하는 경우 같은 원인도 표시한다. 기본적으로 SQLite와 로컬 기록을 사용해 내 컴퓨터에서 돌아가며, LangChain, LlamaIndex, FastAPI 연동도 계획되었거나 일부 제공된다.