AI 에이전트를 만들고 토큰·비용을 아끼는 데 도움이 되는 오픈소스 도구와 기법을 모읍니다.
NVIDIA DGX Spark 2대를 실제 추론 작업에 쓰며 테스트 환경과 운영 환경에서 로컬 대형 언어 모델을 돌린 경험이다. 선택 이유는 속도, VRAM, 비용, 관리 부담, 사용 편의성의 균형이 가장 좋았기 때문이다. 용도는 오픈소스 대형 언어 모델 테스트, 운영용 로컬 모델 실행, 고객이나 내부 업무에 맞춘 미세 조정이다. 비교했던 다른 선택지는 RTX 6000 2~4장과 EPYC 서버 조합, 그리고 메모리 256GB 또는 512GB의 Mac Studio M3 Ultra였다. 실제로 다룬 모델은 Deepseek V4 Flash, Nvidia Nemotron 3 Super, Qwen 3.5 122B, Qwen 3.6 27B, 그리고 임베딩·비전·이미지용 소형 특화 모델들이다. 클라우드 대신 자체 호스팅을 보는 핵심 이유로는 개인정보 보호가 제시되지만, 공개된 내용은 그 다음 설명까지 이어지지 않는다.
AI 에이전트나 인공지능을 많이 쓰는 서비스를 만드는 일은 예전보다 쉬워졌다. 진짜 어려움은 시연용으로 작동한 뒤부터 시작된다. 어디에서 실행할지, 누가 책임질지, 멈추거나 엉뚱한 상태에 빠졌을 때 어떻게 알지, 사람이 언제 어떻게 넘겨받을지가 핵심 문제가 된다. 개발자에게는 안정성, 도구 호출, 기록, 재시도 상태, 배포가 큰 부담이다. 1인 창업자나 작은 팀은 반복 업무를 줄이고 싶지만, 작은 운영 변경마다 개발 작업이 생기는 상황을 원하지 않는다. 운영 업무가 많은 팀은 권한, 되돌리기, 감사 기록, 승인, 무엇이 바뀌었는지 확인하는 일을 특히 중요하게 본다.
검토 중인 장비는 AMD 6000 PRO 그래픽카드 4장 또는 8장 구성이다. 이 경우 그래픽 메모리는 대략 384GB에서 768GB까지 늘어난다. 목표는 GLM 5.2, Kimi 2.7, DeepSeek V4 Pro 같은 큰 모델을 로컬에서 실행하는 것이다. 이론상 4비트 설정이면 이런 모델을 올릴 수 있지만, 8비트 설정은 메모리 요구량이 더 커서 어려울 수 있다. 핵심 고민은 4비트로 줄이면 에이전트 작업이나 프로그래밍 작업 성능이 8비트보다 크게 떨어지는지다. 기존 벤치마크 자료는 있지만, 최신 모델 결과가 부족하다. 실행 환경으로는 vLLM, SGLang, 또는 다른 백엔드를 비교 대상으로 보고 있다.
AI 게이트웨이, API 게이트웨이, Gateway API는 이름이 비슷하지만 역할이 다른 도구들이다. API 게이트웨이는 서버와 클라이언트 사이에서 요청을 받아 적절한 서비스로 전달하는 중간 관문으로, 인증·속도 제한·로깅 같은 공통 기능을 한 곳에서 처리한다. AI 게이트웨이는 여기에 LLM(대형 언어 모델) 특화 기능을 추가한 것으로, 여러 AI 제공사(OpenAI, Anthropic, Gemini 등)를 하나의 통일된 인터페이스로 묶고, 토큰 사용량 추적·비용 관리·프롬프트 캐싱·모델 폴백(주 모델 실패 시 다른 모델로 자동 전환) 같은 기능을 제공한다. Gateway API는 쿠버네티스(Kubernetes) 환경에서 네트워크 트래픽을 관리하는 규격으로, AI와는 직접 관계가 없다. AI 에이전트를 운영할 때 AI 게이트웨이를 두면 여러 LLM을 유연하게 교체하고 비용을 한눈에 파악할 수 있다.
LodeDB는 로컬 검색 증강 생성과 에이전트 메모리를 위해 만든 내장형 디스크 기반 벡터 데이터베이스다. `pip install lodedb`로 설치하며, 데이터가 외부 서비스로 나가지 않고 로컬에 저장된다. LangChain, LlamaIndex, mem0에서 쓰던 기본 저장소 대신 LodeDB를 연결할 수 있고, LlamaIndex의 PropertyGraphStore도 지원한다. 1만 7,500개 문서 모음에서 디스크 사용량은 기존 메모리 기반 기본 저장소보다 4~7배 작았고, 중앙값 기준 쿼리 지연 시간은 CPU에서 1밀리초 미만이었다. MCP 서버를 한 명령으로 설치해 Claude Code, Cursor, LM Studio, Codex, Claude Desktop 같은 코딩 에이전트에 로컬 장기 메모리를 붙일 수 있다. 검색 결과는 저장된 텍스트와 점수, 아이디, 메타데이터를 함께 돌려주기 때문에 모델이 따로 다시 조회하는 흐름을 줄이고 한 번에 판단할 수 있다. 기본 검색은 BM25 방식의 단어 검색과 벡터 검색을 함께 쓰고, RRF로 결과를 합쳐 오류 코드, 일련번호, 날짜처럼 임베딩이 놓치기 쉬운 정확한 문자열도 상위 결과에 올린다. 기본 커밋 방식은 WAL이며, 내구성 있는 추가 작업도 1밀리초보다 짧게 끝나 쓰기 작업이 전체 흐름을 오래 막지 않도록 설계됐다.
특정 표현이나 주제가 모델의 답변 방식을 갑자기 바꿀 수 있다는 가능성이 제기된다. 특히 모델이 자기 작동 방식이나 메커니즘 해석을 다루는 상황에서는, 새 방법을 만들어 내기보다 안전하고 조심스러운 말투로 길게 답할 수 있다는 가정이다. 이런 상태는 토큰으로 부를 수 있는 페르소나-정책 유인점처럼 작동할 수 있다는 표현으로 설명된다. 핵심 내용은 모델이 실제 문제 해결보다 경고, 제한, 완곡한 설명에 치우칠 수 있고, 그 결과 답변이 길어지고 의욕을 꺾는 방향으로 흐를 수 있다는 점이다. 제공된 내용에는 실험 결과나 구체적 사례는 없다.
MuJoFil은 MuJoCo의 한계를 줄이기 위해 만든 새 시뮬레이터입니다. MuJoCo는 물리 계산이 CPU에 크게 묶여 있어, 많은 실험을 동시에 돌리는 데 한계가 있습니다. MJX는 GPU 가속을 지원하지만, 카메라 화면을 보며 배우는 시각 기반 강화학습 흐름에는 잘 맞지 않는다는 문제가 있습니다. NVIDIA Isaac은 강력하지만, 높은 성능의 GPU와 라이선스가 필요해 접근성이 낮을 수 있습니다. MuJoFil은 NVIDIA의 Newton Physics Engine과 Google의 Filament Render Engine을 결합한 구조입니다. Filament Render Engine을 크게 고쳐 여러 시뮬레이션 장면을 GPU에서 동시에 렌더링하도록 만들었고, 성능 최적화도 진행 중입니다. 아직 개발 중이라 큰 버그가 남아 있을 수 있습니다.
1차 경험담 기준으로, GPT 5.6 Sol이 Row-Bot 안에서 5분 만에 웹사이트 제작 과제를 끝냈다. 과제는 중앙 런던을 3D로 움직이며 볼 수 있는 웹사이트를 만들고, 알맞은 개발 도구는 모델이 직접 고르는 것이었다. 작업에는 완성된 결과를 브라우저에서 확인하는 과정과 화면을 보는 비전 분석도 포함됐다. 핵심 주장은 GPT 5.6 Sol 자체도 강하지만, Row-Bot 같은 작업 환경 안에서는 더 빠르고 실용적으로 느껴졌다는 것이다. 다만 공개된 내용은 짧은 경험담이라 실제 코드 품질, 재현 가능성, 비용, 토큰 사용량은 확인되지 않는다.
게임 스튜디오 Luden.io의 실제 경험에서는 AI 에이전트가 전체 게임 기능을 한 번에 맡아 만드는 도구라기보다, 좁고 확인 가능한 일을 돕는 도구에 가깝다. 효과가 있었던 일은 느린 코드 찾기, 오류 원인 좁히기, 테스트 시나리오 제안, 설계 문서 검토, 작은 자동화 만들기, 정적 웹사이트 수정, 소셜미디어와 게임 분석 데이터 해석이었다. 특히 저장 파일, 오류 기록, 게임 상태, 재생 기록처럼 텍스트로 읽을 수 있는 자료가 많을수록 결과가 좋아졌다. Codex Cloud와 음성 입력을 써서 회의 뒤 설계 문서를 고치고 풀 리퀘스트를 만드는 방식도 실제로 썼다. 반대로 복잡한 게임 기능 전체 구현, 완전 자율 플레이테스트, 여러 에이전트끼리 토론하는 검토, 최종 게임 아트 제작, 복잡한 게임 장면 편집은 안정적이지 않았다. 복잡한 기능은 작은 설계 판단이 너무 많아서, 아주 자세한 계획을 세워도 사람이 직접 만드는 것보다 느리거나 불확실했다. 조직 차원에서는 일주일 동안 실제 업무에 AI를 최대한 써 보고, 잘 되는 일, 되지만 번거로운 일, 아직 안 되는 일을 나누는 ‘LLM Week’ 방식이 제안된다. 초보자에게는 먼저 30~60분짜리 AI 에이전트 워크숍으로 파일 읽기, 파일 수정, 프로그램 실행 같은 기본 감각을 익히고, 다음 단계에서 반복 업무 자동화로 옮기는 흐름이 현실적이다.
대규모 언어 모델에서 긴 문맥을 처리할 때 쓰는 어텐션 방식을 바꿔 12만 8천 토큰에서 100만 토큰 길이까지 더 빠르게 돌렸다는 개인 실험 결과가 나왔다. 기본 모델의 촘촘한 어텐션 층을 완전히 빼고 새 어텐션으로 대체한 뒤, 계산량, 실제 응답 지연, 퍼플렉서티, 검색 품질을 비교했다. 12만 8천 토큰 기준으로 어텐션 계산량이 약 42분의 1로 줄었다고 한다. 전체 속도는 조건에 따라 약 6배에서 40배 빨라졌다고 주장한다. 여러 프롬프트로 시험했을 때 원래 모델과 거의 비슷한 성능을 보이면서 계산 부담은 크게 낮았다고 한다. 다만 독립 검증, 코드 공개, 재현 가능한 벤치마크, 실제 에이전트 작업에서의 결과는 아직 확인되지 않았다.
OpenAI Responses API에서 엄격한 구조화 출력인 json_schema와 strict: true를 쓰면, 모델은 정해진 JSON 칸 안에만 답을 내보낸다. 시스템 지시문이 먼저 설계 방향을 정하고 이유를 생각하라고 해도, 스키마에 direction이나 rationale처럼 그 내용을 담을 칸이 없으면 결과물이 더 비슷하고 평범해질 수 있다는 의문이 제기됐다. 비교 대상은 자유롭게 글로 답하게 한 경우이며, 그때보다 구조화 출력 결과가 더 획일적으로 보였다는 경험이다. 핵심 가설은 일반 GPT 모델에서는 실제로 출력되는 토큰이 이후 결과에 영향을 주기 때문에, 출력할 자리가 없는 추론은 결과에 충분히 반영되지 않을 수 있다는 것이다. 그래서 프롬프트에만 맡기지 말고 스키마 안에 direction, rationale 같은 추론용 필드를 앞쪽에 넣는 방식이 해결책인지가 쟁점이다. 또 생성은 앞에서 뒤로 이어지는 방식이므로, 스키마의 properties 순서에서 추론 필드를 designTokens나 html보다 앞에 두면 뒤에 나오는 산출물에 더 영향을 줄 수 있는지도 함께 묻고 있다.
Papers with Code에 OCR 모델과 평가 기준을 한곳에 모은 페이지가 만들어졌다. OCR은 피디에프나 스캔 문서의 글자를 뽑아 디지털 문서로 바꾸는 작업이다. 이 페이지는 주요 OCR 벤치마크, 성능이 좋은 공개 모델, 논문과 코드 링크를 함께 보여준다. 최근에는 바이두가 30억 개 매개변수 규모의 Unlimited OCR을 공개했고, 이 모델은 DeepSeek OCR을 바탕으로 R-SWA라는 새 처리 방식을 쓴다. Mistral도 OCR 4를 내놓았으며, 이 모델은 API로 사용할 수 있다. 회사 안에 흩어진 피디에프와 스캔 문서를 표준화된 마크다운 형태로 바꾸면 AI 에이전트가 문서를 더 쉽게 읽고 검색할 수 있다. 이런 변환은 사내 지식 검색이나 고객 지원 챗봇처럼 에이전트형 검색 증강 생성에 쓰일 수 있다.
Generals.io라는 전략 게임에서 사람보다 강한 AI 에이전트가 만들어졌다. 이 에이전트는 사람끼리 겨루는 1대1 공개 순위표에서 1위를 기록했고, 상위 두 명의 사람 플레이어를 상대로도 269번 중 199번 이겼다. 초기 버전은 석사 논문 프로젝트로 시작됐고, 사람 플레이 데이터를 따라 배우는 방식, 강화학습 보정, 보상 설계를 함께 썼지만 최상위 플레이어에게는 계속 졌다. 이후 전체 훈련 흐름을 JAX로 다시 만들고, 기존 합성곱 신경망 대신 비전 트랜스포머를 썼다. 핵심 변화는 손으로 규칙을 더 붙이는 대신, 더 빠르게 많이 훈련할 수 있는 구조에 투자한 점이다. JAX 기반 시뮬레이터는 단일 그래픽카드에서 초당 수천만 프레임을 처리해 기존 시뮬레이터보다 약 1만 배 빨랐다. 최종 훈련은 4개의 엔비디아 H200 그래픽카드에서 4일 동안 진행됐다. 코드와 빠른 시뮬레이터가 오픈소스로 공개돼, 숨겨진 정보가 있는 전략 게임 환경을 실험하려는 사람도 직접 활용할 수 있다.
스위스 연방대법원은 Heretic을 금지 대상으로 보는 것이 아니라 내부 업무에 쓸 수 있는지 평가하고 있다. 문제의 핵심은 LLM이 법원 업무에서 정당한 요청까지 거절하는 경우가 있다는 점이다. 관련 연구는 다국어 형사법 재판 환경에서 과잉 정렬을 어떻게 측정하고 줄일 수 있는지 다룬다. 연구는 탈정렬 같은 방법도 후보로 검토했고, Heretic을 별도 항목에서 평가했다. Heretic에 대해서는 법원 업무에서 쓸 가능성이 있다는 쪽의 결론이 제시됐다.
지속 가능하고 자연 친화적인 건축 자재 분야의 고객용 인공지능 도우미를 만들고 있다. 이 도우미는 시공 방법, 자재 규격, 구조 세부사항, 단열 성능, 습기 관리 같은 기술 질문에 답해야 한다. 지식 기반에는 약 30년 동안 쌓인 전문 지식이 들어 있다. 자료 종류가 매우 다양해서 문제가 복잡해진다. 두 개 웹사이트에서 모은 기사, 안내문, 자주 묻는 질문, 사례 연구가 있고, 구조화된 글 자료만 수백 쪽에 이른다. 또 건축 제품의 기술 데이터 시트 수백 개가 피디에프 파일로 있으며, 열 성능 값, 압축 강도, 람다 값, 수증기 저항 같은 표 형식 데이터가 많다. 여기에 자세한 설치 안내서와 작업 절차서처럼 단계별 설명 자료도 포함된다. 현재 약한 지점은 답변 생성 자체보다 필요한 자료를 찾아오는 검색과, 긴 문서를 적절한 조각으로 나누는 문서 쪼개기 쪽으로 보인다.
Ringee는 브라우저에서 바로 전화를 걸고 받을 수 있는 오픈소스 전화 플랫폼이다. 유선전화와 휴대전화로 통화할 수 있고, 상대방은 별도 앱을 설치하지 않아도 된다. 통화는 WebRTC로 처리되며, 전화망 연결은 사용자가 직접 준비한 Telnyx 계정을 붙이는 방식이다. 통화 녹음, 연락처 CSV 가져오기, 태그, 빠른 검색, 상담원·일·월 단위 분석 기능이 있다. 웹앱 외에도 Chrome 확장 프로그램, iOS 앱, Android 앱, 화면 없이 쓰는 CLI, 그리고 Claude나 ChatGPT 같은 도구에서 전화를 제어할 수 있는 MCP 서버가 포함된다. 자체 운영은 저장소를 복제해 실행한 뒤 Telnyx 계정을 연결하는 구조이며, Ringee가 사용자의 통신사 키나 충전 잔액을 보관하거나 대신 처리하지 않는다는 점을 내세운다.
mcpgen은 OpenAPI 사양이나 Postman 모음을 넣으면 파이썬 기반 MCP 서버 코드를 자동으로 만들어 주는 오픈소스 도구다. 설치 뒤 명령어 한 번으로 서버 소스 코드가 생성되며, 만든 코드는 사용자가 직접 읽고 고치고 원하는 곳에 배포할 수 있다. 중간에서 대신 연결해 주는 프록시 방식이 아니라 실제 서버 코드를 만들어 주기 때문에, 실행할 때 mcpgen에 계속 의존하지 않아도 된다. OpenAPI 3.x와 Postman 모음을 지원하고, 인증 방식은 자동으로 감지한다. 작업이 끝나면 Claude Desktop에 넣을 설정 블록도 함께 출력한다.
7개 안팎의 인공지능 모델 제공업체 가격을 한 표로 비교하면, 단순한 토큰 가격만으로 실제 비용을 판단하기 어렵다. 비교 대상에는 OpenRouter, DeepSeek, Together AI, Fireworks, Groq 등이 포함됐고, 입력 토큰 가격, 출력 토큰 가격, 문맥 창 크기, 캐시된 입력 가격, 지원 모델, 업체별 가격 차이가 정리됐다. 이 자료는 속도나 처리량을 직접 시험한 성능 비교가 아니라, 공개 가격표와 공개 응용 프로그램 인터페이스에 나온 가격을 모은 것이다. 가장 큰 차이는 캐시 가격에서 나타났다. 예를 들어 DeepSeek V4 Pro를 여러 업체에서 쓸 때, 캐시에 맞은 입력은 캐시에 맞지 않은 입력보다 수십 배 싸질 수 있다. 큰 시스템 프롬프트를 쓰는 에이전트, 같은 자료를 반복해서 넣는 RAG 구성, 여러 차례 이어지는 대화, 반복되는 프롬프트 양식에서는 표시된 기본 토큰 가격보다 캐시 정책이 더 중요할 수 있다. 같은 모델도 어느 업체를 거치느냐에 따라 비용이 몇 배씩 달라질 수 있다.
A2E.ai로 이미지 기반 영상을 만들 때 비용을 줄이는 방법은 준비 작업을 무료·로컬 도구에서 최대한 끝내는 것이다. 무료 A2E.ai 계정에서는 크레딧을 모아 두고 바로 쓰지 않는다. 캐릭터 얼굴이나 특징을 일정하게 맞추기 위해 로컬 컴퓨터의 ComfyUI 데스크톱에서 Qwen으로 첫 장면 이미지를 만든다. 전체 영상 흐름에 필요한 첫 프레임을 미리 쌓아 둔 뒤, 결과물을 뽑을 때만 약 15달러짜리 A2E.ai 한 달 서비스를 결제한다. 그다음 WAN 2.6 같은 이미지-영상 모델로 정지 이미지를 영상으로 바꾼다. 필요 없는 길이까지 만들지 않고, 10초면 충분한 장면은 15초로 만들지 않는 식으로 크레딧 사용을 줄인다. 시네마틱 모델은 품질이 더 좋지만 크레딧을 훨씬 더 많이 쓰므로, 실험은 무료 기본 모델로 하고 최종 결과에만 유료 모델을 쓰는 편이 낫다. 최종 영상은 3일 뒤 삭제될 수 있으므로 미리 내려받고, 필요하지 않은 달에는 구독을 취소했다가 다시 쓰는 방식으로 비용을 관리한다.
목표는 기업용 SaaS 안에서 여러 업무 자료를 읽고 답하는 인공지능 상담 기능을 만드는 것이다. 사용자는 PDF와 데이터베이스 파일을 올릴 수 있고, QuickBooks, Google Sheets, 고객관리 도구 같은 외부 서비스도 연결된다. 단순히 자료에서 사실만 찾아 답하는 기본 RAG가 아니라, 업무 판단에 도움이 되도록 이유를 따지고 조언까지 하는 시스템이 필요하다. 답변은 근거 자료와 연결되어야 하며, 출처 표시가 있어야 하고, 사실을 꾸며내는 환각을 줄여야 한다. OpenAI API와 LangChain을 쓰는 상황에서, 기업 환경에 맞는 구조, 도구 선택, 평가 지표를 어떻게 잡을지가 핵심이다.
Mindra는 간단한 프롬프트로 AI 에이전트를 즉석에서 만들고 함께 움직이게 하는 도구다. 3,000개 이상의 외부 서비스와 연결할 수 있으며, 코드를 쓰지 않아도 된다고 소개된다. 핵심은 여러 에이전트를 조율하는 오케스트레이션 계층이다. 단순한 대화형 챗봇보다, 회사 운영 도구 전반에서 반복적이고 복잡한 작업 흐름을 실행하는 데 초점을 둔다. 제작자는 실제 업무 사용자에게 오케스트레이션 성능, 다중 에이전트 추론, 상태 관리가 어디서 깨지는지 시험해 달라고 요청하고 있다.
OpenCode는 유료 AI 구독을 당장 감당하기 어려운 상황에서 대안으로 쓸 수 있었다. 이전에는 Codex를 오래 사용했지만, 비용 부담 때문에 계속 쓰기 어려웠다. OpenCode에서 쓸 수 있는 모델들은 필요한 작업을 대체로 처리했다. 가끔은 원하는 결과가 나오도록 조금 더 구체적으로 지시해야 했지만, 큰 문제로 언급되지는 않았다.
브라우저나 컴퓨터를 직접 조작하는 AI 에이전트를 만들 때는 클라우드 브라우저나 가상머신 확보, 로그인 정보 관리, 작업 예약, 장시간 실행 유지, 모니터링, 사람 승인 절차, 상태 저장 및 복구, 웹사이트 변경 시 재시도 처리, 확장과 배포까지 개발자가 전부 직접 구축해야 하는 상황이다. 이런 문제를 웹 서비스 배포 플랫폼처럼 단순하게 만드는 아이디어가 제안됐다. 에이전트를 만들고, 필요한 웹사이트·로그인 정보·도구를 연결한 뒤 배포 버튼만 누르면, 격리된 클라우드 환경에서 에이전트가 24시간 계속 돌아가며 모니터링, 재생(리플레이), 예약 실행, 상태 저장, 비밀 정보 관리, 필요시 사람 승인까지 자동으로 처리해준다는 구상이다. 개발자는 인프라를 신경 쓰지 않고 에이전트 로직에만 집중하면 된다는 것이다. 이 구상을 낸 사람은 실제로 이런 관리형 플랫폼을 신뢰하고 쓸 의향이 있는지, Browserbase·Skyvern·Playwright 같은 기존 도구를 쓰면서 가장 힘들었던 운영 문제가 무엇인지, 매달 비용을 낼 의향이 있는지 등을 묻고 있다.
기업용 AI 에이전트를 만들 때는 취미용 실험보다 보안, 확장성, 운영 안정성이 더 중요하다. 필요한 조건은 데이터 프라이버시, 큰 사용량에서도 버티는 안정성, 기록과 추적을 위한 관측성, 기존 회사 시스템과의 쉬운 연결이다. 후보로 LangChain, LlamaIndex, AutoGen, CrewAI, Intervo AI, Lyzr 같은 AI 에이전트 프레임워크가 거론된다. 핵심 고민은 인기 있는 개발자 데모용 도구와 실제 기업 운영에 맞는 도구를 구분하는 것이다. 엄격한 규정 준수 환경, 셀프 호스팅, 프라이빗 클라우드 배포, 에이전트가 예측하기 어려운 행동을 하지 않게 하는 결정적 제어도 중요한 요구사항이다.
콘텐츠를 만드는 다중 에이전트 파이프라인에서 조사, 초안 작성, 편집, 발행을 나눠 처리할 때 품질 관문을 추가할지 고민하는 상황이다. 확인하려는 것은 결과물이 AI가 쓴 글처럼 탐지되는지, 학습 데이터나 웹 자료와 너무 비슷해 표절로 볼 수 있는지다. 일부 도구는 AI 탐지만 하고, 일부 도구는 표절 검사만 한다. 두 가지를 한 번에 처리하는 도구를 쓰면 검사 단계가 단순해질 수 있다. 다만 사람이 쓴 글도 AI 글로 잘못 판단되는 오탐이 많아 보이며, 믿을 만한 검사 방식이 있는지는 불확실하다. 핵심 고민은 이 문제를 에이전트 설계 안에서 해결할지, 아니면 최종 사용자가 마지막에 확인하게 둘지다.
AI 에이전트 제작 도구는 겉으로는 무료이거나 오픈소스로 보이는 경우가 많다. LangChain도 오픈소스로 공개되어 있다. 하지만 실제 서비스에 넣으면 관찰, 추적, 평가 같은 운영 도구가 필요해지고, 이 부분은 유료 제품이나 호스팅 서비스로 이어지는 경우가 많다. 핵심 질문은 LangChain 생태계나 주류 AI 생태계를 모두 오픈소스 도구로 바꾼다면 실제 운영 스택이 어떻게 구성될 수 있느냐이다.
AI 에이전트는 때때로 이미 낡은 정보를 기준으로 행동할 수 있다. 예를 들어 오래된 값을 고르거나, 나중에 보면 말이 안 되는 결정을 자신 있게 내릴 수 있다. 이런 문제는 프로그램이 멈추는 오류와 다르다. 겉으로는 정상 작동하지만 판단 근거가 틀린 경우다. 원인을 찾기 위해 LangSmith, Langfuse, Phoenix 같은 도구의 추적 기록을 훑어보거나, 원시 로그를 읽거나, 직접 만든 확인 도구를 쓰는 방식이 거론된다. 핵심 고민은 현재 도구들이 에이전트가 오래된 정보를 쓴 순간을 실제로 잡아내는지, 아니면 문제가 생긴 뒤 한참 지나서야 알게 되는지다.
소규모 팀의 내부 저장소 실험에서는 AI 에이전트가 만든 코드 변경을 한 모델에게만 맡겨 검토하면 문제가 생겼다. 같은 모델이 버그가 있는 코드를 만들고도 스스로 검토한 뒤 괜찮다고 판단해 병합할 수 있었다. 이를 막기 위해 여러 모델이 서로 다른 관점으로 독립 검토를 하고, 모두 명확히 승인해야 변경을 통과시키는 방식으로 바꿨다. 핵심 규칙은 단순했다. 댓글은 승인이 아니며, 오직 명시적인 승인만 승인으로 친다. 애매한 우려나 불확실성이 있으면 그 자체를 멈춰야 할 신호로 보고 변경을 기다리게 했다. 한 사례에서는 검토 모델들이 약 31차례 의견을 주고받은 뒤에야 의견이 모였고, 결과적으로 두 줄짜리 깨끗한 수정만 병합됐다. 아직 외부 사용자가 없는 내부 실험이라 일반화에는 주의가 필요하다.
AI 에이전트가 마지막에 내놓는 요약은 실제 작업보다 더 그럴듯하게 보일 때가 있다. “문제를 고치고 구현을 정리했다” 같은 말은 듣기 좋지만, 검토에 필요한 핵심 정보는 빠질 수 있다. 실제로 중요한 것은 어떤 파일을 바꿨는지, 어떤 부분은 건드리지 않았는지, 실행 중 무엇이 실패했는지, 어떤 가정을 했는지, 사람이 다시 확인해야 할 부분이 무엇인지다. 그래서 긴 설명이나 매끈한 완료 보고보다 짧고 구조화된 작업 기록이 더 도움이 될 수 있다. 필요한 기록은 원시 로그처럼 시끄러운 내용이 아니라, 시도한 일, 바뀐 점, 실패한 점, 아직 확신 없는 점, 다음에 확인할 점을 간단히 정리한 형태다.
많은 조직이 AWS Kiro, GitHub Copilot, Cursor 같은 인공지능 코딩 도우미를 도입하고 있다. 그런데 이런 도구들 중 일부는 코드 작성과 reasoning에 Claude 같은 바탕 모델을 쓰는 것으로 보인다. 핵심 코드 작성 능력이 Claude에서 나온다면, 기업이 Claude를 직접 쓰지 않고 Kiro, Copilot, Cursor 같은 제품을 쓰는 이유가 무엇인지가 핵심 질문이다. 가능한 이유로 기업 보안, 규정 준수, 업무 흐름 연결, 관리 체계, 비용 관리, 공급업체 관계가 제시된다.