AI 에이전트를 만들고 토큰·비용을 아끼는 데 도움이 되는 오픈소스 도구와 기법을 모읍니다.
파이썬으로 AI 에이전트를 처음부터 구현하는 방법을 정리한 개인 실험이다. 목표는 전문적인 프레임워크를 만드는 것이 아니라, AI 에이전트를 더 쉽게 만들 수 있게 구현 과정을 단순하게 보여주는 것이다. 구현이나 설명에서 헷갈리거나 지나치게 복잡한 부분이 있으면 피드백을 받아 고치려는 성격이 강하다. 구체적인 비용 절감 방법이나 토큰 사용 최적화 내용은 제시된 정보만으로는 확인되지 않는다.
DDIA-RAG는 『Designing Data-Intensive Applications』라는 어려운 기술 책을 대화하듯 물어볼 수 있게 만든 RAG 앱이다. 단순히 비슷한 문장을 찾아 보여주는 방식이 아니라, 책의 각 텍스트 조각이 어느 장과 어느 절에 있는지 함께 저장한다. 그래서 넓은 질문은 책 전체에서 의미가 가까운 부분을 찾고, 구체적인 질문은 바로 맞는 절로 좁혀 답한다. 특정 부분을 콕 집어 묻는 질문에는 일반적인 답 대신 단계별 설명을 준다. 기술 구성은 Next.js, LangGraph, Neon 서버리스 Postgres와 pgvector, Drizzle ORM, Together AI를 쓴다. 모델은 Llama 3.1 8B가 텍스트 정리에, Nomic이 임베딩에, Llama 3.1 70B가 추론에 쓰인다. 데모와 GitHub 저장소가 공개되어 있어 구현 방식을 확인할 수 있다.
Lumenfolio는 학술 논문 PDF를 컴퓨터 안에서 우선 처리하는 데스크톱 인공지능 리더다. 보통 PDF 기반 RAG는 문서를 잘게 나누고, 임베딩을 만들고, 벡터 데이터베이스에 넣은 뒤 질문에 답하게 한다. Lumenfolio는 단일 논문을 깊게 읽는 경우에는 이 과정을 기본값으로 쓰지 않고, PDF를 쪽, 블록, 줄, 조각, 구조 트리, 표, 그림, 위치 좌표로 나눈다. 검색은 SQLite FTS, 문서 구조, 쪽과 블록 단위의 근거를 함께 사용한다. 답변에는 쪽 단위와 위치 좌표 단위의 출처가 붙어, 원본 PDF의 정확한 영역으로 돌아갈 수 있다. PDF 색인, 메모, 채팅 기록, 메타데이터는 기본적으로 로컬에 보관된다. 스캔된 PDF, 표, 그림을 위해 OCR, 표 근거, 시각적 잘라내기도 지원한다. 에이전트는 읽기 전용 문서 도구를 통해 구절을 찾고, 쪽이나 섹션을 열고, 표와 그림을 확인한 뒤 근거에 맞춰 답할 수 있다.
Pi를 Qwen3.6-27B와 함께 한 달 넘게 매일 쓰면서 Codex나 Claude Code를 거의 대신할 수 있었다는 firsthand 경험이다. 이 설정은 보통 GPT-5.5를 advisor 확장으로 붙여 쓰며, 로컬 모델을 쉽게 연결하는 흐름을 지원한다. 화면 아래에는 토큰 사용량, 비용, 추론 속도가 표시되어 작업 중 소비량을 바로 확인할 수 있다. Claude Code와 비슷한 문맥 분석 명령도 있어 긴 작업에서 어떤 내용이 문맥을 차지하는지 살펴볼 수 있다. 권한 설정을 조정할 수 있고, 여러 테마와 확장, 직접 만든 스킬과 공개 스킬을 함께 쓸 수 있다. 다른 기기에서도 비슷한 환경을 빠르게 맞추기 위한 동기화와 백업 스크립트도 포함되어 있다.
Accio 공급업체 발굴 도구는 인스타그램에서 발견된 서비스로, 공급업체 검색과 선별 과정을 자동화한다고 소개되어 있다. 목표는 사람이 직접 후보를 찾고 비교하는 시간을 줄이고, 의사결정에 필요한 자료를 더 빨리 모으는 것이다. 현재 사용은 아직 시험 단계다. 실제 구매나 발주 과정에서 Accio가 얼마나 잘 작동했는지, 또 AI 에이전트로 VA 비용을 줄인 경험이 있는지가 핵심 관심사다.
Neural Frames는 지식을 단순한 문서 조각으로 저장하지 않고, 개념별로 작은 학습 가능한 단위로 저장하자는 아이디어입니다. 각 단위에는 사실 정보, 출처와 신뢰도 같은 메타데이터, 다른 개념과의 연결 관계, 그리고 그 개념이 문맥 안에서 어떻게 쓰이는지 담는 작은 학습 요소가 들어갑니다. 기존 RAG는 질문이 들어오면 비슷한 문서 조각을 찾아 대형 언어 모델에 넣지만, Neural Frames 방식은 질문과 관련된 지식 단위만 골라 활성화한 뒤 답을 만들게 합니다. 이 구조는 GraphRAG처럼 지식 사이의 관계를 쓰면서도, 개념별로 작게 조정된 LoRA 같은 학습 요소를 붙인다는 점이 다릅니다. 아직 논문이나 검증된 제품이 아니라 토론용 초기 아이디어이며, 실제로 더 정확한 답이나 낮은 비용을 만들 수 있는지는 실험이 필요합니다.
RAG 시스템은 문서에서 관련 내용을 찾아 답을 만들지만, 실제로는 필요한 문서를 모두 찾지 못할 수 있다. 이때 답변은 인용도 있고, 가져온 문서 안에서는 맞는 말만 담고 있어서 믿을 만해 보인다. 하지만 빠진 문서에 중요한 근거가 있으면 전체 결론은 틀릴 수 있다. 이런 문제는 없는 내용을 지어내는 환각보다 알아차리기 어렵다. 사용자는 인용을 보고 답을 신뢰하고, 시스템은 자신이 전체 근거 중 일부만 봤다는 점을 잘 알려주지 못한다. 실제 서비스에서는 답변을 잘 쓰는 능력보다 필요한 근거를 빠짐없이 찾는 능력이 더 중요할 수 있다.
개인 투자 포트폴리오를 Coinbase나 Robinhood 같은 투자 플랫폼에서 AI 에이전트가 다루게 하려는 구상이다. 핵심 고민은 실제 계좌에 바로 연결하기 전에 더미 계좌나 연습용 계좌로 먼저 시험해야 하는지다. 또 돈과 주문이 걸린 작업이라 가드레일, 통제 장치, 실행 제한을 어떻게 둘지도 중요하다. 여러 투자 플랫폼에 각각 다른 에이전트를 붙여 확장하는 계획도 포함된다. 어떤 에이전트 프레임워크나 에이전트 하네스가 이런 용도에 맞는지 추천을 찾고 있다.
JudgeOS V5.8은 AI 에이전트나 로봇, 임상 업무 흐름, 현실 자산 업무, 국가 단위 시스템이 어떤 행동을 하려 할 때 필요한 검토 증거를 정리하는 방식이다. 핵심은 규제를 통과했다는 주장이 아니라, 규제 담당자나 감사인, 구매팀, 내부 위험 관리팀이 보통 요구하는 증거와 JudgeOS가 만들 수 있는 증거를 맞춰 보는 데 있다. 연결 대상은 EU AI Act, NIST AI RMF, ISO 42001, GDPR, SOC 2, OWASP LLM / Agentic AI 같은 AI 관리·보안 기준이다. 처리 흐름은 제안된 행동을 먼저 결정론적 거버넌스 경계로 보내고, 권한, 테넌트 경계, 정책 묶음, 증거, 어댑터와 행동 연결, 실제 실행될 행동의 고정, 영수증과 재현 기록을 확인한다. 결과는 허용, 거부, 상급 검토, 검토, 속도 제한, 성능 저하 모드, 잠금의 7가지로 나뉜다. 이 중 허용만 실제 실행기로 넘어간다. JudgeOS 자체는 행동을 실행하지 않는다.
영업 기술 스타트업이 Claude Code 기반 AI 에이전트 여러 개로 검색 최적화 작업을 자동화해 월 방문자 1만 명을 만들었다고 밝혔다. 사이트는 8개월 전에 시작됐고, 최근 4개월 동안 가입자는 1,700명 이상이었다. 전체 구조는 검색 최적화 과정을 끝까지 나눠 처리하는 다중 에이전트 시스템이다. 블로그 기획 에이전트는 SpyFu API로 검색어 기회를 찾고, 제품 목록 글, 경쟁사 비교 글, 일반 안내 글처럼 글의 종류에 맞춰 개요를 만든다. 하루에 글 10개를 계획하고, 중복된 주제를 확인해 자동으로 정리한다. 한 달에 한 번 실행되는 cron job은 새 검색어 기회를 다시 찾는다. 블로그 관리 에이전트는 매일 오전 5시에 블로그 작성 에이전트를 실행하고, 이미지가 뜨지 않는 문제 같은 오류를 확인한다. 또 다른 예약 작업은 6개월마다 기존 글을 새로 고치도록 되어 있다. 블로그 작성 에이전트는 각 검색어에서 이미 잘 되는 글을 조사해 구글에 불이익을 받지 않도록 하고, 중복 정도도 점검한다.
코딩 에이전트가 실패하는 이유는 도구가 부족해서가 아닐 때가 많다. 이미 셸, 깃, 브라우저, 파일 읽기 같은 기본 도구는 갖고 있다. 문제는 릴리스, 긴급 수정, 배포, 마이그레이션처럼 각각 다른 절차가 필요한 일을 같은 방식으로 처리하려 한다는 점이다. 이런 일에는 먼저 확인할 것, 절대 건너뛰면 안 되는 것, 끝난 뒤 고쳐야 할 것, 완료로 볼 기준 같은 작지만 중요한 규칙이 붙어 있다. 모든 규칙을 영구 프롬프트에 넣으면 지시가 너무 길고 뒤섞인다. 더 나은 방식은 필요한 순간에만 업무별 문맥을 불러오는 것이다. 릴리스처럼 보이면 릴리스 확인 목록을, 패키징 파일을 만지면 패키징 메모를, 마이그레이션이면 백업과 검증 규칙을, 긴급 수정이면 변경 기록과 동기화 규칙을 불러온다. 일이 끝나면 그 추가 문맥을 버려 에이전트가 불필요한 정보에 눌리지 않게 한다.
Anthropic은 6월 9일 새 최상위 모델인 Fable 5를 공개했다. 6월 12일 미국 정부가 국가 안보를 이유로 수출 통제 지시를 내렸고, Anthropic은 이를 따르기 위해 Fable 5와 Mythos 5를 모든 고객에게서 중단했다. 다른 Anthropic 모델은 계속 사용할 수 있었다. 공식 설명에 따르면 문제의 근거는 모델에 코드베이스를 읽고 소프트웨어 결함을 고치게 하는 방식의 좁은 탈옥 가능성이었다. Anthropic은 GPT-5.5 같은 다른 공개 모델도 비슷한 일을 할 수 있으며, 이런 기능은 방어자가 매일 쓰는 정상적인 보안 작업이라고 반박했다. 에이전트 구축 관점에서는 비용이나 사용량 제한뿐 아니라, 규제나 지정학적 이유로 핵심 모델이 예고 없이 사라질 수 있다는 위험이 드러난다.
AI 에이전트가 단순히 초안을 쓰는 수준을 넘어 실제 작업을 처리할 때는 모델 성능만으로는 부족하다. 더 큰 위험은 에이전트가 틀렸거나 느리거나 필요한 문맥이 부족한 상태에서 다음 단계로 넘어가는 순간이다. 안전한 설계는 먼저 좁고 분명한 업무 하나만 자동화하고, 입력과 출력이 무엇인지 입출력 계약으로 드러내는 방식에서 시작한다. 작업 로그는 사용자 입력, 모델 출력, 도구 호출, 사람이 고친 내용을 따로 남겨야 나중에 어디서 문제가 났는지 볼 수 있다. 자동화를 멈출 수 있는 이름 있는 검토자가 필요하고, 에이전트 없이도 같은 일을 처리할 수 있는 수동 대체 경로가 있어야 한다. 문제가 생겼을 때는 프롬프트, 도구, 데이터 출처를 이전 상태로 되돌리는 롤백 점검표도 준비해야 한다. 운영 방식으로는 모든 행동 전 사람 승인, 작업 후 검토, 도구 권한 제한, 즉시 중지 장치 같은 선택지가 비교 대상이 된다.
PaddleOCR-ncnn-CPP는 PaddleOCR의 PP-OCR v3부터 v6까지를 C++에서 쓸 수 있게 만든 구현체다. 기존 Paddle C++ 실행 환경은 필요한 구성요소가 많고 배포가 복잡한 편이다. 이 구현은 추론에 ncnn을 사용해 더 가볍게 돌릴 수 있게 했다. 작업 환경에 따라 더 빠르게 동작할 수 있고, 설치와 배포도 단순해질 수 있다. 이미지나 문서에서 글자를 읽어야 하는 서비스에 붙이기 쉬운 형태를 목표로 한다.
Venxa는 모든 질문에 답하는 범용 챗봇 대신, 특정 분야에 맞춘 AI 에이전트를 만들려는 플랫폼이다. 범용 AI 도우미는 넓게 답할 수 있지만 답변이 흔하고 얕아질 수 있다는 문제의식에서 출발한다. Venxa의 방식은 각 분야에 필요한 메모리, 정해진 업무 흐름, 필요할 때 들어가는 사람의 전문 지식을 함께 쓰는 것이다. 첫 번째 AI 에이전트는 점성술 분야에 맞춰져 있다. 이후에는 소비자가 직접 쓰는 다른 분야로 넓혀갈 계획이다. 핵심 질문은 분야 특화 AI 에이전트가 앞으로 의미 있는 시장이 될지, 아니면 ChatGPT, Gemini, Claude 같은 범용 AI 도우미가 계속 중심이 될지다.
Rio de Janeiro 시정부가 Hugging Face에 Rio-3.5-Open-397B라는 새 인공지능 모델을 공개했다. 이 모델은 Qwen을 바탕으로 추가 학습한 모델이다. 공개자는 이 모델이 Qwen 3.7 Plus와 꽤 비슷해 보이지만, 차이는 가중치가 공개되어 있다는 점이라고 밝혔다. 공개자는 Rio de Janeiro 시정부에서 연구자로 일하며, 이 모델을 개발한 조직에 속해 있다고 밝혔다. 현재 제공된 내용에는 성능 수치, 사용 비용, 실행에 필요한 장비, 라이선스 조건 같은 구체 정보는 없다.
ultracode는 한 단어 명령으로 여러 AI 에이전트가 나눠 일하는 작업 흐름을 만드는 오픈소스 파이썬 도구다. 프롬프트에 “ultracode”와 원하는 일을 함께 쓰면, 모델이 작업 단계를 설계하고 이를 다시 쓸 수 있는 슬래시 명령으로 저장한다. 이 흐름은 한 번 실행하고 끝나는 방식이 아니라, 파일로 남겨 반복 작업에 사용할 수 있다. 여러 하위 에이전트가 동시에 작업을 나눠 맡고, 동시에 너무 많이 실행되지 않도록 제한된 병렬 실행을 사용한다. 결과는 서로 확인한 뒤 하나로 합쳐지며, 진행 상황은 두 칸으로 나뉜 실시간 화면에서 볼 수 있다. 이 기능은 Claude Code의 동적 작업 흐름 기능을 파이썬으로 다시 만든 것이며, ClawCodex라는 Claude Code 재구현 프로젝트의 일부다. 파이썬 3.10 이상에서 동작하고, 특정 AI 제공업체에 묶이지 않으며, MIT 라이선스로 공개됐다.
필요한 것은 각 에이전트가 자기 전용 작업 공간을 갖는 오픈소스 다중 에이전트 시스템이다. 이 작업 공간에는 오래 유지되는 메모리, 작업 기술, MCP 도구 설정이 들어가야 한다. 같은 에이전트가 여러 프로젝트에서 계속 쓰이면서 이전 작업에서 배운 내용과 도구 설정을 유지해야 한다. 여러 에이전트가 팀으로 일할 때 생긴 역할, 작업 나누기, 실행 순서도 한 번 쓰고 사라지는 것이 아니라 재사용 가능한 절차로 저장되어야 한다. 핵심 조건은 메모리를 사람이 직접 보고, 고치고, 지우고, 감사할 수 있어야 한다는 점이다. 클라우드에 묶이지 않고 직접 운영할 수 있어야 하며, 특정 회사 서비스에 갇히지 않는 오픈소스여야 한다. Claude Code 하위 에이전트는 독립 메모리와 도구 설정이 부족하고, Coze는 메모리가 불투명하며 클라우드 중심이고, CrewAI는 작업 흐름 구성에는 좋지만 프로젝트를 넘는 에이전트별 메모리와 상태 확인 기능이 기본으로 충분하지 않다. OpenJiuwen은 재사용 가능한 팀 기술이라는 점에서 후보로 검토되고 있다.
대규모 언어 모델을 한 번의 점수로만 비교하지 않고, 여러 과제를 이어서 풀게 하며 실패할 때마다 HP를 잃는 방식의 성능 시험이 준비되고 있다. 목표는 모델이 깨끗한 시험 환경에서 잘하는지만 보는 것이 아니라, 압박이 쌓일 때 성능이 어떻게 무너지는지 확인하는 것이다. 최신 대형 회사 모델들은 비교 대상에 포함될 예정이다. 추가로 오픈 가중치 모델, 특이한 미세조정 모델, 작은 로컬 모델처럼 쉽게 떠올리기 어려운 후보도 시험 대상으로 모으고 있다. API 사용 비용을 쓰기 전에 어떤 모델을 우선 비교할지 정하려는 단계다.
운영 중인 AI 기능에서는 API 제공사가 응답하지 않거나 429 오류를 보낼 때 앱이 다시 요청을 보내는 일이 생긴다. 이때 무작정 재시도하면 같은 요청이 여러 번 처리되어 비용이 예상보다 커질 수 있다. 중요한 쟁점은 재시도 전에 얼마나 기다릴지, 언제 다른 제공사로 바꿀지, 응답 실패가 이미 비용으로 청구됐을 가능성을 어떻게 볼지다. 여러 요청이 동시에 재시도될 때 정해 둔 비용 한도를 넘지 않게 막는 것도 어렵다. ai-prod-guard라는 초기 오픈소스 TypeScript 패키지는 요청별·세션별 강한 비용 한도, Retry-After에 따른 대기, 대체 제공사 사용, 제공사 상태를 잠시 기억해 아픈 제공사를 건너뛰는 기능을 목표로 한다. 실제 운영팀들은 이런 문제를 자체 개발, 게이트웨이, 제공사 SDK 기본값 중 무엇으로 처리하는지가 핵심 질문이다.
운영 환경에서 대규모 언어 모델(LLM)을 쓰는 팀들은 LLM 관측성과 비용 추적을 어떻게 처리하는지가 핵심 질문이다. 관심사는 어떤 도구를 쓰는지, 실제로 어떤 부분이 잘 안 되는지, 그리고 사용량이 커질 때 요청별 또는 사용자별 비용을 어떻게 나누어 계산하는지다. 특히 트래픽이 늘어나면 전체 청구액만 보는 것으로는 부족하고, 어떤 기능이나 사용자가 비용을 많이 만드는지 알아야 한다. 이 내용은 제품 판매가 아니라, 실제 문제가 무엇인지 확인하려는 사전 조사 성격이다.
코딩 에이전트가 분명히 실패하면 사람이 바로 알아차리고 고칠 수 있다. 더 큰 문제는 결과가 그럴듯해 보이고 에이전트가 끝났다고 말했지만, 안쪽에는 문제가 남아 있는 경우다. 테스트가 충분하지 않거나, 예외 상황을 놓치거나, 필요 없는 파일을 바꾸거나, 수정이 또 다른 버그를 만들 수 있다. 겉으로는 정상처럼 보이지만 실제로는 가장 쉬운 경우만 처리하는 코드일 수도 있다. 결국 사람이 다시 검토하고 정리해야 하므로, 핵심 질문은 에이전트가 코드를 쓸 수 있느냐가 아니라 에이전트의 완료 판단을 믿을 수 있느냐다.
Redan은 Claude Code harness 안에서 바로 쓰도록 만든 웹 침투 테스트 도구 모음이다. 폴더에서 Claude Code를 열면 준비가 끝나고, 이후 작업은 에이전트가 이어서 진행하는 방식이다. 만든 쪽은 `/effort ultracode` 설정을 권장한다. 지금까지는 Claude 에이전트와 함께 써 봤고, 다른 harness나 에이전트에서도 작동할 수 있다고 본다. 현재는 실제 사용자 피드백을 구하고 있다.
업무용 AI 에이전트 인프라를 18개월 다룬 경험 기준으로, NVIDIA GPU는 학습과 일반 챗봇 추론에는 강하지만 에이전트 작업에는 항상 잘 맞지 않을 수 있다. SambaNova의 SN40L/SN50과 NVIDIA의 H200/B200을 비교한 결과, 기존 GPU 인프라는 많은 토큰을 한꺼번에 싸게 만들어내는 일에 더 맞춰져 있다는 평가다. 챗봇에서는 사용자 한 명당 토큰 생성 속도가 낮아도 전체 비용이 낮으면 괜찮을 수 있다. 반면 에이전트는 긴 문맥을 읽고, 조사하고, 판단하고, 도구를 여러 번 부른 뒤 짧은 결과를 조금씩 내는 방식으로 움직인다. 이런 작업은 출력보다 입력이 훨씬 많아질 수 있고, 예시 비율은 입력 65 대 출력 1이다. NVIDIA는 답변을 만들기 전에 입력을 빠르게 읽는 프롬프트 처리에서는 매우 강하다는 평가도 함께 나온다. SambaNova의 Reconfigurable Dataflow Unit은 이런 길고 순서가 있는 에이전트 작업에 더 잘 맞게 설계됐다는 주장이다.
개인용 AI 에이전트를 만들 때 가장 큰 불편 중 하나는 세션이 바뀔 때마다 같은 배경 정보, 프로젝트 내용, 선호도를 다시 넣어야 한다는 점이다. 이렇게 반복 입력이 많아지면 자동화의 이점이 줄고, 불필요한 토큰 사용도 늘어난다. 사용자 지정 GPT의 메모리 기능은 가벼운 용도에는 쓸 만하지만, 컨텍스트 한도에 가까워지면 이전 정보를 제대로 유지하지 못할 수 있다. Mem 같은 노트 도구는 정보를 저장하는 데는 강하지만, 저장된 내용을 에이전트가 실제 행동에 잘 활용하지 못하는 한계가 있다. Open Campus의 에이전트 구성은 여러 개의 작은 에이전트가 각자 따로 기억하는 대신 하나의 지속 메모리 계층을 함께 쓰는 방식이라, 이력서 에이전트와 계획 에이전트가 같은 사용자 이력을 바탕으로 작동할 수 있다. 이 구성은 Animoca Minds 프레임워크 위에 만들어진 것으로 언급된다. 다만 공유 메모리는 두 에이전트가 서로 다른 사실을 갖고 있을 때 어느 쪽이 맞는지 조정하기 어렵다는 문제가 있다.
회사 내부 문서를 찾아 답하는 인공지능 도우미는 때때로 확신 있게 틀린 답을 내거나 엉뚱한 문서를 근거로 삼을 수 있다. 실험용 프로젝트에서는 사람이 바로 화면을 보고 있어서 오류를 알아차릴 수 있지만, 실제 운영 환경에서는 누가 어떻게 오류를 발견하는지가 문제다. 가능한 방법으로는 사용자의 불만 접수, 사람이 일부 답변을 골라 확인하는 점검, 자동화된 검사, Langfuse나 Arize 같은 관찰 도구, 직접 만든 평가 스크립트가 거론된다. 또 실제 팀이 정확도를 재는 데 시간이나 비용을 쓰는지, 오류가 개발팀만의 문제인지 아니면 다른 부서도 신경 쓰는지가 핵심 질문이다. 생산용 인공지능 도우미를 만들려면 답변 생성 자체뿐 아니라 틀린 답을 발견하고 측정하는 운영 절차가 필요하다.
AI 에이전트가 데이터베이스, 로컬 셸, 응용프로그램 인터페이스 같은 도구에 연결되면, 예측이 어려운 모델에게 실제 실행 권한을 주는 셈이다. 기존 방식은 모델의 답을 보고 위험한 행동이 없는지 추측하거나, 다른 거대 언어 모델이 중간에서 검사하게 해 시간이 크게 늘어나는 문제가 있다. Trajeckt는 프롬프트 문장을 고치거나 위험한 단어를 찾는 대신, 실제 도구 호출이 실행되는 단계 아래에서 막는 게이트웨이다. 도구 호출이나 실행 경로가 미리 정한 명세와 정확히 맞지 않으면 바로 버린다. 보안 계층의 지연 시간은 약 1.6밀리초로 제시되며, 500밀리초처럼 큰 추가 대기 시간을 피하는 것이 핵심이다. 이 구조는 모델이 직접 허락을 요청하는 방식이 아니어서 프롬프트 인젝션이나 탈옥 시도로 샌드박스를 벗어나기 어렵다는 주장이다.
AI 에이전트 앱은 사용자의 말투, 자주 쓰는 도구, 일하는 방식, 다시 하지 말아야 할 행동을 스스로 배운다고 내세우는 경우가 많다. 하지만 사용자가 이런 내용을 직접 적고 고칠 수 있는 간단한 설정 화면이 없는 경우가 있다. 메모리는 편리하지만, 사용자가 원하는 내용을 에이전트가 추측해서 배우게 두는 것보다 직접 수정하는 편이 더 빠르고 분명할 때가 있다. 핵심 질문은 에이전트가 사용자의 선호를 저장하는 별도 설정 층을 가져야 하는지, 아니면 대화에서 쌓이는 메모리에만 맡겨도 되는지다.
r/moduoduo는 브라우저 안의 챗봇이 아니라 공공장소, 에지 장치, 실시간 상호작용, 장기 운영 환경에서 돌아가는 AI 시스템을 다루려는 커뮤니티입니다. 초점은 AI가 실제 물리 환경에서 안정적으로 작동하게 만드는 엔지니어링 층입니다. 다루려는 범위에는 에이전트 런타임, 작업 흐름 제어, 음성·시각 처리 흐름, 에지 추론, 하드웨어 연결, 관찰 가능성, 지연 시간, 신뢰성, 배포, 유지보수, 운영이 포함됩니다. 우선순위로 원하는 자료는 말뿐인 토론보다 실제 결과물입니다. 예시는 구조도, 코드, 하드웨어 설정, 성능 측정, 배포 기록, 장애 보고서, 실패 분석, 운영에서 얻은 교훈입니다. 특히 장기 실행 에이전트를 위한 공개 런타임 패턴, 실제 배포된 에지 하드웨어 성능 비교, 음성 에이전트 지연 시간 분석, 하드웨어·소프트웨어 통합 안내, 운영 후 장애 분석 같은 주제가 후보로 제시됩니다.
기존 자동화는 정해진 규칙대로 같은 입력에 같은 결과를 내는 방식이다. AI 에이전트는 상황을 판단하고 결정을 더할 수 있지만, 답이 매번 달라질 수 있고 토큰 비용도 든다. 에이전트가 기존 자동화 흐름을 실행하게 만들면 사람이 직접 누르는 일을 줄일 수 있지만, 실제 업무에서는 여전히 사람이 확인하는 단계가 필요할 수 있다. 가까운 미래에는 정해진 업무를 처리하는 데 기존 자동화가 가장 싼 방식으로 남을 가능성이 크다. 현실적인 방향은 기존 자동화와 AI 에이전트를 섞어 쓰는 하이브리드 흐름이다. 핵심 질문은 이미 잘 작동하고 저렴한 기업 자동화를 AI 에이전트로 완전히 바꿀 만큼 실용적이고 비용이 맞는 사례가 있는지다.