AI 에이전트를 만들고 토큰·비용을 아끼는 데 도움이 되는 오픈소스 도구와 기법을 모읍니다.
Claude Design의 맥 데스크톱 앱에서 디자인 시스템을 골라 문맥을 이어받아 새 채팅을 시작할 때 “Failed to update design systems” 오류가 발생했다. 첫 번째 디자인 시스템에서는 세 번째 채팅을 시작하려는 시점에 이 문제가 처음 나타났다. 해결 방법을 찾지 못해 원래 자료 대부분을 다시 써서 새 디자인 시스템을 만들었다. 두 번째 디자인 시스템에서는 긴 대화를 이어가며 여러 새 디자인을 만들 수 있었지만, 이후 앱이 약 60만 8천 토큰의 문맥을 줄이려면 새 채팅을 시작하라고 안내했다. 새 채팅 버튼을 누르자 두 번째 디자인 시스템에서도 같은 오류가 다시 발생했다. 프로젝트와 파일은 유지된다고 안내됐지만, 실제로는 긴 작업 흐름을 새 채팅으로 넘기는 단계에서 막혔다.
검색 증강 생성(RAG) 환경에서 임베딩 작업을 대규모로 돌릴 때 처리량을 어떻게 높일지가 핵심 관심사다. 기준 규모는 매일 5만 개 이상의 문서이며, 문서 하나는 보통 10~20쪽 정도다. 이런 작업은 새 문서를 벡터로 바꾸어 검색할 수 있게 만드는 과정이라, AI 에이전트가 많은 자료를 참고해야 할 때 자주 필요하다. 요구사항은 실제 운영에서 검증된 방법과 현재 최신 수준의 접근법을 알고 싶다는 것이다. 구체적인 해결책보다는, 대규모 임베딩 운영에서 속도와 비용을 함께 줄이는 방법을 찾는 문제 제기다.
TorchJD는 파이토치에서 모델을 학습할 때 여러 손실을 함께 다루는 오픈소스 도구다. 여러 작업, 제약 조건, 보조 손실, 정규화 항목처럼 목표가 여러 개일 때 쓸 수 있다. 보통은 여러 손실을 평균이나 학습 가능한 가중치로 하나로 합친 뒤 경사 하강법으로 학습한다. 다른 방법은 각 손실마다 따로 기울기를 계산하고, 각 손실이 줄어드는 방향으로 학습 업데이트를 만드는 것이다. 이 방식은 목표들이 서로 충돌할 때 더 나을 수 있지만, 보통 메모리를 더 많이 쓴다. TorchJD는 두 계열의 주요 방법들을 한 라이브러리 안에 모아, 코드 몇 줄만 바꿔 여러 학습 방식을 시험할 수 있게 한다. 최근에는 파이토치 생태계에 받아들여졌다.
한 서비스 회사는 광고에 매달 약 4,000달러를 쓰면서도 문의가 질이 낮다고 보고 있었다. 실제로는 문의가 들어온 뒤 답장이 너무 늦었다. 같은 문의를 회사의 연락 양식에 넣었을 때 답변까지 26시간이 걸렸다. 같은 내용을 경쟁사에 보냈을 때는 11분 뒤 사람이 전화를 걸었다. 문제는 더 나은 경쟁사가 아니라 더 빠른 경쟁사였다. 하버드비즈니스리뷰 연구에 따르면 1시간 안에 답하는 회사는 몇 시간 뒤 답하는 회사보다 잠재 고객을 확인할 가능성이 약 7배 높다. 많은 회사는 첫 답장까지 거의 이틀이 걸린다.
Athena Loops는 파이썬으로 만든 가벼운 AI 에이전트 조율 도구다. 하나의 목표를 작은 작업으로 나누고, 여러 작업자 에이전트가 처리한 뒤, 검토자가 성공 기준을 확인한다. 기준을 못 맞추면 계획을 고쳐 다시 반복한다. Claude Code, Codex, opencode, aider 같은 여러 코딩 에이전트를 같은 방식으로 연결할 수 있고, MCP 서버나 명령줄 인터페이스로 실행할 수 있다. 작업 뒤에는 테스트 명령을 돌려 실패를 다음 반복에 반영할 수 있다. 반복 횟수, 전체 시간, 에이전트 호출 수를 제한하는 예산 장치가 있어 끝없이 도는 일을 줄인다. 저장소 작업은 별도 작업 트리에서 실행할 수 있고, 각 반복 뒤 변경 사항을 체크포인트로 남겨 중간 결과를 잃지 않게 한다. 코딩 에이전트의 기존 로그인 세션을 쓸 수 있어 별도 API 키 없이도 실행할 수 있다.
3개월 동안 회사 내부 자료를 바탕으로 대화형 AI 비서를 만드는 시험이 진행됐다. 목표는 운영팀과 영업팀이 복잡한 질문을 하면 정확한 답을 받게 하는 것이었다. 첫 주에는 작동하는 시제품까지 만들었지만, 실제 업무에 쓸 수 있는 수준으로 마무리하는 마지막 단계가 훨씬 어려웠다. 핵심 교훈은 모델 선택보다 검색 파이프라인과 데이터 품질이 더 중요하다는 점이었다. 거대 언어 모델은 넘겨받은 문맥 안에서만 답을 만들 수 있기 때문에, 오래되었거나 조각난 자료가 들어가면 좋은 모델도 틀린 답을 낸다. 실제 작업 시간은 모델 연결에 5%, 데이터 엔지니어링에 95% 가까이 쓰였다. 회사 문서는 깨끗해 보였지만, 임베딩하려고 보니 같은 고객 계약서가 여러 드라이브에 서로 다른 버전으로 흩어져 있었고 일부는 초안이었다.
실시간 음성 AI 에이전트는 사람처럼 말을 주고받는 타이밍이 핵심이다. 사람이 말하기 시작하면 즉시 멈추고, 실제로 조용해질 때까지 기다린 뒤, 짧게 답해야 자연스럽다. 브라우저에서 마이크 권한이 성공했다고 해도 실제 소리가 들어온다는 뜻은 아니다. 운영체제에서 마이크가 음소거되어 있으면 입력은 조용한 상태로 남고, 음성 활동 감지가 작동하지 않아 에이전트가 계속 듣는 중으로 멈출 수 있다. 서버 기반 실시간 API에서는 마이크 트랙만 음소거해도 과금이 멈추지 않을 수 있다. 음성 활동 감지가 모델 서버에서 계속 돌기 때문에, 실제로 쉬게 하려면 세션 업데이트로 발화 감지를 꺼야 한다. 에이전트가 만든 음성 합성이 다시 음성 인식으로 들어가면 자기 말을 듣고 반복하는 문제가 생기므로, 메아리와 주변 잡음, 모바일 기기 피드백을 걸러야 한다. 여러 에이전트를 함께 돌릴 때는 각 모델이 알아서 말하게 두기보다, 외부 오케스트레이터가 누구 차례인지 정하는 편이 더 안정적이다.
이 데스크톱 AI 에이전트는 마우스와 키보드를 직접 조작하는 Computer Use 방식 대신, 운영체제 기반 통합으로 여러 데스크톱 앱을 다루는 방향을 택했다. 목표는 5개나 50개 앱이 아니라 수천 개 데스크톱 앱과 연결할 수 있는 확장 가능한 방식이다. 개발팀은 Computer Use가 느리고 비싸서 사용자 한 명당 300달러어치 토큰을 부담하는 구조는 감당하기 어렵다고 본다. 그래서 백오피스 에이전트 처리에 초점을 맞추고, 높은 TPS에서도 더 부드럽게 작동하는 에이전트를 만들려 한다. 이 방식은 5개월 동안 데스크톱 앱 통합에 집중한 결과이며, 아이디어 검증 단계와 초기 제품 단계를 거쳐 Early Access까지 진행됐다고 한다.
로컬 음성 인식에는 현재 faster-whisper의 중간급 또는 대형 터보 모델이 8GB VRAM 그래픽카드에서 쓰이고 있으며, 성능은 이미 꽤 좋다. 원하는 대안은 Whisper보다 WER이 눈에 띄게 낮아야 한다. 영어, 일본어, 한국어를 안정적으로 알아들어야 하고, 속도는 faster-whisper와 비슷하거나 더 빨라야 한다. 말한 시간 위치를 알려주는 타임스탬프도 정확해야 한다. 8GB VRAM 안에서 실행되어야 하므로, 큰 서버용 장비가 필요한 모델은 맞지 않는다. 구체적인 새 모델 이름이나 성능 수치는 제시되지 않았다.
MetaHarness는 깃허브 저장소나 빈 프로젝트를 바탕으로 맞춤 AI 에이전트 실행 틀을 만들어 주는 오픈소스 도구다. 생성 결과에는 저장소를 이해하는 명령줄 도구, 지역 MCP 서버, 프로젝트 범위의 메모리, 실제 파일 구조를 바탕으로 만든 스킬, 운영 규칙, 배포 검증, 서명된 출처 증명이 들어간다. 브라우저에서 설치 없이 만들거나, 터미널에서 npx metaharness 명령으로 만들 수 있다. Claude Code, OpenAI Codex, pi.dev, Hermes, OpenClaw, RVM, GitHub Copilot, OpenCode, GitHub Actions 같은 여러 실행 환경에 맞춘 설정을 내보낸다. 만든 결과물은 이름과 브랜드를 바꿔 npm 패키지로 배포할 수 있고, 팀 전체가 같은 저장소 맞춤 에이전트를 npx 명령 하나로 쓸 수 있다. 핵심 비용 절감 아이디어는 모든 기능을 다 넣는 대신 프로젝트에 필요한 에이전트, 스킬, 명령, MCP 서버만 남겨 더 작고 목표가 분명한 실행 틀을 만드는 것이다. 도구는 작업별 모델 등급, 메모리 범위, 운영 규칙도 설정할 수 있게 해 모델 사용 방식을 조정한다. 기본 보안 설정은 네트워크, 셸, 파일 쓰기를 막고, 위험한 작업은 승인하게 하며, 호출 시간과 호출 횟수 제한 및 감사 기록을 둔다.
Silia라는 맞춤형 모델 구조로 1억 1700만 개 매개변수 모델을 H100에서 약 5시간 동안 훈련했다. 계산 자원은 Ok-Internal9317의 후원으로 마련됐다. 모델 파일은 Hugging Face에 공개됐고, 코드는 GitHub에 올라와 있다. 실행은 uv로 추론 스크립트를 돌리고 torch, numpy, regex, colorama를 설치하는 방식이다. 공개된 예시 출력은 질문에 바로 답하기보다 문장을 이상하게 나누는 흐름이라, 실제 답변 품질은 아직 불안정해 보인다.
전문 업무 문서가 많이 있고, 내용 범위는 매우 넓다. 목표는 이 문서들에서 온톨로지나 키워드 계층을 뽑아내는 것이다. 원하는 결과는 문서 전체에서 반복되는 공통 어휘를 바탕으로 3~10개의 큰 분류나 핵심어를 만드는 것이다. 구체적인 방법이나 실험 결과는 제시되지 않았고, 어떤 접근이 적절한지 탐색하는 단계다.
AI 에이전트 작업을 한 가지 강한 모델에 모두 맡기지 않고, 4단계 모델로 나누어 처리하는 방식이다. 대부분의 요청은 빠르고 싼 오케스트레이터 모델이 먼저 받아서 분류하고, 더 어려운 작업일 때만 비싼 모델로 넘긴다. 핵심은 대부분의 에이전트 호출에는 최고급 프런티어 모델이 필요하지 않고, 빠른 분류와 경로 선택이 먼저 필요하다는 점이다. 작업의 깊이에 맞춰 모델의 깊이를 맞추면, 더 똑똑한 단일 모델을 고르는 것보다 비용과 사용감에서 더 큰 차이가 났다. 특히 대화형 에이전트 흐름에서는 속도가 병목이었다. 감독 역할의 모델이 매번 10초 이상 걸리면 답변 품질이 좋아도 전체 에이전트가 둔하게 느껴진다. 오케스트레이터 판단이 2~5초 안에 끝나면 작업 흐름이 훨씬 자연스럽다. 제시된 구성은 DeepSeek V4 Flash를 오케스트레이터로, GLM-5.2를 기본 조언 모델로, GLM-5.2 최대 노력 설정을 깊은 추론용으로, Opus 4.8을 민감 정보를 제거한 고위험 작업용 최고 단계로 두는 방식이다.
대형 언어 모델의 코딩 실력을 실제 오픈소스 저장소의 병합된 풀 리퀘스트로 평가하는 방법론이다. 저장소를 사람이 변경하기 전 상태로 고정한 뒤, 각 모델을 서로 분리된 컨테이너에서 같은 조건으로 실행한다. 결과는 테스트 통과 여부만 보지 않고, 사람이 만든 풀 리퀘스트와 얼마나 같은 효과를 내는지, 코드 품질이 좋은지, 비용이 얼마나 드는지도 함께 본다. 평가는 모델 이름을 가린 블라인드 심사로 진행해 편향을 줄인다. 목표는 코드 생성과 리팩터링 작업에서 어떤 모델이 실제 업무에 더 쓸 만한지 더 엄격하게 비교하는 것이다.
로컬 대형 언어 모델의 답변 생성 속도는 긴 문맥에서 계산 능력보다 메모리 이동 속도에 더 크게 막힌다. 모델이 한 단어씩 이어서 만드는 자기회귀 디코딩에서는 이전 단어들의 Key-Value 캐시를 계속 불러와야 한다. 이 데이터가 빠른 처리 장치 안쪽 메모리로 들어오기 전에 상대적으로 느린 고대역폭 메모리에서 많이 이동해야 해서 실행이 멈칫한다. 문맥이 수천 토큰으로 길어질수록 표준 Multi-Head Attention은 각 Query 헤드마다 별도의 Key/Value 쌍을 두기 때문에 메모리 통행량이 크게 늘어난다. Multi-Query Attention은 모든 Query 헤드가 하나의 Key/Value 쌍을 공유해 메모리 부담을 크게 줄이는 방향이다. LLaMA 3와 Mistral 같은 최신 구조는 이런 메모리 병목을 줄이기 위해 주의 구조를 바꾸는 흐름 위에 있다.
Claude Code가 여러 도구를 순서대로 움직여 웹앱에서 제품 소개 영상을 만드는 작업 흐름이다. 헤드리스 크롬으로 실제 웹앱 안의 3D 모델 회전을 캡처하고, HTML/자바스크립트 애니메이션을 시간 기준으로 한 장면씩 렌더링한다. 소리도 프로그램으로 합성한 뒤, ffmpeg로 화면과 소리를 하나의 영상으로 합친다. 목표는 프레임 누락 없이 같은 결과를 반복해서 만들고, 나중에 애니메이션이나 소리를 쉽게 바꾸는 것이다. 비용은 무료 도구 중심으로 설계되어, 제품 데모나 마케팅 영상을 빠르게 다시 만들 수 있다는 점을 강조한다.
Gemini의 현재 약점은 더 오래 생각하는 선택지가 부족하다는 점일 수 있다는 의견이다. OpenAI와 Anthropic은 작업에 따라 더 강한 사고 모드를 제공하는 것처럼 보이지만, Gemini는 2.5 Flash와 2.5 Pro에서 이미 기본 수준으로 보였던 ‘높음’ 정도에 머문다는 인식이 있다. Gemini 3은 성능을 더 끌어올리는 방향보다 비용을 줄이기 위해 사고량을 낮추는 방향을 넣은 것처럼 보인다는 주장이다. Antigravity에서 Gemini 3.5 Flash나 3.5 Pro는 같은 작업을 5~10분 안에 끝내지만 오류가 많거나 실제로 끝내지 못할 때가 있다고 한다. 반대로 Codex의 GPT 5.5와 Claude Code의 Opus 4.8은 작업에 최대 30분까지 걸리지만, 더 긴 사고 시간을 쓰는 것으로 보인다는 비교가 나온다. Deep Think도 언급되지만, 다른 회사의 강한 사고 모드와는 작동 방식이 달라 보인다는 의문이 남는다.
대규모 의료 정책 문서를 RAG에 넣기 위해 PDF를 마크다운으로 바꾸는 과정에서 속도와 품질의 균형이 핵심 문제가 된다. 처리 대상은 수천 개의 PDF이며, 많은 문서가 100쪽에서 400쪽이 넘는다. 표 정보가 중요하고, 일부 파일에는 OCR이 필요하며, 영어·프랑스어·스페인어 문서가 섞여 있다. 문서 상태도 좋지 않아 회전된 페이지, 스캔본, 복잡한 배치, 도장, 손글씨 메모, 낮은 품질의 스캔이 포함된다. 비용과 규모 때문에 LLM이나 VLM으로 처리할 수 없고, 개인 저장소에서 써야 하므로 MIT, Apache, BSD 같은 허용적 라이선스가 필요하다. PyMuPDF는 매우 빠르지만 배치와 표 구조를 많이 잃는다. PyMuPDF4LLM은 결과가 더 좋고 여전히 빠르지만 AGPL 라이선스가 걸림돌이다. Docling은 VLM 없이 쓸 때 표 추출과 배치 복원이 훨씬 낫지만, 큰 문서에서는 속도가 크게 느리다.
LocalLLaMA 커뮤니티에는 같은 대규모 언어 모델의 설정, 문제, 해결책 질문이 매일 반복해서 올라오고 있다. Reddit 검색만으로는 필요한 답을 찾기 어렵고, 모델 수가 늘수록 예전 해결책이 묻히기 쉽다. Qwen 3.6 모델처럼 잘 작동하지만 설정 조정이나 Jinja 템플릿 수정이 필요한 경우가 대표 사례로 제시됐다. 해결책은 사용자가 직접 관리하는 위키를 만들어 모델 설정값, 수정 방법, 문제 해결 기록을 한곳에 저장하고 Reddit에서 링크로 연결하는 방식이다. 위키를 호스팅할 자원은 준비되어 있으며, 커뮤니티와 운영진의 참여가 필요하다.
기업 운영자를 대상으로 한 초기 고객 조사에서, 실제 불편은 문서 검색이나 질의응답보다 흩어진 업무 지식과 판단을 되살리는 데 있었다. 자산관리와 패밀리오피스 부동산 운영 분야의 대화에서 비슷한 요구가 나왔다. 오랜 관계 기록과 최근 대화가 여러 곳에 흩어져 있으면 기존 시스템은 중요한 맥락을 이어서 기억하지 못한다. 운영자들은 AI가 과거 대화, 관계 이력, 개인의 대응 방식까지 참고해 문제에 맞게 판단해 주기를 원했다. 즉 단순히 자료를 찾아주는 도구보다, 오래 쌓인 업무 경험을 이어받아 상황에 맞게 반응하는 AI 에이전트가 더 큰 가치로 보였다.
한 자동화 전문가가 에이전시 운영 시스템을 살펴보다가 60일 넘게 밀린 청구서가 4만 달러 조금 넘게 쌓여 있는 것을 발견했다. 일부 청구서는 120일 넘게 밀려 있었다. 그 에이전시는 한 달 매출이 약 3만5천 달러였고, 대표는 급여 지급을 걱정하면서도 이미 벌어 둔 돈을 받기 위한 이메일을 보내지 못했다. 이유는 좋은 고객에게 돈을 재촉하는 사람처럼 보이고 싶지 않다는 감정적 부담이었다. 이런 사례는 드문 일이 아니며, QuickBooks 자료에 따르면 소기업의 56%가 아직 받지 못한 돈을 가지고 있고 평균 금액은 1만7천500달러다. 또 거의 절반은 30일 넘게 밀린 청구서를 갖고 있다.
여러 AI 에이전트가 같은 OpenAI 키를 쓰면 월 청구서가 하나의 숫자로만 보일 수 있다. 이 방식은 어떤 에이전트, 기능, 실행이 돈을 썼는지 나누어 보려는 문제를 다룬다. 보통 이런 추적 도구는 게이트웨이나 프록시를 거치게 해서 요청과 응답을 기록하지만, 그러면 지연이 늘고 장애 지점이 하나 더 생기며 민감한 프롬프트가 외부로 나갈 수 있다. 제안된 구조는 OpenAI 클라이언트를 감싸는 SDK가 앱 안에서 호출을 측정하고, 실제 모델 호출은 OpenAI로 직접 보내는 방식이다. 외부 제어 API에는 토큰 수, 비용, 에이전트 이름, 실행 태그 같은 메타데이터만 보낸다. 프롬프트와 응답 본문은 앱 밖으로 나가지 않는다. 코드에서는 OpenAI 가져오기 경로를 바꾸고, 환경 변수의 Spaturzu 키와 OpenAI 키를 읽은 뒤, 호출마다 에이전트 이름을 한 줄로 붙인다. 제목 기준으로 이 도구는 에이전트별 예산과 하드 캡도 SDK 안에서 강제하는 방향을 내세운다.
로컬 환경에서 학자의 전기 PDF만 근거로 질문에 답하는 RAG 기반 질의응답 시스템을 만들고 있다. 사용 도구는 Ollama, Llama 3.1 8B, Mistral, 임베딩, 코사인 유사도, BM25다. 흐름은 PDF를 잘게 나누고, 관련 조각을 검색한 뒤, 상위 문서 조각을 언어 모델에 넣어 답을 만드는 방식이다. 검색 자체는 어느 정도 작동하지만, 모델이 문서에 없는 사실을 만들어내는 문제가 있다. 반대로 답이 문서에 분명히 있어도 “본문에 명시되어 있지 않다”처럼 지나치게 조심스럽게 답하는 경우도 있다. 핵심 고민은 원인이 검색 품질인지, 프롬프트 문제인지, 아니면 7B~8B급 작은 모델이 전기처럼 이야기형 문서를 정확히 다루기 어려운 한계인지다.
뉴욕의 기술 회사 Azeroth Inc.가 만든 AI 에이전트 플랫폼 Jenova는 연간 반복 매출 100만 달러를 넘었고, 70개국 이상에서 사용자 가입 20만 건을 넘겼다. 성장의 거의 전부는 유료 광고보다 자연 유입에서 나왔다. Jenova의 핵심 생각은 AI 에이전트가 오래 쓸수록 더 똑똑해져야 한다는 것이다. 대화, 올린 문서, 사용자가 보인 선호가 다음 작업에도 이어지도록 설계했다. 메모리는 부가 기능이 아니라 제품의 중심 구조다. Pinecone의 벡터 데이터베이스가 Jenova의 검색 계층을 뒷받침하며, Pinecone은 이 구조와 효과를 다룬 사례 연구를 냈다. Jenova에는 만화 제작, 주식 분석, 역할극 게임 진행처럼 여러 목적에 맞춘 AI 에이전트가 들어 있으며, 각 에이전트는 이전 작업 상태를 이어받는 방식으로 동작한다.
여러 일을 혼자 운영할 때 둘 이상의 AI 에이전트를 동시에 쓰면 서로의 작업을 되돌리거나, 같은 내용을 다시 설명하게 만들거나, 같은 일을 반복하는 문제가 생긴다. 이를 줄이기 위해 모든 에이전트가 함께 읽고 쓰는 공용 조정 층을 만들었다. 이 층에는 결정, 조사 내용, 열린 문제, 모듈 같은 기록이 쌓이며, 한 달 동안 약 850개의 메모가 저장됐다. 도구 자체 계산으로는 최소 약 200만 토큰을 아꼈고, 측정하기 어려운 절감분은 빼고 계산했기 때문에 실제 절감은 더 클 수 있다. 6개의 에이전트가 동시에 움직이면서 서로의 작업을 보고 각자 맡은 범위 안에 머물렀다. 예를 들어 한 에이전트가 요구사항을 고치는 동안 다른 에이전트가 배포를 진행했지만, 둘 다 작업이 겹친다는 사실을 알아차리고 사람의 개입 없이 조정했다. 가장 자주 쓰는 흐름은 사람이 한 문장만 남기면 에이전트가 그것을 정리하고 태그를 붙이며, 이후 다른 에이전트들이 같은 주제를 다시 파악하지 않고 이어서 처리하는 방식이다.
RAG를 처음 배우려는 사람에게 여러 입문 자료가 추천됐다. 핵심 자료는 LangChain 엔지니어가 파이썬으로 RAG를 처음부터 만드는 유튜브 강의다. LangChain 공식 RAG 튜토리얼도 추천됐고, 여기에는 필요할 때 검색 도구를 부르는 RAG 에이전트 방식과 한 번 검색한 뒤 답하는 RAG 체인 방식이 함께 나온다. 더 깊게 들어갈 자료로 LangGraph의 Agentic RAG 튜토리얼, LangChain의 GitHub 예제 저장소, RAG 설정을 다룬 기존 레딧 논의들이 포함됐다. 참고 자료로 『Generative AI with LangChain』 2판과 2026년 인공지능 엔지니어링 로드맵 글도 언급됐다.
운영 환경에서 LLM을 쓰면 전체 비용만 보는 것으로는 어떤 호출이 낭비였는지 알기 어렵다. 낭비 가능성이 큰 패턴에는 반복되는 라우팅 호출, 반복되는 태깅과 분류, 도구 선택 호출, 중복된 문맥, 충분한 기록을 보면 결과가 예측 가능한 요청이 있다. 반대로 꼭 최고 성능 모델에 남겨야 하는 호출도 구분해야 한다. 비용 대시보드는 모델이나 제공업체별 지출은 보여주지만, 실제로 불필요했던 호출을 항상 드러내지는 못한다. 현재 현장에서는 캐싱, 수동 규칙, 더 저렴한 모델, LiteLLM, Langfuse, Helicone, 의미 기반 캐싱, 평가, 자체 도구 같은 방법이 후보로 거론된다. 이 문제를 풀기 위해 오픈소스 추적 검사 도구를 만들며, 실제 팀들이 어떤 방식으로 안전하게 최적화 대상을 고르는지 확인하려는 상황이다.
샤오미의 Mimo v2.5 공식 블로그 글에서 어떻게 낮은 가격을 유지하면서도 2~3배 수준의 이익률을 낼 수 있었는지에 대한 추론(inference) 비용 최적화 방법을 설명한다. 작성자는 Mimo가 코딩 작업에서는 딥시크(DeepSeek) V4보다 낫고, 반대로 세계 지식(world knowledge) 면에서는 딥시크 V4가 더 우수하다고 비교한다. xAI도 저비용 API 경쟁에 뛰어들고 있지만, 작성자는 Mimo와 딥시크의 접근이 더 낫다고 평가한다. 앞으로 지금의 딥시크 V4 수준 비용으로 훨씬 더 뛰어난 성능의 AI를 쓸 수 있게 되길 바란다는 기대도 덧붙인다.
aito는 Copilot과 Claude Code를 쓸 때 토큰 낭비를 줄이는 기존 도구들을 한 번에 설치해 주는 명령줄 도구다. AI 코딩 에이전트가 매 작업마다 저장소 전체를 다시 읽거나, 긴 빌드 로그를 통째로 문맥에 넣거나, 새 대화마다 같은 설명을 반복하면 토큰 사용량이 크게 늘어난다. aito는 OpenSpec, RTK, ccusage처럼 이미 있는 절약 도구들을 새로 만들지 않고 하나의 설치 흐름으로 묶는다. 기본 설정을 제공해서 사용자가 각 도구를 따로 설치하고 맞추는 번거로움을 줄인다. `aito setup`으로 설치하고, `aito verify`로 실제 토큰 수를 확인할 수 있다. 단순히 절감률을 약속하는 대신, 사용자가 직접 확인할 수 있는 측정값을 보여주는 방식이다. macOS와 리눅스에서 동작하며, 일반 Bash로 만들어졌다. 기본적으로 원격 설치 스크립트 실행, 텔레메트리, 프록시는 쓰지 않고, 프록시는 사용자가 요청할 때만 켠다.
대규모 언어 모델을 실제 서비스에서 실행할 때 어떤 병목이 생기는지 정리한 공개 핸드북이 만들어지고 있다. 새로 추가된 장은 그래픽 처리 장치 실행 방식과 메모리 내부 구조를 다룬다. 핵심 내용은 추론 중 그래픽 처리 장치가 왜 자주 놀게 되는지, 메모리 계층이 처리량을 어떻게 제한하는지, 실제 속도 저하가 어디서 생기는지이다. 핸드북은 키-값 캐시, 배치 처리, vLLM, SGLang, TensorRT-LLM 같은 추론 최적화 주제도 함께 다룬다. 복잡한 구조는 mermaid 도표로 보여 주어 긴 설명만 읽는 것보다 흐름을 따라가기 쉽게 만들었다. 아직 완성본이 아니라 개인 학습 프로젝트로 계속 늘어나는 중이며, 실제 운영 경험이 있는 사람들의 수정과 피드백을 받고 있다.