AI 에이전트를 만들고 토큰·비용을 아끼는 데 도움이 되는 오픈소스 도구와 기법을 모읍니다.
코드 설명 문서가 실제 코드와 계속 맞는지 검사하는 도구가 공개됐다. 사용자는 인증 구조 문서, ADR, 서비스 설명 문서 같은 곳의 특정 주장들을 실제 코드 위치와 연결한다. 예를 들어 토큰을 새로 발급하는 함수나 인증 미들웨어와 문서 내용을 묶어 둔다. 이후 해당 코드가 바뀌면 도구가 단순한 변경인지, 실제 동작 변경인지 나눠 본다. 주석 추가, 변수 이름 변경, 코드 정리 같은 변화는 통과한다. 비교 연산자가 바뀌거나, 기다림 처리가 추가 또는 제거되는 변화는 실패로 처리해 문서 확인을 요구한다. 이 방식은 모델, 임베딩, API 키, 네트워크 호출 없이 정해진 규칙만으로 작동한다. 여러 개발자와 에이전트가 같은 저장소에서 일할수록 오래된 문서가 잘못된 공유 문맥이 되는 문제를 줄이려는 목적이다.
M3 Max 칩과 96기가바이트 메모리를 가진 맥에서 Deepseek 4 flash를 직접 실행할 수 있었다. Antirez의 전용 실행 엔진과 ds4 gguf 파일을 쓰고, 실행할 때 `--ssd-streaming` 옵션을 켜야 했다. `iogpu.wired_limit_mb=86016` 설정으로 Metal에 더 많은 메모리를 배정한 상태에서 동작했다. 저장소 코드를 고쳐 캐시 안전 여유값을 0.70으로 늘리면, 더 많은 전문가 부분을 비디오 메모리에 올려 보려는 실험도 가능했다. 속도는 대략 초당 11~13토큰이었다. 완전히 새로 켠 뒤 빈 Jan 어시스턴트 채팅에서 시작까지 약 10초가 걸렸고, 이후 첫 응답 대기 시간은 약 3~5초였다. 다만 긴 입력을 먼저 읽는 단계는 답답할 만큼 느려, 계속 쓸지는 확실하지 않았다. 간단한 메뉴 막대 앱 형태의 데몬을 만들어 Spotlight에서 바로 서버를 켜는 방식도 약 20분 만에 만들 수 있었다.
Bantz는 개인 컴퓨터에서 직접 돌아가는 AI 개인 비서다. Gemma 4b라는 작은 모델을 쓰며, 그래픽카드 없이 중앙처리장치만으로 실행된다. 기능은 지메일을 개인 메일, 기관 메일, 알림으로 나누어 읽고 요약하는 것, 구글 캘린더와 연결하는 것, 여러 자료를 비동기로 찾아 깊게 조사하는 것, 컴퓨터의 중앙처리장치·메모리·스왑 상태를 실시간으로 보고 알림을 주는 것이다. 예약 작업과 자율 지시도 다루며, Wayland 환경에서 데스크톱을 직접 조작하는 기능도 만들고 있다. 만든 쪽의 핵심 문제의식은 외부 AI 회사의 기반 시설에 기대면 정책, 정부 지시, 서비스 중단 같은 외부 결정에 취약하다는 점이다. 작은 로컬 모델을 쓸 만하게 최적화하는 일은 매우 어렵지만, 직접 운영하면 갑작스러운 차단이나 외부 비용 구조에서 어느 정도 벗어날 수 있다.
메타가 2026년 5월 대규모 조직 개편을 하면서 전 세계 인력의 10%를 줄이고, 약 7,000명을 인공지능 업무 흐름 관련 새 조직으로 옮겼다. 마크 저커버그는 이 과정에서 인력 운영에 실수가 있었다고 인정했고, 인공지능 모델 훈련 업무로 재배치된 직원들에게 다른 역할을 찾도록 하겠다고 밝혔다. Reddit 제목은 이를 메타가 자체 대규모 언어 모델 개발을 포기하는 신호처럼 해석하지만, 제공된 내용만으로는 메타가 Llama 같은 자체 모델 개발을 중단한다고 확정할 수 없다. 더 분명한 사실은 메타가 인공지능 조직과 인력 배치를 크게 흔들고 있으며, 모델 훈련·업무 자동화·내부 인공지능 활용을 중심으로 인력을 다시 짜고 있다는 점이다.
Galdor는 Go로 AI 에이전트를 만들고 운영하기 위한 오픈소스 프레임워크다. 2026년 6월에 v1.0.0이 공개됐고, Apache 2.0 라이선스를 쓴다. 핵심 특징은 에이전트가 어떤 대화, 도구 호출, 처리 단계를 거쳤는지 추적할 수 있고, 이를 로컬 SQLite 저장소와 내장 대시보드에서 볼 수 있다는 점이다. 별도 유료 관측 서비스 없이 한 실행 파일 안에서 대시보드를 띄울 수 있어, 작은 팀도 에이전트 문제를 직접 확인하기 쉽다. 실제 실행을 기록한 뒤 같은 조건으로 다시 돌리는 재실행 기능도 있어, 실패 원인을 찾거나 모델 변경 전후를 비교하는 데 도움이 된다. OpenAI, Anthropic, Google Gemini, AWS Bedrock, Ollama, vLLM 등 여러 모델 제공자를 바꿔 쓸 수 있고, MCP와 A2A도 클라이언트와 서버 양쪽을 지원한다. 여러 에이전트를 역할별로 나누는 감독자 방식과 집단 처리 방식도 포함돼 있다. 메모리는 짧은 대화 기록과 장기 저장소를 모두 다루며, SQLite, pgvector, qdrant 같은 저장 방식을 지원한다.
rag-timetravel은 문서를 계속 추가하는 RAG 시스템에서 검색 품질이 언제, 왜 달라졌는지 확인하는 도구다. LanceDB의 버전 관리 기능 위에서 작동하며, 색인이 업데이트될 때마다 가벼운 스냅샷을 만든다. 또한 질의와 검색된 조각을 간단한 기록으로 남긴다. 이전에 실행한 질의를 과거의 특정 색인 버전에서 다시 실행할 수 있고, 결과와 점수 차이를 비교할 수 있다. 명령줄 도구, 파이썬 API, 기본 HTML 보고서를 제공한다.
MARS2 Workshop은 ECCV 2026에서 열리는 멀티모달 추론 대회다. 핵심 주제는 영상처럼 여러 종류의 정보를 함께 보고 판단하는 능력과, 답을 바로 내지 않고 더 오래 계산해 단계적으로 판단하는 테스트 시점 추론이다. 적용 분야로는 광고 이해, 마케팅 관련 작업, 실제 상황 기반 영상 분석이 언급된다. MIT, Cambridge, Oxford, CMU, NTU 연구자들이 발표자 명단에 포함되어 있다. Tec-Do와 MiniMax가 주최 또는 후원 쪽에 이름을 올렸다. 아직 실제 평가 방식이 어떻게 짜일지, 특히 영상 시간 위치 찾기 같은 개발 현장 작업에 얼마나 도움이 될지는 분명하지 않다.
음성 AI에서 말소리를 글자로 바꾸는 일은 이제 큰 병목이 아니다. Whisper 같은 도구 덕분에 충분히 좋은 음성 인식은 매우 싸게 쓸 수 있게 됐다. 더 어려운 부분은 단어 밖에 있는 정보다. 누가 언제 말했는지, 말이 서로 겹쳤는지, 짧은 맞장구가 어느 순간에 들어갔는지가 대화의 의미를 크게 바꾼다. 시간 정보가 없으면 끼어들기, 협조적인 대화, 말다툼을 구분하기 어렵다. 단순한 대화록만 보는 대규모 언어 모델은 정중한 순서대로 말한 대화와 동시에 말을 겹친 대화를 같은 것처럼 볼 수 있다. 스트레스와 억양도 문장의 뜻을 바꿀 수 있으므로, 음성 AI는 글자만 처리해서는 대화를 충분히 이해하기 어렵다.
DGX Spark 2대를 연결해 Deepseek V4 Flash 같은 큰 MoE 모델을 직접 실행하면, 긴 문맥을 쓰는 AI 에이전트에도 쓸 만한 속도가 나온다. 핵심 조건은 DGX Spark 2대와 약 180달러짜리 전용 연결 케이블이며, 이 연결로 장비 사이 데이터 이동 속도를 크게 높인다. 공개된 측정값에서는 DGX Spark 2대가 vLLM과 FP8 설정에서 단일 요청 기준 약 41 토큰/초, 여러 요청을 동시에 처리할 때 총합 약 350 토큰/초를 냈다. 같은 비교에서 RTX Pro 6000은 단일 요청 기준 약 46.9 토큰/초, Mac Studio M2 Ultra 192GB는 약 29.7 토큰/초였다. DGX Spark 1대만 쓸 때는 약 14 토큰/초로 훨씬 느렸다. DGX Spark 2대 구성이 강한 이유는 FP8 설정을 쓰고, 동시에 여러 요청을 처리할 수 있기 때문이다.
2026년에는 오픈 가중치 AI 모델을 집에서 돌리기 쉬운 수준까지 가까워졌다. 핵심 변화는 더 많은 메모리를 요구하는 방향이 아니라, 같은 장비로 더 효율적으로 작동하게 만드는 방향이다. 희소 어텐션, 전문가 혼합, 잠재 키-값 압축, 다중 토큰 예측, 4비트 양자화 같은 방법이 모델 실행에 필요한 자원 부담을 줄이고 있다. 이는 개인 컴퓨터나 작은 서버에서도 더 강한 AI 모델을 실행할 가능성을 키운다.
한 업무용 전화 시스템은 모든 통화를 문자로 바꾸고 짧게 요약하는 기능을 제공한다. 이 기능을 대형 유료 API에 맡기면 통화가 많아질수록 비용이 커지고, 고객은 이런 기능을 추가 비용 없이 기대한다. 그래서 공개 모델을 자체 장비에서 직접 돌려 핵심 AI 기능을 운영한다. 시작 이유는 개인정보 보호나 기술 신념이 아니라 비용이었다. 시간이 지나면서 이 방식은 API 가격이 오르거나 요금 정책이 바뀌어도 핵심 기능의 비용을 예측 가능하게 만드는 안전장치가 됐다. 고객 데이터가 회사 네트워크 밖으로 나가지 않는 점도 실제 판매 장점이 됐다. 로컬 실행이 모든 AI를 큰 데이터센터에서 처리하는 방식보다 더 넓게 쓰일 수 있다는 관점도 제시된다.
RAG 시스템이 확신에 찬 틀린 답을 내는 큰 이유 중 하나는 문서를 어떻게 나누느냐에 있었다. 고정된 글자 수로만 문서를 쪼개면 조각이 너무 작을 때 앞뒤 문맥이 사라져 답에 필요한 조건이나 예외를 놓친다. 반대로 조각이 너무 크면 맞는 부분을 찾더라도 필요 없는 글이 많이 섞여 답 품질이 떨어지고 추론 비용도 늘어난다. 겹치는 구간을 둔 슬라이딩 윈도 방식으로 바꾸자 결과가 좋아졌다. 의미 단위로 문서를 나누는 방식은 가장 좋은 결과를 냈지만, 색인을 만들 때 드는 비용이 커서 중요한 문서에만 쓰는 편이 낫다. 문서가 바뀌었는데 자동 재색인을 하지 않으면 오래된 정보가 계속 검색되어 답이 엉뚱해질 수 있다. 의미 검색은 제품 코드, 모델 번호, 특정 아이디처럼 정확한 글자 일치가 필요한 검색에는 약하므로 키워드 검색이나 혼합 검색을 함께 써야 한다.
AI 에이전트나 작업흐름을 고를 때 가장 큰 걱정은 결과가 맞는지 판단하기 어렵다는 점이다. 특히 자신이 잘 모르는 분야에서는 여러 도구를 직접 써봐도 답이 정확한지 확인하기 힘들다. 필요한 것은 에이전트의 결과를 평가하는 기본 방법이다. 산업별로 에이전트 평가나 평점을 모아둔 포럼이 있는지도 중요한 탐색 대상이다.
darknet-mcp-server는 다크웹 관련 정보를 다루는 오픈소스 MCP 서버다. 이 서버는 66개의 도구를 제공하며, 유출 데이터 확인, 랜섬웨어 추적, Tor .onion 주소 접근, 악성코드 분석, 블록체인 정보 확인, 취약점 검색, 탈취 로그 조회 같은 작업을 지원한다고 소개되어 있다. 핵심 용도는 보안 조사나 위협 정보 수집을 AI 에이전트의 도구 호출 흐름에 붙이는 것이다. 공개된 제목과 설명만으로는 설치 방법, 실제 지원 데이터 출처, 비용 절감 효과, 정확도, 안전장치 수준은 확인되지 않는다.
도구를 사용하는 LLM 에이전트는 일을 끝냈다고 해서 항상 좋은 결과를 낸 것은 아니다. 예를 들어 예약, 조회, 변경 같은 작업은 완료했지만, 정해진 안전 규칙이나 정책을 어겼을 수 있다. 이 연구는 결과를 안전한 성공, 위험한 성공, 실패로 나누어 평가해야 한다고 본다. Tau-bench라는 도구 사용 시나리오로 실험했고, 먼저 규칙으로 확인할 수 있는 정책과 도구 사용을 검사한 뒤, 더 복잡한 경우에는 LLM 검증기를 쓰는 2단계 구조를 제안한다. 검증은 위험한 성공을 줄일 수 있지만, 작업 단계가 길어질수록 전체 완료율도 함께 떨어질 수 있다. 이처럼 검증을 추가할 때 생기는 안전성과 성공률의 맞교환을 검증 비용이라고 부른다.
작은 챗봇을 직접 만들다가 Qwen3.6-27B로 기능을 빠르게 추가하면서 코드베이스가 크게 커졌다. 처음에는 결과가 인상적이었지만, 코드가 커진 뒤에는 아주 작은 버그가 많이 쌓이기 시작했다. 기본적인 개발자라면 잡았을 법한 문제까지 사람이 직접 검토하고 고쳐야 했다. 기존 방식은 모델에게 현재 프로젝트 전체를 읽게 한 뒤 기능 추가나 버그 수정을 맡기는 것이었다. 프로젝트 읽기만으로 12만 8천 토큰 컨텍스트의 약 절반이 쓰였고, 사용량이 80%를 넘으면 압축 명령으로 대화를 줄였다. 이후에는 매번 새 대화를 열고, 전체 작업공간 대신 특정 함수나 특정 줄 범위만 읽게 하며, 버그를 확인한 뒤 원하는 방식으로 정확히 고치게 하는 쪽으로 바뀌었다.
현대 검색 증강 시스템은 보통 관련 있는 정보를 잘 찾는지로 평가된다. 하지만 관련 정보의 대부분이 틀리고, 소수의 더 믿을 만한 출처만 맞는 말을 할 때 문제가 생긴다. 예를 들어 출처의 90%가 틀린 주장을 반복하고, 10%만 사실을 말한다면 검색 시스템은 사실보다 많이 반복된 쪽을 고를 수 있다. 비엠25 같은 전통 검색은 자주 나온 말을 선호하고, 밀집 검색은 널리 반복되는 의미 패턴에 끌릴 수 있으며, 재정렬기도 사람의 관련성 판단을 배운다. 그 뒤 답을 만드는 대형 언어 모델은 여러 자료를 합치면서 다수 의견 쪽으로 기울 수 있다. LOGOS-SIE라는 합성 데이터셋은 이런 문제를 시험하기 위해 현실, 관찰, 믿음의 단계를 나눠 만든다. 현재 공개된 구성은 1,000개 대상, 5,000개 사실, 100개 출처, 3개 커뮤니티, 50만 개 관찰, 50만 개 믿음이다. 목표는 출처 신뢰도 같은 조건을 직접 조절할 수 있는 문서 묶음을 만들어, 검색 시스템이 단순한 다수 의견이 아니라 더 사실에 가까운 정보를 찾는지 확인하는 것이다.
AI 에이전트를 만들 때, 모델이 같은 말이나 같은 행동을 반복하는 루프를 잘 찾아내는 기능이 필요하다. 이 사례에서는 루프 식별, 차단, 복구 기능을 시험하기 위해 일부러 자주 루프에 빠지는 모델을 찾고 있다. 최근에는 GLM Flash를 낮은 온도 설정과 강한 양자화 조건에서 썼을 때 문제가 가장 심했다. 이상적인 테스트용 모델은 약 75%는 여러 방식으로 루프에 빠지고, 약 25%는 도구 호출을 제대로 해내는 모델이다. 목표는 출력 내용을 보고 루프일 가능성을 점수로 매기고, 에이전트가 이전 단계로 돌아가 다시 지시해서 루프를 끊게 만드는 것이다.
새 인공지능 모델이 계속 나오면서 더 큰 장비와 더 강한 모델을 사야 한다는 압박이 커질 수 있다. 하지만 실제 개인 프로젝트의 복잡도는 과거 GPT-3.5 수준의 모델을 쓰던 때와 크게 달라지지 않았다는 경험이 제시된다. Gemma 4 12B 같은 로컬 모델도 개인 서버 구축, 저장소 작업, 자료 수집 같은 복잡한 일을 스스로 처리할 만큼 실용적일 수 있다. 문제는 성능이 부족해서라기보다, 더 강한 모델과 더 비싼 하드웨어가 계속 보이면서 현재 도구의 충분함을 믿기 어려워지는 데 있다. 모델 성능 비교표보다 실제 작업에서 원하는 결과가 나오는지가 더 중요한 기준이 된다.
거대 언어 모델 학습에 쓸 공개 인터넷 데이터는 점점 부족해지고 있다. 여러 개발팀이 같은 공개 자료를 반복해서 쓰기 때문에 데이터가 많이 겹친다. 그래서 금융, 의료, 석유·가스처럼 전문 지식과 내부 자료가 중요한 분야에서는 private domain-specific datasets가 더 중요해질 수 있다. 특히 1980년대부터 2000년대까지 기업이 보관해 둔 오래된 자료 중에는 아직 디지털 파일로 바뀌지 않고 물리 테이프에 남아 있는 데이터가 많을 수 있다. 이런 자료는 기존 인터넷 수집 데이터와 덜 겹치기 때문에 특정 분야용 모델이나 에이전트를 만들 때 차별화된 학습 재료가 될 가능성이 있다.
72GB 비디오 메모리(VRAM)가 있는 3장짜리 RTX 3090 컴퓨터에서는 큰 로컬 대형 언어 모델을 비교적 빠르게 올려 쓸 수 있다. GPT-OSS 120B는 여전히 안정적인 선택으로 쓰이고 있다. Qwen3.5 122B는 한 번의 지시로 코드를 만드는 작업에는 매우 강하지만, 필요 이상으로 오래 생각하는 경향이 있다고 평가된다. GLM Air 4.5 106B는 기본적으로 생각 과정을 길게 쓰지 않는 방식이라 빠른 답변에 자주 쓰인다. Gemma 4 31B와 Qwen3.6 27B는 더 작아서 빠르게 올리고 내리기 좋고, 48GB에서도 Q8 형식으로 잘 들어가며, 남는 그래픽카드를 음성·이미지 작업에 쓸 수 있게 해준다. Nematron Nano Omni 30B A3B와 Devstral Small 2 24B도 좋은 모델로 언급되지만, 실제 사용에서는 더 큰 범용 모델이나 Qwen 27B로 대체되고 있다.
BreakThePrompt는 사람의 지시를 너무 쉽게 믿는 AI 인턴 PIP에게 비밀번호, 회사 비밀, 직원 급여 같은 숨겨진 정보를 말하게 만드는 연습 게임이다. 며칠 전 공개된 뒤 많은 참가자가 AI 인턴의 약점을 찾아냈고, 이번 업데이트로 더 어려운 고급 단계 4개가 추가됐다. 이제 로그인하지 않아도 모든 단계를 바로 시도할 수 있다. 커뮤니티 공간에서 직접 맞춤 도전 과제를 만들고 친구나 동료에게 공유할 수도 있다. 모바일 화면에서의 사용감도 조금 개선됐다. 순위표에 표시할 사용자 이름도 직접 정할 수 있다.
OpenLoomi는 AI 비서가 업무 내용을 기억하도록 돕는 오픈소스 메모리 계층이다. 사람, 프로젝트, 결정 사항, 시간 흐름 같은 업무 문맥을 구조화해 저장하는 방향을 잡고 있다. 목표는 AI 비서의 기억을 보이지 않는 내부 처리로 두지 않고, 사용자가 살펴보고 이해할 수 있게 만드는 것이다. 단순한 대화 기록 저장보다 실제 업무 문맥을 중심으로 기억을 다루려는 점이 핵심이다. 아직 어떤 정보를 잊어야 하는지, 기억이 잘 작동하는지 평가하는 문제는 해결되지 않은 과제로 남아 있다. 프로젝트는 깃허브에 공개되어 있으며, 저장소 설명과 설계가 처음 봤을 때 명확하고 신뢰할 만한지에 대한 피드백을 받고 있다.
DeepSeek v4 Pro는 1.6조 개 매개변수를 가진 매우 큰 오픈 모델로 소개되지만, 여러 사용 사례와 벤치마크에서 항상 최상위로 평가되지는 않는다. 비교 대상으로 언급된 GLM 5.1은 7500억 매개변수, Kimi K2.6은 1조 매개변수, MiniMax M3는 약 4500억 매개변수 수준인데, 일부 평가는 이 모델들이 DeepSeek v4 Pro보다 낫다고 본다. MiMo v2.5 Pro도 벤치마크에서 더 높게 평가되는 경우가 있고, 일부 클라우드 제공업체에서는 DeepSeek v4 Pro와 비슷한 가격으로 제공된다. 다만 댓글의 핵심 반론은 DeepSeek v4 Pro가 아직 미리보기 단계라서 최종 성능으로 판단하기 이르다는 점이다. 또 단순히 매개변수 수만 볼 것이 아니라 실제 하드웨어에서 차지하는 크기, 정밀도, 캐시 사용량, API 가격을 함께 봐야 한다는 의견이 많다. 일부는 DeepSeek v4 Pro의 진짜 장점이 최고 점수보다 저렴한 추론 비용과 낮은 캐시 비용에 있다고 본다. 반대로 신뢰성이 부족하고 실수를 자주 한다는 경험도 있어, 지금 당장 중요한 업무용 에이전트의 기본 모델로 삼기에는 검증이 더 필요하다.
LLM API를 쓸 때 자주 마주치는 4xx 오류가 핵심 주제다. 4xx 오류는 보통 서버 고장이 아니라 요청을 보낸 쪽의 문제를 뜻한다. AI 에이전트를 만들 때 이런 오류를 잘 다루지 못하면 작업이 중간에 멈추거나, 같은 요청을 반복해 불필요한 비용이 생길 수 있다. 제공된 내용에는 구체적인 오류 종류나 해결 절차는 포함되어 있지 않다.
오픈소스 대형 언어 모델을 한곳에만 올려두지 말고 토렌트 방식으로 함께 보관하고 내려받자는 논의가 나왔다. 한 제안은 예전에 이미지 생성 모델 공유 사이트인 StableBay를 운영했던 경험을 바탕으로, 대형 언어 모델과 다른 AI 모델을 위한 새 토렌트 사이트를 만들 수 있는지 묻는다. 관련 논의에서는 Hugging Face가 많은 로컬 모델의 중심 저장소가 되어 있어, 법적·운영상 문제가 생기면 접근이 막힐 수 있다는 걱정이 나왔다. 그래서 여러 사람이 파일 조각을 나눠 보관하고 서로 전송하는 분산 미러가 백업 수단이 될 수 있다는 의견이 제시됐다. 핵심은 새 모델을 만드는 것이 아니라, 이미 공개된 모델 파일을 더 오래, 더 넓게 접근 가능하게 만들자는 것이다.
llama.cpp에 Cohere2-MoE 계열 모델을 돌릴 수 있는 구조 지원이 추가됐다. 이로써 Cohere와 Cohere Labs가 공개한 North Mini Code 1.0을 로컬 환경에서 더 쉽게 실행할 수 있다. North Mini Code 1.0은 코드 작성, 에이전트형 소프트웨어 작업, 터미널 작업에 맞춘 오픈 가중치 연구용 모델이다. 모델 크기는 전체 300억 매개변수지만, 한 번에 실제로 쓰는 부분은 30억 매개변수다. 이런 MoE 방식은 큰 모델의 능력을 일부 가져오면서도 매번 전체 모델을 돌리지 않아 실행 비용과 속도 면에서 유리할 수 있다. 문맥 길이는 최대 25만6000 토큰이며, 출력은 최대 6만4000 토큰까지 지원한다. 라이선스는 Apache 2.0이라 실험과 제품화 검토에 비교적 쓰기 쉽다.
Flows는 오래 실행되는 AI 에이전트 반복 작업을 눈으로 확인하기 위한 맞춤형 마크다운 실행 환경이다. 핵심 목적은 에이전트가 여러 단계를 거치며 계속 실행될 때, 그 흐름을 더 쉽게 따라가게 만드는 것이다. 확인할 수 있는 내용은 도구 이름, 시각화 목적, 마크다운 기반 실행 환경이라는 점까지다. 토큰 사용량이나 비용을 직접 줄인다는 내용은 확인되지 않는다.
InnerMatch는 RAG에서 문서를 찾는 방식을 고정된 유사도 점수에만 맡기지 않는 접근입니다. 일반적인 RAG는 질문과 문서가 뜻으로 얼마나 가까운지 계산해 자료를 고릅니다. 하지만 뜻이 비슷한 문서가 실제 답변에는 별 도움이 안 될 수 있고, 반대로 답에 필요한 자료가 질문과 표현이 달라서 빠질 수 있습니다. InnerMatch는 사용자의 반응과 이전 상호작용을 바탕으로 어떤 문서와 개념이 실제로 도움이 됐는지 조금씩 배웁니다. 사용자의 목표가 바뀌면 검색 방식도 맞춰 바꾸고, 단순한 의미 유사도만으로 보이지 않는 관계도 찾으려 합니다. 큰 모델을 다시 학습시키는 대신 가벼운 피드백 반복으로 검색 기준을 조정하는 점이 핵심입니다.
AI 에이전트 분야에서 ‘Harness Engineering’과 ‘AI agent Harness’라는 표현이 자주 거론되고 있다. 핵심 질문은 업계가 “모델이 모든 일을 처리한다”는 단순한 방식에서 벗어나고 있는지다. 특히 LLM이 에이전트의 답을 전부 직접 결정하게 두는 방식 대신, 에이전트를 둘러싼 실행 구조와 통제 장치를 더 중요하게 보는 흐름인지가 쟁점이다. 구체적인 답이나 사례보다는, 이 용어가 무엇을 뜻하고 왜 논의되는지 알고 싶다는 문제 제기에 가깝다.