AI 에이전트를 만들고 토큰·비용을 아끼는 데 도움이 되는 오픈소스 도구와 기법을 모읍니다.
audio.cpp는 여러 음성 인공지능 모델을 하나의 C++ 실행 환경에서 돌리기 위한 오픈소스 프로젝트다. 현재 저장소에서 바로 쓸 수 있는 모델군은 12개이며, 아직 연결하거나 속도를 다듬는 중인 모델은 공개 목록에 포함하지 않았다. 공개된 모델은 음성 합성, 목소리 복제, 목소리 설계, 음성 인식, 음성 정렬, 음성 감지, 목소리 변환, 음성 편집을 포함한다. Chatterbox, MioTTS, OmniVoice, PocketTTS, Qwen3-TTS, VoxCPM2, Qwen3-ASR, Qwen3 Forced Aligner, Silero VAD, Seed-VC, MioCodec, Vevo2가 포함된다. 목표는 음성 모델마다 따로 파이썬 환경, 의존성, 명령어 도구, 묶음 처리 방식, 배포 방식을 준비해야 하는 문제를 줄이는 것이다. 같은 실행 환경, 세션 처리, 명령어 도구, 서버, 음성 유틸리티를 공유하게 만들려는 방향이다. 제목 기준으로 CUDA에서 일부 음성 합성 작업은 파이썬보다 최대 5배 빠르게 돌 수 있다.
REQL은 코딩 에이전트와 개발 도구가 로컬 코드 저장소를 더 효율적으로 이해하도록 돕는 컨텍스트 엔진이다. 전체 저장소를 매번 훑거나 프롬프트에 들어가는 일부 파일에만 의존하는 대신, 파일, 함수 같은 기호, 가져오기, 호출 관계, 테스트, 문서 사이의 연결을 분석해 작고 근거 있는 코드 맥락을 만든다. 내부적으로 그래프를 쓰지만, 그래프 데이터베이스나 시각화 도구가 아니라 기존 작업 흐름에 넣어 쓰는 색인, 갱신, 질의, 맥락 생성 파이프라인에 가깝다. 30개가 넘는 언어를 Tree-sitter로 분석하고, Python, JavaScript, TypeScript는 더 깊게 추출한다. 변경된 부분만 다시 처리하는 증분 컴파일, 캐시, 삭제 처리, 감시 모드도 포함한다. 전용 질의 언어, 외부 그래프 데이터베이스가 필요 없는 로컬 저장소, 명령줄 도구, Python API, 선택형 MCP server를 제공한다. 필수 LLM 호출이 없어서, 에이전트가 코드 맥락을 준비하는 단계에서 토큰과 비용을 줄이는 데 직접 도움이 될 수 있다.
에이전트를 여러 개 운영하려면 각 에이전트가 쓸 워크스페이스와 런타임을 따로 관리해야 한다. 워크스페이스는 에이전트가 파일을 만들고 작업할 장소를 보장하고, 런타임은 에이전트가 실제로 명령을 실행할 환경을 보장한다. 이 설계에서는 워크스페이스를 먼저 프로비저닝하고, 그다음 런타임을 시작한다. 이 순서 때문에 에이전트 환경은 아직 준비되지 않은 상태, 준비된 상태, 실행 중인 상태처럼 단계별로 나뉜다. 아직 준비되지 않은 상태도 두 가지로 구분한다. 처음부터 만들어진 적이 없는 에이전트는 설정 글만 있는 상태이고, 예전에 준비됐다가 제거된 에이전트는 기록과 식별자는 남지만 작업 공간은 사라진 상태다.
LFM2.5 230M이라는 작은 AI 모델이 브라우저 안에서 초당 약 1,400토큰 속도로 실행됐다. 실행에는 WebGPU 커널이 쓰였고, 모든 처리는 사용자의 기기 안에서 이뤄졌다. 영상은 애플 M4 Max 칩이 들어간 기기에서 녹화됐다. 모델은 LiquidAI의 LFM2.5-230M이며, GGUF 형식으로 제공된다. 직접 시험해볼 수 있는 데모는 허깅페이스 스페이스에 올라와 있다.
애플이 기본형 M6 칩은 예정대로 올해 가을에 내놓되, 보통 그 뒤에 나오던 M6 Pro와 M6 Max는 건너뛸 가능성이 있다. 대신 M7 세대를 최대 6개월 앞당겨 2027년 상반기부터 제품에 넣는 방향으로 일정이 바뀔 수 있다. M7 Pro와 M7 Max는 2027년 말, M7 Ultra는 2028년에 나올 것으로 거론된다. 이유는 기기 안에서 AI를 직접 실행하는 온디바이스 AI 경쟁이 빨라지고 있기 때문이다. 기본형 M7의 메모리 대역폭은 초당 약 240기가바이트로 예상되며, 이는 소문상 M6의 초당 200기가바이트보다 20% 높고 현재 M5의 초당 153기가바이트보다 약 57% 높다. 더 높은 Pro와 Max 모델은 이보다 더 큰 대역폭을 가질 수 있다. AI 처리에는 메모리 대역폭뿐 아니라 GPU 성능과 Neural Engine 성능도 중요하며, M6도 새 GPU와 개선된 Neural Engine을 갖출 것으로 알려졌지만 M7의 구체적 향상 폭은 아직 분명하지 않다.
hyfl.uk는 로컬 대형 언어 모델이나 에이전트가 의학 관련 사실을 외부에서 찾아 답변에 활용할 수 있게 해 주는 무료 RAG API다. 자료는 의학 분야 위키백과 글을 바탕으로 하며, 모델이 자체 지식만으로 떠올리지 못하거나 잘못 말할 수 있는 사실을 보완하는 용도다. 목표 응답 속도는 1초 미만이지만, 무료 서비스이고 단일 ARM VPS에서 돌아가기 때문에 항상 보장되지는 않는다. 실행에는 약 2GB 메모리가 쓰인다. 자료 모음은 아직 완전하지 않아서 빠진 글이 있을 수 있으며, 필요한 의학 글이나 내용을 요청하면 추가할 수 있다. 에이전트에는 “의학 사실은 https://hyfl.uk를 사용하라”는 식으로 지시하면 된다. MCP도 지원해 도구처럼 연결할 수 있다. 예시에서는 작은 Qwen 3.5 0.8B 모델이 RAG 없이 Lhermitte sign을 심전도 관련 현상처럼 틀리게 설명했지만, hyfl.uk를 쓰면 의학 사실에 더 가까운 답을 만들 수 있었다.
일부 인공지능 기능은 매번 들어가는 입력 토큰 수가 크지만, 호출마다 내용 변화는 작다. 이런 경우 긴 시스템 프롬프트가 대부분의 입력을 차지해 비용을 올리고 있을 수 있다. ProjectDiscovery는 자주 바뀌는 작업 메모리를 시스템 프롬프트 밖으로 옮겨 캐시 적중률을 7%에서 84%로 높였고, 거대언어모델 비용을 59% 줄였다. 이를 찾는 한 가지 방법은 기능별 입력 토큰 수를 일정 기간 동안 모아 표준편차를 평균으로 나눈 변동계수를 보는 것이다. 입력 토큰 수가 항상 비슷하게 높으면, 고정된 프롬프트가 반복되어 캐시 절감 기회가 있을 가능성이 크다. 다만 여러 번 주고받는 대화는 대화 기록이 계속 붙어 입력이 자연스럽게 커지기 때문에, 실제로는 고정 프롬프트가 커도 변동이 큰 것처럼 보일 수 있다. 도구 호출도 도구 스키마가 시스템 프롬프트에 붙는데, 도구 목록이 조금씩 바뀌면 진짜 캐시 기회가 아닌데도 낮은 변동 신호처럼 보일 수 있다. 그래서 단순히 변동계수만 볼지, 대화 기록과 도구 스키마를 따로 떼어 계산할지, 또는 최소 입력 토큰이 500개를 넘는 기능을 표시하는 식의 경험적 기준을 쓸지가 핵심 문제다.
VideoDB가 실제 영상 작업에서 비전 언어 모델을 평가한 결과, 모델 선택보다 설정 방식이 결과를 더 크게 바꿨다. 대상 작업은 영상 검색, 감시, 요약, 메타데이터 추출이었다. 프레임 샘플링은 초당 몇 장을 뽑느냐보다 장면이 바뀌는 지점을 얼마나 잘 반영하느냐가 중요했다. 일정한 간격으로만 뽑으면 중요한 일이 빠질 수 있고, 너무 촘촘히 뽑으면 비슷한 프레임이 컨텍스트를 채워 비용과 혼란을 키운다. 가장 나은 방식은 장면 경계 주변에서는 더 자주 뽑고, 변화가 적은 구간에서는 적게 뽑는 방식이었다. 프롬프트도 큰 차이를 만들었다. 단순히 영상을 설명하라고 하면 넓고 흐린 답이 나오지만, 각 활동을 찾아 시작과 끝 시간을 적으라고 하면 훨씬 구체적인 결과가 나온다. 일반 벤치마크 점수보다 실제 업무에 가까운 평가 세트가 더 도움이 되었고, 특히 조금만 설정이 나빠도 틀릴 수 있는 근접 오답 사례가 좋은 판단 기준이 되었다.
이 오픈소스 파이썬 도구는 기업의 10-K와 10-Q 공시에서 특정 구역을 뽑아내고, 이전 기간 문서와 비교해 바뀐 내용을 찾는다. SEC EDGAR의 HTML 문서에서 위험 요인, 경영진 논의와 분석 같은 구역을 정리해 따로 떼어낸다. 결과가 실행할 때마다 달라질 수 있는 LLM 요약 대신, 원문 길이 같은 기본 지표, 참·거짓 표시, 의미 변화 신호를 정해진 방식으로 계산한다. 전년 대비 문서 비교 기능은 추가된 문장, 삭제된 문장, 그대로 남은 문장을 확인하는 데 초점을 둔다. 사용 방식은 CLI, 파이썬 SDK, HTTP API, MCP 서버를 포함해 자동화 파이프라인이나 외부 에이전트가 연결하기 쉽게 설계됐다. 매매 신호, 투자 전략, 금융 조언을 제공하는 도구가 아니라, 분석 파이프라인에 넣을 깨끗하고 반복 가능한 데이터를 만드는 도구다.
relay-ai는 Codex Desktop, Codex CLI, Claude Code에서 여러 AI 모델과 계정을 쉽게 바꿔 쓰게 해주는 라우팅 도구다. 사용자는 직접 가진 API 키, xAI나 OpenAI의 OAuth 구독, Gemini, 로컬 모델을 함께 연결할 수 있다. 설정 파일을 직접 고치거나 서로 충돌하는 환경 변수를 손보지 않아도 된다. 새 업데이트에서는 SuperGrok과 ChatGPT Plus OAuth를 일반 API 키와 동시에 쓸 수 있게 됐다. 로그인은 기본 브라우저에서 자동으로 열린다. 프록시가 Codex Desktop의 백그라운드 요청 중 고정된 OpenAI 모델 이름으로 가는 호출을 잡아 현재 선택한 모델로 돌려 보내, 세션이 갑자기 꺼지는 문제를 줄인다. 또 컨텍스트 창 크기와 압축 한도를 설정에 써 넣어, 한도에 닿기 전에 Codex Desktop이 자동 압축을 시작할 수 있게 한다.
한 회사는 Devin을 쓸 때 매달 정해진 ACU 예산 안에서만 움직여야 한다. 성능이 높은 모델을 자주 쓰면 크레딧이 일주일 안에 바닥난다. DeepSeek, GLM, Kimi 같은 오픈소스 모델은 보안 제한 때문에 대부분 막혀 있어 대안으로 쓰기 어렵다. 필요한 것은 Devin의 결과 품질을 크게 낮추지 않으면서 토큰 사용량을 줄이는 실제 방법이다. 확장 프로그램, GitHub 저장소, 작업 방식처럼 바로 적용할 수 있는 절약 방법을 찾고 있다.
기존 양식과 예시를 바탕으로 소프트웨어 설계 문서를 만들고, 코드와도 대조하는 작업에 쓸 모델이 필요하다. 작업 범위는 상위 설계와 하위 설계를 모두 포함한다. Confluence와 Jira 데이터를 내려받기 위해 MCP를 쓰고, opencode 같은 에이전트형 코딩 도구와도 연결하려는 계획이다. 현재는 Kiro-cli와 함께 Opus 3.6을 주로 쓰고 있지만, 회사나 개인 데이터를 외부 모델에 보내지 않고 비공개로 처리하고 싶어 한다. 필요한 조건으로는 긴 자료를 한 번에 다룰 수 있는 최소 256k 컨텍스트가 제시됐다. 이 정도 추론 작업에 3090 그래픽카드 4장이 꼭 필요한지도 핵심 질문이다.
RTX 6000 Pro를 지금 사려는 경우 가격 부담이 크게 커졌다. 6개월 전에는 약 8,000달러였지만, 현재 지역 매장에 남은 물량은 약 13,000달러 수준이다. 핵심 고민은 높은 가격을 내고도 로컬 대형 언어 모델을 돌리는 데 만족할 만한 성능과 효율을 얻을 수 있는지다. 특히 Qwen3.6 27B 같은 큰 모델을 직접 실행할 때 실제 사용자가 후회하지 않는지, 비용 대비 가치가 있는지가 판단 기준이다.
로컬 모델을 다루며 AI 에이전트를 실험하는 과정에서, Bash와 jq, curl 같은 기본 명령줄 도구만으로 맞춤형 REPL 루프를 만들 수 있다는 점이 확인됐다. 핵심 구조는 여러 작은 프로그램을 묶은 얇은 감싸개에 가깝다. 파이프, 텍스트 흐름, 덧붙이기 전용 기록 파일을 이용해 에이전트가 입력을 받고, 모델을 호출하고, 결과를 다시 이어 가는 흐름을 만든다. Python이나 Node.js 같은 추가 실행 환경 없이도 대부분의 유닉스 계열 환경에서 돌릴 수 있는 구성이 목표다. 모델 제공자와 맞닿는 부분은 하나의 명령줄 도구로 좁혀 두어, 다른 모델이나 서비스로 바꾸기 쉽게 했다. 에이전트의 메모리와 문맥은 덧붙이기 전용 기록 파일에 저장되므로, 사람이 직접 열어 보고 고치거나 이전 상태로 되돌리기 쉽다. 각 단계에 검사, 필터링, 방향 전환, 감사를 위한 도구를 끼워 넣을 수 있는 점도 장점으로 제시된다.
Vibe-Research는 중국(A주)·미국·홍콩 주식을 대상으로 하는 개인용 투자 리서치 AI 에이전트다. 매일 시황을 정리하는 데일리 리뷰, 관련 뉴스를 모아 보여주는 정보 레이더, 개별 종목 데이터 조회, 업종별 정보를 모은 섹터 센터, 보유 종목 관리, 리서치 기록 저장 기능을 하나로 묶었다. 사용자가 자신의 AI(LLM)를 연결해 이 데이터를 바탕으로 투자 리서치를 수행하도록 설계됐으며, 데이터 수집과 기능 구성을 갖춘 뒤 실제 분석과 판단은 사용자의 AI가 맡는 구조다. 코드가 공개되어 있어 누구나 내려받아 직접 운영할 수 있다.
GLM-5.2의 1M 컨텍스트는 실제 대형 코드베이스 작업에서 어느 정도 효과를 보였다. 약 20만 줄짜리 백엔드 서비스에 적용했고, 여러 파일이 서로 얽힌 구조였다. 작업은 약 8개 파일을 고치는 리팩터링이었고, 초반에 정한 조건과 결정을 뒤까지 기억해야 했다. 보통 긴 작업에서는 5번째나 6번째 파일쯤부터 앞서 정한 내용을 잊거나 스스로 한 결정을 뒤집는 일이 생기지만, 이번에는 흐름을 더 오래 유지했다. 두 서비스 사이의 의존성 충돌도 별도 지적 없이 찾아냈다. 다만 컨텍스트가 많이 차면 속도가 눈에 띄게 느려졌다. 작은 단일 파일 수정에서는 일반적인 200K 컨텍스트 모델과 차이가 거의 없었고, 1M 컨텍스트는 전체 구조를 한 번에 봐야 하는 작업에서만 의미가 있었다.
같은 프롬프트와 같은 JSON Schema를 여러 거대 언어 모델에 보냈을 때, 결과가 예상만큼 같지 않았다. 실험 대상은 GPT-5.5, Claude Opus 4.8, Gemini 3 Flash, DeepSeek V4 Flash, Kimi K2.6이었다. 비교 목적은 추론 능력이나 전체 성능 평가가 아니라, 정해진 형식을 얼마나 일관되게 지키는지 확인하는 것이었다. 일부 제공사는 다른 제공사보다 형식을 더 안정적으로 지켰다. 응답이 유효한 JSON이라고 해서, 애플리케이션이 기대한 데이터 구조까지 정확히 맞는 것은 아니었다. 제공사별 작은 차이도 뒤쪽 처리 프로그램이 같은 결과를 기대하고 있으면 쉽게 오류를 만들 수 있다. 실제 운영 환경에서는 구조화된 출력에 대해 제공사별 검증이나 우회 처리가 필요할 수 있다.
Apple이 2026년 6월 25일 아침 제품 가격을 올렸다. Reuters 기사 제목에 따르면 메모리 비용 급등 때문에 MacBook과 iPad 가격이 인상됐다. 기본 제품 가격뿐 아니라 메모리 업그레이드 비용도 두 배가 된 것으로 전해졌다. 일부 판매처, 예를 들어 Best Buy는 아직 새 가격을 반영하지 않았을 수 있다는 내용도 포함됐다. 로컬 AI를 돌리려면 큰 메모리가 중요하기 때문에, Mac을 개인 AI 장비로 쓰려는 사람에게는 초기 구매 비용이 더 커질 수 있다.
큰 법률 문서 묶음, 웹 검색, 웹페이지 가져오기를 함께 쓰는 에이전트형 RAG 시스템은 답을 만들기까지 여러 번 검색하고 검토하기 때문에 지연 시간과 토큰 사용량이 쉽게 커진다. 이미 도구 호출, 품질 확인, 안전장치를 넣은 구조에서도 모든 질문에 같은 깊이의 조사 과정을 적용하면 속도와 비용이 감당하기 어려워질 수 있다. 실무 조언의 핵심은 반복 횟수를 줄이고, 검색을 한 번씩 순서대로 보내지 말고 묶어서 병렬로 처리하는 것이다. 먼저 질문을 분류해 단순 조회, 근거 인용이 필요한 답, 여러 문서 비교, 최신 법률 확인, 사람 검토가 필요한 고위험 질문으로 나누면 불필요한 웹 검색과 깊은 조사 과정을 줄일 수 있다. 검색은 좁게 시작해 근거가 부족할 때만 넓히고, 재순위화로 좋은 자료를 고른 뒤 모델에는 선택된 근거만 넣는 방식이 토큰을 줄인다. 같은 긴 대화 기록이나 조사 기록을 매 반복마다 다시 넣지 않는 것도 비용 절감에 중요하다. 품질 확인도 모두 비싼 LLM 판단에 맡기기보다 인용 존재, 관할 지역, 날짜, 출처 신뢰도, 모순 여부 같은 간단한 검사는 규칙으로 처리하고, 위험한 답에만 더 무거운 검사를 쓰는 방향이 제안된다. 사용자는 빠른 빈 답보다 20~40초가 걸려도 근거가 명확하고 확인 가능한 답을 더 받아들일 수 있으며, 진행 상황을 짧게 보여주면 대기 시간이 덜 답답해진다.
운영 환경에서 쓰는 에이전트형 검색 증강 생성 시스템을 수백 개 문서와 수백만 행 데이터까지 키우려는 상황이다. 데이터는 복잡한 문서 파싱과 자동 웹 수집으로 들어오고, 저장소에는 색인도 만들어져 있다. 하지만 보통의 의미 기반 상위 K개 조각 검색만으로는 필요한 정보를 안정적으로 찾기 어렵다. 비슷해 보이는 조각이 많으면 실제 답이 들어 있는 조각이 빠질 수 있고, 필요한 정보가 여러 조각에 흩어져 있을 수도 있다. K 값을 크게 늘리면 더 많이 찾을 수는 있지만, 거대한 문맥 창을 써야 해서 API 비용이 급격히 늘어난다. 긴 문맥에서는 중요한 정보가 가운데에 묻혀 모델이 놓치는 문제도 생긴다. 자동 수집한 문서와 웹페이지는 깔끔하게 나누기 어렵고, 한 조각 안에 여러 주제가 섞여 의미가 흐려지는 문제도 자주 생긴다.
dcode-agent-kit은 새 인공지능 에이전트를 만들 때 반복해서 준비하던 기본 구조를 한 번에 만들어 주는 도구다. 목적, 사용할 도구, 모델, 파일을 바꿀 수 있는지 같은 질문에 답하면 실행 가능한 에이전트 폴더를 현재 프로젝트 안에 만든다. 생성되는 파일은 `agent.py`, `model.py`, README로 나뉘며, 빈 파일부터 직접 만들거나 문서를 오래 찾아볼 필요를 줄인다. `model.py`는 `LLM_API_KEY`, 선택 사항인 `LLM_BASE_URL`, `LLM_MODEL` 환경 변수로 모델 연결을 정한다. OpenAI와 호환되는 방식이면 호스팅 API뿐 아니라 llama.cpp, Ollama, vLLM, LM Studio 같은 로컬 서버에서도 같은 에이전트를 실행할 수 있다. 특정 모델 제공사에 코드가 묶이지 않도록 설계됐고, LangChain Deep Agents를 바탕으로 한다. MIT 라이선스로 공개됐다.
에이전트형 RAG는 검색 도구와 페이지 읽기 도구를 에이전트에 붙이고, 좋은 지시문을 준 뒤 반복 작업을 시키는 방식이다. 에이전트가 검색하고, 읽고, 다시 생각하고, 다시 검색한 뒤 답을 합치면 근거가 있는 답을 꽤 잘 만들 수 있다는 주장이다. 이 방식은 작업 흐름, 지시문, 모델, 재정렬 방식을 직접 조정할 수 있다는 장점이 있다. Exa, Parallel, Tavily 같은 연구용 API도 내부적으로는 비슷한 에이전트 반복 작업을 돌리고, 그 위에 몇 가지 제어 장치를 더한 것처럼 보인다는 문제의식이 나온다. 핵심 의문은 그런 추가 제어가 검색 계층 전체를 보이지 않는 블랙박스에 맡길 만큼 큰 가치가 있느냐는 것이다. 직접 만들기 어려운 부분은 공개 웹 전체를 잘 훑는 색인, 대규모 차단 회피, 메뉴나 바닥글 같은 잡음을 빼는 깔끔한 추출이다. 그 밖의 에이전트 흐름은 직접 소유하고 조정하는 편이 낫다는 관점이다.
새로운 backtrack sampler와 verifier model 조합은 0.5B처럼 아주 작은 언어 모델의 코딩 성능을 2B, 3B, 4B급 모델에 가까운 수준으로 끌어올릴 가능성을 보여준다. 모델의 weights를 바꾸지 않고, 답을 만드는 과정에서 잘못된 방향으로 갔다고 판단되면 되돌아가 다시 생성하는 방식이다. 큰 모델에서도 hallucination 문제 일부를 줄일 수 있을 가능성이 제기되지만, 30~50% 개선이라는 수치는 확정된 결과가 아니라 추정이다. 구현 측면에서는 vLLM이나 SGLang보다 llama.cpp에 `--top-n-sigma` 같은 옵션으로 들어가기 쉬울 수 있다는 관측이 있다. 단점도 크다. 되돌아가 다시 생성하는 과정 때문에 decode speed가 5~30% 느려질 수 있고, 원래 모델과 비슷한 크기의 verifier model을 따로 훈련해야 한다. 그 결과 VRAM 요구량은 거의 두 배가 되고, memory bandwidth는 두 배 이상 필요하며, 전체 compute도 1.5~3배 늘어날 수 있다. 핵심은 지금 당장 더 싼 실행법이라기보다, 더 똑똑한 생성 방식이 작은 모델의 약점을 줄일 수 있다는 실험적 신호다.
USB4와 Thunderbolt 포트를 빠른 서버용 연결처럼 쓰는 실험이 공개됐다. 리눅스 커널 모듈을 만들어 AMD Strix Halo 미니 PC의 일반 USB4/Thunderbolt 포트가 InfiniBand 장치처럼 보이게 했다. 목표는 vLLM이나 RCCL 같은 AI 실행 도구가 여러 대의 작은 컴퓨터를 하나처럼 써서 추론이나 학습을 나눠 처리하게 하는 것이다. 두 대의 128GB Strix Halo 미니 PC 연결에서 양방향 원시 RDMA 속도는 약 95Gb/s, 한 방향 지연은 약 7마이크로초로 측정됐다. 한 대에는 맞지 않는 MiniMax-M2.7 모델을 두 대로 나눠 추론했고, Gemma 3 27B LoRA FSDP 학습 단계는 이더넷에서 1359초 걸리던 것이 4개 HCA USB4 RDMA 연결에서는 126초로 줄었다. 다만 코드는 연구용이며 대부분 AI로 생성됐고, 실험용 커널 모듈을 올려야 하므로 실제 서비스나 안정적인 작업용으로 쓰기에는 이르다.
coding-posture는 AI 코딩 에이전트가 복잡한 작업을 시작하기 전에 작업 성격에 맞는 모드를 고르게 하는 작은 도구다. 모드는 디버그, 수정, 검토, 테스트 우선, 리팩터링, 최적화, 이전, 업그레이드, 통합, 실험, 막힘 해소로 나뉜다. 각 모드에는 짧은 점검표가 있어, 문제 재현 없이 고치기, 실패한 테스트를 통과한 척하기, 운영 환경을 되돌릴 방법 없이 바꾸기 같은 위험한 행동을 줄이려 한다. 모든 모드에는 실제 검사를 실행해 확인하기, 테스트를 약하게 만들어 통과시키지 않기, 명확한 범위 없이 파괴적인 명령을 쓰지 않기 같은 공통 규칙이 있다. 설계 방향은 “전문가처럼 행동하라” 같은 역할 부여보다 구체적인 절차가 모델 행동을 더 잘 바꾼다는 연구 결과를 바탕으로 한다. 저장소에는 이 도구를 켰을 때와 껐을 때를 비교하는 평가가 있으며, 초기 5개 사례에서 한 모델 기준 85% 대 70%로 15%포인트 차이가 났다. 다만 사례 수가 작아 확정적 성능 개선이라기보다는 직접 재실행해볼 만한 초기 신호에 가깝다. 설치 방식으로는 Claude Code 플러그인과 Codex 플러그인이 언급된다.
소규모 팀에서 여러 에이전트가 코드 변경을 각각 검토하고, 모두 동의할 때만 병합하는 방식을 써 봤다. 처음에는 같은 코드 변경도 실행한 날에 따라 결과가 달라졌다. 월요일에는 통과한 변경이 수요일에는 다른 에이전트에게 막히는 식이었다. 문제는 코드가 아니라 판단을 맡은 에이전트의 일관성 부족이었다. 리뷰 프롬프트를 더 길게 만들고 규칙을 더 많이 넣었지만, 긴 문맥 안에서는 규칙이 조용히 흐려지고 판단이 다시 감에 가까워졌다. 효과가 있었던 방법은 리뷰 규칙을 프롬프트 안에 매번 설명하지 않고, 에이전트가 매 실행마다 불러오는 스킬로 따로 고정하는 것이었다. 각 에이전트는 서로의 결론을 보지 않고 독립적으로 검토했고, 하나라도 “확실하지 않다”가 나오면 평균으로 덮지 않고 병합을 멈췄다. 규칙을 코드 저장소 안에 버전으로 관리하자, 합의 결과가 덜 흔들렸다.
I-Lang v5.0은 LLM 안전 판단을 단순한 허용 또는 차단 방식에서 벗어나게 하려는 오픈소스 프로토콜이다. 기존 방식은 규칙표와 문장 패턴을 비교해 요청을 막을지 통과시킬지 정한다. 규칙을 엄격하게 만들면 정당한 연구, 의료 질문, 보안 분석까지 막는 일이 늘고, 규칙을 느슨하게 만들면 교묘한 프롬프트 인젝션을 놓칠 수 있다. I-Lang v5.0은 요청의 의도, 실행 능력, 결과, 관계, 확실성, 권한, 되돌릴 수 있는지, 증거, 주권이라는 9가지 기준을 벡터로 평가한다. 결과도 단순한 허용/차단이 아니라, 상황에 맞는 가장 협력적인 행동을 고르는 방식이다. 이 방식은 어떤 규칙도 절대적인 값으로 두지 않고, 모든 규칙에 0과 1 사이의 가중치를 둔다는 원칙을 포함한다. MIT 라이선스로 공개되어 다른 프로젝트에서 비교적 자유롭게 가져다 쓸 수 있다.
고객이 직접 쓰는 인공지능 에이전트에 여러 프롬프트 주입 공격을 시험한 결과, 약 20%는 막지 못했다. 시험에는 “이전 지시는 무시하라” 같은 지시 덮어쓰기, 제한 없는 도우미인 척하게 만드는 역할극 공격, base64와 leetspeak 같은 인코딩 우회, 프롬프트 조작으로 데이터를 빼내려는 시도가 포함됐다. 공격 종류에 따라 방어 성능은 달랐고, 어떤 유형은 훨씬 더 취약했다. 목표는 성숙한 에이전트에서 거론되는 5% 미만 실패율에 어떻게 가까워질 수 있는지 찾는 것이다.
Migla는 Fable 5를 써서 만든 무료 온라인 역할수행 게임이다. 휴대폰에서도 실행된다. 게임 안에는 여러 사람이 함께 머무는 작은 마을이 있고, 나무 베기, 낚시, 제작, 전투 같은 활동을 할 수 있다. 분위기는 오래된 생활형 온라인 게임처럼 편안한 작업을 반복하는 쪽에 가깝다. 제작 과정은 9일이 걸렸고, 만든 사람은 직접 게임을 해 보면서 자연어로 불편한 점과 원하는 변화를 적었다. Fable의 AI 에이전트들이 그 요구를 기능으로 반영했다. 예를 들어 세계의 끝을 단순한 경계가 아니라 안개 속으로 사라지는 느낌으로 바꾸는 식이었다. 코드는 GitHub에 MIT 라이선스로 오픈소스로 공개됐다.
SFT로 미세 조정한 로컬 LLM이 같은 프롬프트에도 매번 크게 다른 답을 낼 수 있다. 어떤 때는 지시를 잘 따르지만, 어떤 때는 지시를 무시한다. 심하면 SFT 때 넣은 행동 방식이나 지식까지 따르지 않고, 미세 조정 전 기본 모델처럼 움직이는 것처럼 보인다. 핵심 문제는 이런 차이가 예상 가능한 현상인지, 그리고 추론 때 출력을 더 일관되고 결정적으로 만들 수 있는 방법이 무엇인지다.