AI 에이전트를 만들고 토큰·비용을 아끼는 데 도움이 되는 오픈소스 도구와 기법을 모읍니다.
RAG와 n8n 워크플로를 함께 다룬 교육 세션이 있었다. 핵심 내용은 n8n 안에서 작업 흐름을 만드는 과정을 단계별로 따라가는 방식이었다. 제공된 내용에는 구체적인 설정값, 사용한 모델, 비용 수치, 성능 결과는 포함되지 않았다.
업무에서는 Claude Code를 Opus와 Sonnet 모델과 함께 사용하고 있다. 주된 개발 작업은 Angular, TypeScript, JavaScript를 쓰는 웹 개발이다. 새 프리랜스 프로젝트로 SaaS 애플리케이션을 만들 계획이 있다. 예산 안에서 효율적으로 쓰려면 월 100달러짜리 Claude 구독이 나은지, 아니면 다른 선택지가 나은지 판단이 필요하다.
AI가 만든 글, 표, 요약, 댓글은 겉으로는 완성돼 보이지만 속은 비어 있을 수 있다. 중요한 구분은 AI가 썼는지 사람이 썼는지가 아니다. 사람도 뻔한 결과물을 만들 수 있고, AI도 충분한 문맥, 예시, 출처, 제약, 검토를 받으면 쓸모 있는 결과를 낼 수 있다. 문제는 결과물이 사람의 기준 없이 그대로 받아들여질 때 생긴다. 여기서 기준은 예쁜 표현 취향이 아니라 판단이다. 누구를 위한 내용인지, 어떤 주장을 책임질 수 있는지, 어떤 근거가 있어야 구체적인지, 어떤 뻔한 예시나 문장은 빼야 하는지, 그럴듯해 보여도 말하지 말아야 할 것은 무엇인지 정해야 한다. 약한 AI 초안은 꼭 거짓말을 해서 문제가 되는 것이 아니라, 근거 없이 자신감 있게 보이는 경우가 많다. 그래서 더 나은 검토 질문은 ‘AI가 썼나?’가 아니라 ‘이 결과물이 어떤 사람의 판단을 통과했나?’이다.
로컬에서 큰 인공지능 모델을 돌리기 위해 맞춘 개인용 컴퓨터가 완성됐다. 원래는 RTX Pro 6000을 미국에서 약 8,500달러에 사려 했고, NVIDIA Inception 프로그램 할인을 받으면 1,000달러를 줄일 수 있을 것으로 기대했다. 하지만 신청 심사에 약 3개월이 걸린 뒤 거절됐고, 그 사이 가격은 13,500달러까지 올라 예산을 넘었다. 대신 현지에서 마지막으로 남은 RTX Pro 5000을 구입했다. 완성된 장비는 VRAM 80GB, RAM 192GB, 저장공간 17TB, 9950X3D 프로세서, 1.3kW 전원공급장치를 갖췄다. 그래픽카드와 프로세서를 동시에 최대 출력으로 쓰면 전력 여유가 95% 수준이라 약간 위험할 수 있어, RTX 5090의 전력 제한을 걸어 안정성을 확보할 수 있다. 이제 Q_8s 모델과 multi-GPU ComfyUI 작업을 돌릴 계획이다.
FastPlay는 러스트로 만든 작은 윈도우용 동영상 플레이어다. 목표는 로컬 파일을 빠르게 열고, 첫 화면을 빨리 띄우고, 영상을 부드럽게 앞뒤로 움직이며, 보던 위치를 기억하는 것이다. 전체 기능이 많은 VLC 같은 플레이어를 대체하려는 것이 아니라, 로컬 재생 경험에 집중한 작은 도구다. 사용한 기술은 Rust, FFmpeg, D3D11/DXGI, WASAPI, 윈도우 기본 화면 구성이다. 코딩 에이전트는 코드 작성과 구조 정리에는 도움이 됐지만, 동영상 재생이 실제로 자연스럽게 느껴지는지 증명하는 데는 약했다. 뒤로 이동한 뒤 소리와 영상이 몇 초씩 어긋나는 문제가 있었고, 원인은 이동 전의 오래된 오디오 묶음이 남아 새 재생 시점의 소리에 잘못된 시간을 붙인 것이었다. 이동할 때 오디오 묶음을 초기화하자 문제가 해결됐다. 이후 작업 방식은 기능 요청 중심에서 원인 분석, 반드시 지켜야 할 조건, 작은 단위의 변경, 검증 단계, 가능한 테스트, 테스트로 부족한 경우 직접 재생 확인을 함께 요구하는 방식으로 바뀌었다.
Model Registry는 인기 있는 오픈 모델의 토렌트 파일을 모아 배포하는 저장소와 웹사이트다. 내려받을 사람이 서로 파일을 나눠 주는 방식으로 모델을 받을 수 있고, 받을 상대가 없을 때는 Hugging Face에서 파일을 대신 받도록 웹 시드가 fallback으로 작동한다. 이를 위해 BitTorrent 클라이언트의 요청을 Hugging Face의 올바른 파일 위치로 보내는 작은 백엔드 서비스가 만들어졌다. Hugging Face 파일이 LFS에 저장된 경우와 그렇지 않은 경우를 구분해야 해서 별도 처리가 필요했다. 아직 실험 단계라 Hugging Face CDN에서 일부 파일 오류가 날 때가 있지만, 보통 몇 번 다시 시도하면 내려받기가 끝난다. 앞으로 새 모델의 토렌트 생성과 사이트 게시를 GitHub Actions로 자동화할 계획이다. 다만 GitHub 무료 실행 환경은 디스크가 약 100GB라서, 100GB가 넘는 큰 모델은 다른 방법이 필요하다.
윈도우에서 코딩 에이전트를 돌릴 때 생기는 실행 환경 차이를 해결하겠다는 도구로 Cellix가 소개됐다. 현재 Cursor의 윈도우 샌드박스는 WSL2 안의 리눅스 환경을 쓰기 때문에, 에이전트가 실제 윈도우의 node.exe, npm.cmd, MSVC 같은 도구를 그대로 쓰지 못한다는 문제가 제기됐다. Claude Code도 윈도우에서 직접 실행하는 방식은 지원하지 않고, WSL2 배포판 안에서 실행하라고 안내하는 것으로 정리됐다. Cellix는 에이전트가 리눅스가 아니라 실제 윈도우 호스트의 Node.js, npm, MSVC를 쓰도록 하는 네이티브 윈도우 샌드박스를 목표로 한다. 설치 방법은 npm install cellix로 제시됐다.
MathFormer는 400만 개 매개변수를 가진 작은 순차 변환 모델이다. 이 모델은 수학 지식을 따로 넣지 않아도, 인수분해된 식을 전개된 식으로 바꾸는 기호 수학 과제에서 약 98.6% 정확도를 냈다. 예를 들어 괄호로 묶인 식을 받아 곱셈을 풀어 쓴 형태를 예측한다. 핵심은 모델이 연산자나 변수의 뜻을 이해했다기보다, 토큰의 구조적 변환 규칙을 배운 것처럼 보인다는 점이다. 더 큰 언어 모델이 수학적으로 reasoning하는 것처럼 보일 때도, 실제로는 매우 큰 규모의 구조화된 패턴 완성일 수 있다는 해석을 뒷받침한다. 강화학습이 이런 방식에 어떤 변화를 주는지도 남은 질문이다.
AI로 여러 업무를 자동화하려는 과정에서 이미 여러 도구에 한 달 약 300달러를 쓰고 있다. 새 AI 에이전트가 계속 나오고, Claude 같은 주요 서비스도 자주 바뀌어서 어떤 조합이 비용 대비 성능이 가장 좋은지 따라가기 어렵다. 지금 잘 작동하는 도구를 계속 쓰는 것이 나은지, 더 싼 선택지를 놓치지 않기 위해 계속 비교해야 하는지 고민이 생긴다. 핵심 문제는 자동화 자체보다 도구 선택과 비용 최적화에 드는 시간과 불안이다.
목표는 전통적인 머신러닝이나 데이터 과학이 아니라, 생성형 AI와 에이전트형 AI를 실제로 다루는 방법을 배우는 것이다. 이미 ChatGPT, Claude, Gemini 같은 대형 언어 모델 도구는 자주 쓰고 있지만, 생성형 AI와 에이전트형 AI의 차이부터 명확하지 않은 상태다. 파이썬은 아주 기초만 알고, 로우코드 방식은 괜찮으며, 무거운 소프트웨어 개발이나 어려운 알고리즘 공부는 피하고 싶어 한다. 원하는 학습 범위는 대형 언어 모델의 기본, 프롬프트 작성, API 사용, RAG, 파인튜닝의 쓰임새, AI 에이전트, MCP, 메모리, 평가, 멀티 에이전트 시스템, AI 작업 흐름, 운영 환경 개념이다. 핵심 요구는 이 주제들을 흩어진 자료가 아니라 무료이면서 순서가 잡힌 하나의 학습 로드맵이나 강의로 배우는 것이다.
Palmier Pro Windows는 윈도우 10과 11에서 쓰는 영상 편집기다. 기본 편집기, MCP 서버, AI 에이전트 연결 기능은 오픈소스로 공개되어 있고 무료로 쓸 수 있다. 앱을 켜면 로컬 주소에 MCP 서버가 열려 Claude Code, Codex, Cursor, Claude Desktop 같은 도구가 같은 영상 프로젝트를 함께 다룰 수 있다. 타임라인에서 영상과 이미지를 생성하는 생성형 AI 기능도 있지만, 이 처리 서버는 오픈소스가 아니며 로그인과 구독이 필요하다. 저장소에는 설치 파일, 에이전트 연결 명령, Cursor 설정 예시가 함께 제공된다.
영상 처리 도구인 FFmpeg를 다루기 위한 54개 명령어가 Claude 플러그인과 SKILL 형태로 묶였다. 기존에 공개된 FFmpeg 치트시트와 실제 사용 데이터를 바탕으로 만들었다. 목적은 거대 언어 모델이 영상 변환, 자르기, 압축 같은 작업에 맞는 FFmpeg 명령어를 더 정확하게 만들도록 돕는 것이다. 도구는 오픈소스로 공개됐다.
Qwen2.5-1.5B가 답을 만드는 추론 중에 함께 도는 C++ 커널 실험이다. 모델을 다시 학습시키지 않고, 프롬프트도 바꾸지 않고, 모델 가중치도 건드리지 않는다. 대신 처음 20개 트랜스포머 층마다 katki라는 작은 값을 계산해 모델의 내부 hidden state에 더한다. 이 변화는 bfloat16 형식의 측정 한계보다 작아서 일반 측정 도구에는 변화가 0처럼 보이지만, 실제 출력은 달라진다. 1.2 버전에는 Gradio 화면에서 최대 세기, 줄어드는 속도, 계속 남는 바닥값, 조절 속도를 실시간으로 바꾸는 슬라이더 4개가 추가됐다. 이번 실험에서는 기본값보다 세기와 바닥값을 올렸고, 누적 압력이 이전 기본 실험의 +0.034953에서 +0.042903으로 커졌다.
EnvKit은 윈도우와 맥에서 쓰는 무료 로컬 개발 환경이다. 엔진엑스와 아파치, 여러 버전의 PHP, MySQL과 MariaDB, PostgreSQL, Redis, MongoDB, Mailpit, Node.js를 한곳에서 다룰 수 있다. .test 주소에 신뢰된 HTTPS를 붙여 로컬 사이트를 실제 서비스처럼 테스트할 수 있다. 내장 MCP 서버가 있어 AI 비서가 개발 환경을 제어하는 방식도 지원한다. Laragon, XAMPP, Herd 같은 기존 로컬 개발 도구의 대안으로 제시된다.
1년 동안 직접 코드를 거의 쓰지 않고 AI로 코딩한 firsthand 경험이다. 월 구독료 수준의 비용으로 코드가 빠르게 만들어졌고, 예전에는 막혔던 문제도 해결됐다. 예를 들어 C와 Go를 연결하는 얇은 호환 코드나 React 화면 구성의 성능 문제 같은 까다로운 작업도 처리할 수 있었다. 기능, 내부 도구, 팀용 제품까지 만들었고, 테스트와 배포를 거쳐 실제 운영 환경에서도 문제없이 돌아갔다. 하지만 개인, 회사, 실제 사용자에게 오래 남는 변화나 뚜렷한 성과는 보이지 않았다. 비용은 낮았지만, 스스로 문제를 푸는 능력이 줄고 LeetCode 같은 기본 코딩 연습도 어려워지는 대가가 있었다.
LLM을 쓸 때 지금 가장 큰 병목이 무엇인지 묻는 짧은 논의 주제다. 핵심 후보로 메모리와 컨텍스트가 제시된다. 메모리는 이전 대화나 작업 내용을 얼마나 잘 기억하고 다시 쓰는지와 관련된다. 컨텍스트는 한 번에 넣고 처리할 수 있는 정보의 양과 관련된다. 구체적인 실험, 수치, 해결책은 제시되지 않았다.
DukaanBench는 인도 식료품점 운영을 30일 동안 흉내 내는 실험 환경이다. 여러 LLM이 실제 인도 시장에 가까운 상황에서 얼마나 잘 운영 판단을 하는지 보려는 목적이다. 평가 내용에는 재고 관리, 손님 신뢰 유지, 마케팅, 상하기 쉬운 상품 처리, 운전자본이 부족한 상황에서의 선택이 포함된다. 제목은 GPT 5.5가 이 실험에서 좋은 성과를 냈다고 주장하지만, 공개된 내용만으로는 점수, 비교 대상, 비용, 토큰 사용량 같은 구체 수치는 확인되지 않는다.
Claude 데스크톱의 Windows와 Mac 앱에는 화면 아래쪽의 시스템 트레이에 Claude 아이콘이 있다. 지금 이 아이콘은 채팅 창을 여는 바로가기 역할만 한다. 제안된 개선은 설정 화면의 사용량 정보, 특히 5시간 단위 사용 토큰과 주간 사용 토큰을 이 아이콘에서 바로 보이게 하는 것이다. 마우스를 올리면 작은 설명창이 뜨거나, 클릭하면 작은 팝업이 열리는 방식이면 충분하다. 배터리나 와이파이 아이콘처럼 전체 설정을 열지 않고도 현재 상태를 빠르게 확인하자는 뜻이다. 이렇게 하면 Pro나 Max처럼 사용 한도가 있는 요금제에서 남은 할당량을 더 쉽게 관리할 수 있다.
Gemini 3.5 Pro가 공개 테스트에서 확인되면 주요 경쟁 모델보다 앞설 수 있다는 유출 성능 결과가 돌고 있다. 핵심 주장에는 200만 토큰 컨텍스트 창, Deep Think 추론, 더 강한 에이전트 지원이 포함된다. 유출 내용은 긴 추론 능력이 크게 좋아졌을 가능성을 말하지만, 가장 큰 점수들은 아직 공식 발표되지 않았다. 긴 추론은 여러 단계를 이어서 처리하고, 처음 목표를 잃지 않으며, 중간 실수를 스스로 잡아야 하는 작업에서 중요하다. 이런 능력은 코딩, 수학, 조사, 계획 세우기 같은 작업에 도움이 될 수 있다. 다만 실제 성능은 벤치마크 숫자보다 실제 업무 흐름에서 얼마나 안정적으로 작동하는지로 확인해야 한다.
DeepSeek V4 Flash Free는 한 번에 최대 100만 토큰까지 넣어 볼 수 있는 코딩용 인공지능 모델로 소개된다. 큰 코드베이스, 긴 기술 문서, 여러 단계가 얽힌 작업을 잘게 나누지 않고 함께 분석하는 데 초점을 둔다. 여러 파일, 설명서, 지시사항을 한꺼번에 넣으면 파일 사이의 관계를 매번 따로 설명하지 않아도 된다는 점이 핵심이다. 문제의 원인이 한 서비스에 있고 증상은 다른 화면에 나타나는 식의 복잡한 버그를 다룰 때 도움이 될 수 있다. 빠른 코딩 성능과 AI 에이전트식 작업 지원도 함께 내세운다. 별도 서비스인 AI Profit Boardroom은 이런 인공지능 모델을 실제 업무 흐름으로 쉽게 연결하는 도구로 홍보된다. 마지막에는 영상, 교육, 커뮤니티 가입 링크로 이어진다.
RapnssZ는 AI 에이전트 구축을 위한 프레임워크로, 토큰 사용량을 줄여주는 'Token Save Engine'과 생산성 도구를 내장하고 있다. 개발팀이 정식 출시 전에 버그를 찾고 품질을 높이기 위해 처음 1000명의 테스터를 모집하고 있다. Microsoft Store에서 'Rapnss Launcher'를 내려받아 사용해볼 수 있으며, 피드백은 앱 내 지원 섹션에서 제출할 수 있다.
회사에서 제공한 AI 토큰이 업무가 아닌 개인 용도로 쓰일 수 있다는 걱정이 제기된다. 핵심 문제는 직원들이 회사 비용으로 제공되는 AI 사용량을 지나치게 쓰거나, 업무와 무관한 요청에 사용할 때 이를 어떻게 막고 확인하느냐다. 구체적인 해결책이나 사례는 제시되지 않았고, 질문은 AI 사용량 관리와 비용 통제 방법을 찾는 데 초점이 있다.
Codex Pro 계정 3개를 쓰면 각 계정의 할당량 초기화를 따로 받을 수 있어, 전체 사용 가능량이 크게 늘어난다는 경험담입니다. 현재 OpenAI의 Pro 사용량 제공 방식은 꽤 넉넉하게 느껴진다는 평가가 담겨 있습니다. GPT-5.6이 일반 이용자에게 공개되고, 특히 Cerebras 하드웨어에서 약속한 성능을 낸다면 업계 전체가 다시 한 단계 올라갈 수 있다는 기대도 포함돼 있습니다. 다만 이는 실제 성능 검증이 아니라 개인적인 기대와 만족감에 가깝습니다.
rag-scorecard는 RAG 모델의 성능을 확인하기 위해 만든 파이썬 라이브러리다. 패키지는 PyPI에 올라와 있어 설치해서 써볼 수 있다. 공개된 설명에는 구체적인 평가 지표, 지원 기능, 사용 예시, 측정 결과는 나오지 않는다. 현재 단계에서는 완성된 표준 도구라기보다 초기 공개 라이브러리에 가깝고, 사용자의 검토와 제안을 받고 있다.
deptrust는 프로젝트가 사용하는 패키지 버전에 이미 알려진 보안 취약점이 있는지 검사해주는 커맨드라인 도구입니다. npm, PyPI, crates.io(러스트), Go 모듈, RubyGems, NuGet, Maven, Packagist(PHP), pub.dev(다트), CocoaPods, Hex.pm, Hackage, GitHub Actions 등 거의 모든 주요 패키지 저장소를 지원합니다. 로컬 컴퓨터에서 CLI로 바로 실행할 수 있고, MCP 서버 형태로도 띄울 수 있어 AI 에이전트가 직접 호출해 취약점 검사를 수행하게 만들 수 있습니다. 또한 미리 만들어진 스킬과 훅(hook)이 함께 제공되어, 코드 작업 자동화 파이프라인에 끼워 넣기 쉽습니다.
Ghost in the Loop는 긴 AI 작업에서 반복되는 부분을 대신 처리하려는 무료 사용자 스크립트다. 프롬프트를 차례로 보내는 대기열, 여러 역할 설정, 작업 반복, 중간 오류 뒤 복구, 간단한 계획 기능을 담고 있다. ChatGPT, Claude, Gemini, Perplexity, Grok, Copilot, DeepSeek 등 여러 웹 기반 AI 서비스에서 쓰는 것을 목표로 한다. 계정 없이 설치할 수 있고, 새 시제품은 GitHub 저장소와 원본 스크립트 링크로 공개되어 있다. 현재 필요한 피드백은 브라우저에서 실패하는 부분, 개발자 도구 오류, 화면 구조 오류, 실제 작업 흐름에서 맞지 않는 지점이다. 특히 서로 다른 AI 서비스나 특이한 프롬프트 방식, 여러 작업을 이어 붙이는 사용법에서 어디가 부족한지 확인하려는 단계다.
SkillSpec은 AI 에이전트가 사용하는 '스킬'(특정 작업을 수행하는 지침 모음)을 더 안전하고 검증 가능하게 관리하기 위한 오픈소스 프로젝트다. 스킬을 구조화된 계약(정해진 입력·출력·동작 규칙) 형태로 작성하게 해서, 사람이 읽고 따라가기 쉽고 테스트도 할 수 있게 만든다. 'Doctor'라는 진단 기능은 스킬을 불러오기 전에 위험 요소를 점검해 리스크 리포트를 보여준다. 또한 가이드형 임포트 기능으로 외부 스킬을 안전하게 불러올 수 있고, '정합성 증명(alignment proof)' 기능으로 스킬이 실제로 의도한 대로 동작하는지 확인할 수 있다.
최신 대규모 언어 모델 환경을 외부 서비스에만 맡기지 않고 직접 호스팅하는 주제다. 제공된 내용에는 어떤 도구, 설치 방법, 비용 수치, 성능 비교, 운영 경험이 포함됐는지는 드러나지 않는다. 확인 가능한 핵심은 대규모 언어 모델을 직접 운영하는 방식이 논의 대상이라는 점뿐이다.
한 회사는 자동화가 계속 잘 돌아가도록 관리하고 필요할 때 고치는 조건으로 매달 리테이너 비용을 내고 있었다. 한 달 뒤 자동화는 안정됐고, 고장도 없었으며, 더 손볼 일이 거의 없었다. 계속 돈을 받으려면 별 의미 없는 조정이나 ‘문제 없음’ 보고서를 만들어야 하는 상황이었다. 대신 시스템이 충분히 튼튼하니 더 이상 자동화 관리 비용을 낼 필요가 없다고 알렸다. 문제가 생겼을 때 직접 확인할 수 있는 문서도 함께 전달했다. 회사 대표는 놀랐지만, 이후 예상 밖으로 새 소개 기회를 보내기 시작했다.
Gemini로 데이터를 임베딩해 두고, 검색 단계에는 OpenAI를 쓰는 RAG 구성에서 결과가 제대로 나오지 않는 상황이다. 핵심 질문은 서로 다른 회사의 모델을 한 파이프라인 안에서 섞어도 검색이 정상 작동하는지다. 현재 증상은 기대한 대로 자료를 찾아오지 못하는 것으로 보인다.