AI 에이전트를 만들고 토큰·비용을 아끼는 데 도움이 되는 오픈소스 도구와 기법을 모읍니다.
AI 에이전트를 만들고 실험할 때 실제 작업을 쉽게 해 주는 도구가 무엇인지 묻는 내용입니다. 단순히 유명하거나 많이 홍보되는 도구가 아니라, 에이전트를 만들 때 시간을 줄이거나 문제를 덜어 주는 도구가 기준입니다. 어떤 도구를 쓰는지, 그 도구가 어떤 불편을 해결하는지, 처음에는 좋아 보였지만 계속 쓰지 않게 된 도구가 있는지도 함께 다룹니다.
HuBrain은 영어와 헝가리어를 함께 다루도록 훈련된 맞춤형 문자 기반 의미 인코더다. 단어를 통째로 보거나 토큰으로 나누기보다, 글자 단위 정보를 바탕으로 문장의 의미를 숫자 벡터로 바꾼다. 이 벡터는 TensorFlow Projector에서 볼 수 있게 공개되어 있으며, 단어 수준과 문장 수준 시각화가 각각 제공된다. 핵심 확인 지점은 비슷한 뜻의 항목들이 잘 모이는지, 영어와 헝가리어 표현이 의미 기준으로 가까이 놓이는지, 문자 기반 방식이 두 언어를 한 공간 안에서 자연스럽게 처리하는지다. 아직 성능 수치나 실제 검색 품질 결과는 없다.
웹 검색을 하는 인공지능 도구를 고를 때 핵심 문제는 검색 엔진 사용 한도다. LM Studio와 플러그인, Odysseus를 써 봤지만, 둘 다 API 없이 쓰는 검색 엔진이 하루나 한 시간에 약 10번 정도로 제한되는 문제가 있다. 더 안정적으로 검색하려면 DuckDuckGo 같은 검색 서비스 계정을 만들고 API 키를 넣어 더 많은 검색 접근 권한을 쓰는 방식이 필요할 수 있다. 하지만 화면에서 API 키를 넣으라고 안내하지 않는 도구는 실제 사용에 부족한 반쪽짜리 해결책처럼 느껴진다. Hermes나 Pi가 웹 검색용으로 더 나은 흐름을 제공하는지도 비교 대상으로 올라와 있다.
torch.compile은 PyTorch 코드의 여러 계산 단계를 하나로 묶어 실행해 속도를 높일 수 있다. 핵심 아이디어는 연산자 융합이다. 원래는 NumPy처럼 이미 빠르게 만들어진 함수들을 쓰더라도, 계산이 여러 단계로 나뉘면 중간 결과를 만들고 다시 읽는 비용이 생긴다. torch.compile은 이런 단계를 합쳐 불필요한 중간 작업을 줄이는 방식으로 큰 속도 향상을 노린다. tinytorchcompile은 이 원리를 약 500줄의 파이썬 코드와 노트북으로 작게 재현한 학습용 구현이다.
기업에서 대규모 언어 모델을 제대로 쓰려면 모델 자체보다 입력 데이터의 품질을 먼저 챙겨야 한다. 입력이 부정확하거나 정리되지 않았거나 의미가 흐리면 결과도 믿기 어려워진다. 안정적인 기업용 AI를 만들려면 모델에 넣는 정보가 분명하고, 관련성이 높고, 업무 맥락에 맞아야 한다는 점이 핵심이다.
BuildGuild는 코딩 에이전트를 쓰는 개발 과정을 역할수행 게임처럼 배우게 하려는 실험 아이디어다. 전제는 2026년에 Claude Code나 Codex 같은 코딩 에이전트와 함께 개발하는 일이 흔해진다는 것이다. 학습자는 정해진 문제만 푸는 대신, 실제 일처럼 모호한 요구를 해석해야 한다. 예시 퀘스트에서는 제품 담당자와 대화하듯 요구를 파악하고, RAG 평가를 배운 뒤, 기술 리더에게 작업을 검토받는 흐름을 따른다. 공개된 예시는 broken-help-center-quest라는 GitHub 저장소에 있으며, 작동 방식은 AGENTS.md 파일을 보면 알 수 있다. 아직 완성된 제품이라기보다 계속 만들 가치가 있는지 묻는 초기 구상에 가깝다.
125GB급 DDR5 메모리와 AMD Ryzen 395 프로세서를 갖춘 새 장비에서 코딩용 인공지능 모델을 시험하려는 상황이다. 핵심은 이 장비에서 어떤 모델을 돌려보면 좋은지 추천을 구하는 것이다. 구체적인 성능 결과, 비용 비교, 모델 이름, 속도 측정값은 제시되지 않았다.
검색 증강 생성 방식의 챗봇은 거대 언어 모델에 외부 자료 검색을 붙여 질문에 답하는 시스템이다. 핵심 내용은 거대 언어 모델을 이용해 지능형 질의응답 시스템을 만드는 방법이다. 공개된 설명만으로는 사용한 도구, 구현 단계, 토큰 사용량, 비용 절감 수치, 성능 결과는 확인되지 않는다.
SupraLabs가 SupraVL-Nano-900k라는 첫 비전-언어 모델을 공개했다. 이 모델은 약 90만 개 매개변수로 만들어졌고, Flickr8k 데이터로 처음부터 학습됐다. 실제 서비스에 바로 쓰기 위한 모델이 아니라, 이미지가 글로 바뀌는 과정을 코드로 읽고 이해하기 위한 교육용 설계도에 가깝다. 전체 구조는 하나의 Jupyter 노트북에 들어갈 만큼 작고 투명하게 구성됐다. 이미지 인코더는 CNN으로 만들었고, 글을 만드는 부분은 GPT-2와 비슷한 트랜스포머 디코더를 쓴다. 토크나이저는 Flickr8k 설명문으로 직접 학습한 2048개 BPE 토큰을 사용한다. 모델은 이미지에서 나온 16개 토큰과 텍스트 48개 토큰을 합쳐 총 64개 위치 안에서 처리한다.
LQ50/LQ50-24GB라는 소형 인공지능용 보드가 Taobao에서 약 1,200달러 가격으로 보인다. 공개된 정보와 댓글 기준으로 핵심 논점은 가격보다 실제 실행 속도와 소프트웨어 지원이다. 일부 사용자는 153.6GB/s 수준의 메모리 대역폭이 큰 언어 모델을 빠르게 돌리기에는 느리다고 본다. 100 TOPS, bf16 성능, 15W 전력 같은 수치는 좋아 보이지만, 메모리 대역폭이 낮으면 답변 생성 속도가 발목을 잡을 수 있다. 서구권에서 바로 쓸 수 있는 드라이버와 소프트웨어가 부족할 수 있다는 우려도 있다. 같은 가격대에 Tenstorrent 카드가 더 나을 수 있다는 비교도 나왔다.
개인 프로젝트에서 Onshape CAD용 FeatureScript 코드를 만들어 주는 인공지능 도구를 만들고 있다. 목표는 사용자가 생성된 코드를 복사해 붙여 넣으면 3D 모델이 만들어지고, 이후 모델 속성도 바꿀 수 있게 하는 것이다. 처음부터 모델을 직접 만들지는 않고 Groq 모델을 사용하고 있다. 토큰 한도나 오류가 나면 여러 API 키를 차례로 바꿔 가며 계속 생성하도록 구성했다. 이전 응답을 저장하는 데이터베이스도 두어 나중에 참고하거나 학습에 쓰려 한다. 또 FeatureScript 템플릿을 인공지능에 넣어 주고, 그 형식을 바탕으로 코드를 만들게 한다. 하지만 생성된 코드에 오류가 계속 생겨 Onshape CAD에 붙여 넣어도 제대로 작동하지 않는다. 무료 인공지능 모델만으로 이 작업이 가능한지, 아니면 접근 방식 자체에 문제가 있는지 확인이 필요하다.
대상은 기업 내부에서 완전히 로컬 또는 온프레미스로 돌아가는 RAG 시스템이다. 필요한 흐름은 피디에프와 표 같은 문서를 받아 구조화된 형식으로 바꾸고, 검색에 쓸 수 있도록 벡터 데이터베이스에 넣는 문서 수집·처리 파이프라인까지 포함한다. 핵심 관심사는 이런 프로젝트에서 실제로 가장 크게 부딪히는 문제가 무엇인지다. 목적은 판매가 아니라 탐색이며, 얻은 조사 결과를 다시 공유하겠다는 조건도 포함되어 있다.
OpenRouter Fusion은 하나의 인공지능 모델에만 답을 맡기지 않고, 여러 모델이 같은 문제를 동시에 풀게 한 뒤 결과를 합치는 방식이다. Claude, GPT, Gemini, Kimi, DeepSeek 같은 모델을 따로 열어 비교하는 대신, 한 작업 흐름 안에서 여러 답변을 만들고 서로 다른 근거, 위험, 가정, 실무 세부사항을 비교한다. 그다음 판정 역할이 답변들을 검토하고, 마지막 합성 단계가 공통으로 강한 내용과 소수 의견 중 쓸모 있는 내용을 골라 하나의 최종 답변으로 만든다. 핵심 주장은 ‘가장 좋은 단일 모델’을 고르는 것보다 ‘함께 썼을 때 더 나은 모델 조합’을 찾는 것이 복잡한 조사나 의사결정에 더 유리할 수 있다는 점이다. Agent OS 안에서는 이런 패널, 판정, 최종 합성 흐름을 하나의 자동화된 작업 절차로 묶을 수 있다.
현재 Gemini 앱의 유료 Pro 구독은 이미지 생성 기능에서 큰 불편을 겪고 있다는 평가가 나왔다. 안전 필터가 문장의 뜻을 제대로 구분하지 못해, 창작용 패션 이미지나 일반 디자인 요청도 위험한 요청처럼 막는 문제가 핵심이다. 예를 들어 침대 위의 흰 고양이처럼 평범한 이미지 요청도 너무 민감한 판정 때문에 차단될 수 있다는 불만이 있다. 더 큰 문제는 작은 이미지 프롬프트 하나를 검사할 때도 전체 대화 기록을 함께 보내는 구조다. 이 방식은 사용자가 실제로 원하는 작업과 상관없는 처리에 토큰 한도를 소모하게 만든다. 고객 지원도 자동 답변에 가깝고, 실제 해결이나 환불 안내가 부족하다는 불만이 함께 제기됐다.
오프라인으로 작동하는 여행가방 로봇 Sparky는 MQ-2 gas sensor로 주변의 연기와 휘발성 기체를 감지한다. 센서는 0.5초마다 깨끗한 공기 기준값과 현재 값을 비교하고, 감지 강도를 0부터 10까지의 단계로 바꾼다. 연기를 불어 넣으면 단계가 올라가고, 시간이 지나면 몇 분에 걸쳐 서서히 내려간다. 이 단계는 답변을 만들 때마다 LLM 샘플러 값을 바꾼다. 온도값은 1.0에서 약 1.6까지, top_p는 0.95에서 0.99까지, top_k는 64에서 120까지 올라간다. 그래서 로봇의 말은 미리 짜 둔 대사가 아니라, 매번 새로 만들어지는 더 산만하고 엉뚱한 말투가 된다. 단계별 성격 힌트, 느려진 말투, 처진 눈, 충혈된 눈 표현, 센서 화면 효과도 함께 바뀐다. 10단계가 되면 화면이 강한 연기와 플라스마 효과로 바뀌고, 그 상태가 약 7분 유지된다. 단, 이 센서는 담배 연기뿐 아니라 향이나 다른 냄새에도 반응할 수 있다.
필요한 도구는 웹사이트를 열고, 페이지나 버튼과 링크를 눌러 이동한 뒤, 정해진 정보를 뽑아 CSV 파일로 저장해야 한다. 원하는 작업 흐름은 사이트 접속, 관련 페이지 클릭, 이름·가격·설명·주소·날짜 같은 항목 추출, 결과 정리, 여러 페이지 반복이다. 초보자도 쓰기 쉬운 도구가 우선이지만, 더 복잡한 도구도 선택지에 포함된다. 핵심 요구는 사람이 브라우저에서 반복하던 조사와 정리 작업을 AI 에이전트나 자동화 도구로 대신하는 것이다.
RTX PRO 6000 Blackwell Max-Q 96GB 그래픽카드를 개인용 로컬 추론에 쓰려고 샀지만, 실제 용도에는 지나치게 큰 장비라는 판단이 나왔다. 필요한 것은 빠른 처리나 학습 작업이 아니라, 큰 모델을 켜 둔 채 가끔 질문을 던질 수 있는 느리지만 똑똑한 개인 비서다. 무거운 코딩 작업이나 모델 학습은 다른 도구로 처리하므로, 300와트급 그래픽카드를 거의 놀리는 방식은 전력과 비용 면에서 맞지 않는다. 대신 통합 메모리와 낮은 전력 사용량을 가진 Strix Halo 기반 미니 PC가 실제 사용 방식에 더 잘 맞을 수 있다. 해당 그래픽카드는 거의 사용하지 않은 상태이며, 구매가는 약 9,500유로였다. 판매처로는 r/hardwareswap, eBay, 전문가용 워크스테이션 장비를 다루는 더 좁은 시장이 후보로 언급됐고, 구매자가 송장과 보증 이전 가능 여부를 중요하게 볼 수 있다.
AI 에이전트를 만들 때 사람이 중간에 승인하거나 거절하는 HITL 기능이 아직 부족하다는 실무 불만이 정리되어 있다. LangGraph의 현재 방식은 승인 요청에 유효 시간을 두거나, 시간이 지나면 기본 응답을 쓰거나, 다른 담당자가 대신 답하게 하는 흐름을 충분히 지원하지 못한다. 승인하는 사람 입장에서는 선택지가 실제로 어떤 영향을 만들지, 잘못 고르면 어디까지 문제가 번질지 알기 어렵다. 승인 요청의 뜻이 모호할 때 더 많은 문맥을 요청하는 기능도 필요하다. Claude Code처럼 미리 허용한 작업을 기억해 자동 승인하는 방식도 좋은 사용자 경험으로 언급된다. 답할 수 없는 승인 요청을 동료에게 넘기는 기능도 실제 업무에서는 중요하다. 핵심 질문은 여러 ADK나 SDK가 이런 HITL 기능을 기본으로 제공하는지, 그리고 어떤 기능이 가장 먼저 필요한지다.
LinkedIn Sales Navigator에 저장된 약 500명의 영업 후보 정보를 CSV 파일로 내보내고, 그 데이터를 보강한 뒤 콜드 아웃리치에 쓰려는 상황이다. 수작업으로 복사해 붙여 넣고 Claude나 Gemini에 표 정리를 맡기는 방식은 가능하지만, 반복 작업이 많고 실수도 생기기 쉽다. 원하는 자동화는 저장된 후보 목록에서 이름, 회사, 직함, 프로필 주소 같은 정보를 뽑아 표 형태로 정리하는 것이다. 추가로 Sales Navigator 안의 프로필 주소를 일반 공개 LinkedIn 프로필 주소로 바꾸는 기능도 필요하다. 다만 LinkedIn 데이터 추출은 서비스 약관과 개인정보 문제를 확인해야 하는 영역이다.
nanoeuler는 파이토치 같은 기계학습 도구 없이 C와 CUDA로 만든 GPT-2식 언어 모델이다. 학습에 필요한 앞방향 계산과 뒤방향 계산, BPE 토크나이저, 사전 학습, SFT까지 저장소 안에 직접 구현되어 있다. CPU용 작은 모델은 약 105만 개 매개변수이고, GPU용 모델은 약 1억1600만 개 매개변수로 단일 RTX 4070에서 학습된다. GPU 버전은 cuBLAS, 직접 만든 FlashAttention, RMSNorm, RoPE, 그룹화 질의 어텐션, SwiGLU, AdamW를 포함한다. FlashAttention 적용으로 학습 한 단계가 약 3배 빨라졌다고 제시되어 있다. 다만 결과 모델은 실제 도우미로 쓰기에는 부족하고, 문장 모양은 그럴듯하지만 지식은 얕다. 목적은 쓸 만한 챗봇 배포가 아니라, 언어 모델 학습 과정을 처음부터 끝까지 이해 가능한 형태로 보여주는 것이다.
학생 생활에서 시간을 많이 잡아먹는 반복 업무를 AI 에이전트로 줄이고 싶다는 필요가 담겨 있다. 원하는 자동화 예시는 채용 공고를 찾고, 필요한 정보를 모으고, 지원서를 작성하고, 직무마다 맞춘 자기소개서와 이력서를 만든 뒤 지원까지 대신 처리하는 흐름이다. 또 다른 예시는 이메일 홍보나 콜드 디엠을 자동으로 준비해, 매번 긴 대화를 하지 않고 사람이 검토만 한 뒤 보낼 수 있게 만드는 것이다. 며칠 동안 도구를 찾아봤지만 정보가 너무 많아 어떤 도구로 시작해야 할지 혼란이 크다. OpenClaw 같은 도구가 유명해 보이지만, 곧바로 오래됐거나 별로라는 평가를 접하면서 선택이 더 어려워진 상태다.
경영공학 석사 논문 주제로 AI 에이전트와 에이전트 오케스트레이션을 다루고 있다. 핵심 고민은 오케스트레이션을 도입할지 판단하는 의사결정 모델을 평가할 때 어떤 기준을 봐야 하는지다. 이를 위해 참고할 수 있는 데이터베이스가 있는지, 또 시나리오 분석이나 예측에 쓸 수 있는 데이터셋이 있는지를 찾고 있다. 구체적인 도구, 수치, 방법론, 비용 절감 사례는 제시되지 않았다.
oats는 맥에서 회의 내용을 기록하는 자유·오픈소스 앱이다. 계정을 만들 필요가 없고, 작동이 기기 안에서만 이루어진다는 점을 내세운다. 공개된 정보로 확인되는 핵심은 회의 기록 도구라는 점, 맥 앱이라는 점, 자유·오픈소스라는 점, 그리고 외부 계정 의존이 없다는 점이다.
최근 공개된 주요 오픈 모델은 두 방향으로 갈라져 있다. 하나는 27B Qwen, 31B Gemma처럼 빠르지만 용량이 작은 장비에 맞춘 중간급 모델이고, 다른 하나는 GLM 5.2, Deepseek V4 Pro, Kimi 2.7, Mimo 2.5 Pro, MiniMax M3처럼 매우 큰 모델이다. 96GB 이상 메모리를 가진 Apple 기기, Ryzen AI 395 장비, DGX Spark, RTX 6000 Pro, 4개 RTX 3090, 128GB DDR4/DDR5 메모리 같은 구성은 메모리 용량은 충분하지만 속도가 느린 경우가 많다. 이런 장비 사용자는 최신 성능을 기대하기에는 오래된 80~120B급 모델을 쓰거나, 메모리 대역폭 때문에 26~35B급 작은 모델로 내려가야 한다. 필요한 모델 범위는 약 80~160B이며, 특히 100B 안팎이면서 실제로는 10B 정도만 활성화되는 희소 모델이 적합하다는 주장이다. 이런 모델은 AMD 9700 AI Pro, RTX 3090/5090과 64GB 비디오 메모리, DGX Spark, AI395 이상 장비, Apple 통합 메모리 기기에서 돌릴 수 있는 현실적인 선택지가 될 수 있다.
기초 AI 연구를 하려면 대형 계산 인프라가 꼭 필요한지 묻는 내용이다. 예전의 중요한 AI 논문인 “Attention is all you need”는 당시 기준으로 고급 게임용 GPU 몇 대 수준의 장비로도 실험이 가능했다. 개인도 그런 장비는 살 수 있지만, 지금도 같은 방식으로 분야의 핵심 연구에 기여할 수 있는지가 문제다. 최신 성능을 다시 만들 만큼 실력이 충분하다고 해도, 오늘날에는 거대한 하드웨어 환경 없이는 기초 연구가 어려운지에 초점이 있다.
Quo API에 새 버전과 새 문서가 추가됐다. 이제 사용자 관련 엔드포인트로 대화를 읽음, 열림, 완료 상태로 바꿀 수 있고, 실패한 메시지를 API로 다시 보낼 수 있다. 메시지 전송 실패를 알려주는 message.failed 웹훅도 생겼다. 문서에는 요청 방식, 오류 처리, 요금 제한, AI 에이전트와 함께 쓰는 방법이 정리됐다. 단체 메시지도 지원되어, API 한 번으로 최대 10명에게 같은 메시지를 보낼 수 있다. 앞으로 연락처, 통화, 통화 기록, AI 요약, 대화, 메시지, 전화번호 관련 기능이 추가될 예정이다. 추가로 멀티미디어 메시지, 연락처 메모 같은 기능도 준비 중이다.
31B 모델에서 특정 능력만 조금 더 키우는 SFT 실험이 진행됐다. 40개 분야에서 6가지 품질 항목을 평가했더니, 한 항목이 다섯 번의 실험에서 계속 가장 약하게 나왔다. 같은 체크포인트에서 출발해 그 약한 항목을 깊게 다룬 예시와 일부러 얕게 다룬 예시를 나누어 다시 훈련하는 방식이 사용되고 있다. 두 결과 모델의 차이를 비교해 그 능력과 관련된 회로를 찾고, 특정 attention head를 어블레이션해서 다른 품질 항목이 함께 떨어지는지 보려는 계획이다. 어떤 능력 A의 회로를 지웠을 때 능력 B 점수가 떨어지면, 모델 안에서 B가 A에 의존한다고 볼 수 있다. 이런 식으로 능력 사이의 의존 관계 지도를 만들면, 앞으로는 먼저 키워야 할 능력부터 훈련하는 순서를 정할 수 있다는 생각이다.
Claude, GPT, Kimi 같은 프런티어 LLM에 주사위를 굴리라고 하면 여러 숫자 중 하나를 고르게 내기보다 ‘4’를 반복해서 내는 경향이 있다. 겉으로는 사소한 문제처럼 보이지만, 강화학습에서 모델이 이미 익숙한 답만 따르지 않고 실제로 여러 선택지를 탐색하게 만드는 문제와 연결된다. 사후 학습을 통해 모델이 주사위 숫자 1부터 6까지를 각각 약 6분의 1 비율로 내도록 맞추는 실험이 진행됐다. 핵심은 모델이 정답처럼 보이는 한 가지 패턴에 붙어 있지 않고, 의도한 무작위성을 더 안정적으로 따르게 만드는 것이다. 어떤 방법이 효과가 있었고 어떤 방법은 실패했는지도 함께 정리됐다.
YaFF는 Protobuf를 쓰는 C++ 서버에서 데이터를 더 빠르게 읽기 위한 오픈소스 직렬화 라이브러리다. 기존의 .proto 파일은 그대로 계약서처럼 쓰고, 실제 저장·전송되는 데이터 형식만 바꾼다. 읽기가 많은 고부하 구간에서는 Protobuf 데이터를 해석하고 객체로 바꾸는 과정이 중앙처리장치를 많이 쓸 수 있는데, YaFF는 이 비용을 줄이는 데 초점을 둔다. FlatBuffers처럼 복사 없이 읽는 방식을 원하지만 기존 Protobuf 중심 코드베이스를 크게 바꾸기 어려운 팀을 겨냥한다. 큰 로컬 색인 파일을 빠르게 여는 데 유리한 메모리 매핑 호환 구조를 지원하고, CMake나 Conan으로 붙일 수 있다. 아직 초기 단계이며 현재는 C++만 지원하고, 다른 언어 지원은 계획 단계다.
로컬 대형언어모델이 RPG 게임 안에서 대화, 이야기 진행, 상황 해석, 퀘스트 진행을 맡는다. 캐릭터, 장소, 아이템, 퀘스트는 한 번 쓰고 사라지는 문장이 아니라 게임 안에 남는 실제 대상처럼 저장된다. 그래서 이전에 만난 캐릭터를 다시 만나거나, 예전에 방문한 장소로 돌아갈 수 있다. 아이템도 단순한 설명이 아니라 소유, 장착, 판매, 저장이 가능한 게임 물건으로 처리된다. 전투, 장비, 파티 구성, 저장 같은 기본 RPG 구조는 대형언어모델이 아니라 게임 시스템이 관리한다. 목표는 로컬 대형언어모델을 챗봇처럼 붙이는 것이 아니라, 게임 세계를 만들고 움직이는 부품으로 쓰는 것이다. 아직 실험 단계라 완성도에는 거친 부분이 있다.