AI 에이전트를 만들고 토큰·비용을 아끼는 데 도움이 되는 오픈소스 도구와 기법을 모읍니다.
SillyTavernAI에서 만든 ‘Regency Posting Inn’ 봇의 시작 메시지가 매우 길다. 시작 메시지가 너무 자세하고 복잡하면, 사람들이 실제로 봇을 써보기 전에 부담을 느끼고 떠날 수 있다. 긴 시작 메시지는 첫 대화부터 읽을 양을 늘리고, 봇의 분위기와 규칙을 한꺼번에 전달하려는 형태가 된다. 이 사례는 봇을 만들 때 초반 설정을 얼마나 많이 넣을지 고민하게 만든다.
Tower-Plus-72B-Ultra-Uncensored-Heretic는 22개 언어를 지원하는 72B 규모의 언어 모델이다. 다국어 작업, 특히 번역 관련 흐름에 강하다고 소개된다. 검열을 줄인 모델로, 테스트에서 100번 중 5번만 요청을 거절했다는 점을 내세운다. Safetensors 형식과 GGUF 형식이 Hugging Face에 공개되어 있다.
최근 공개 모델 흐름에서 100B~120B급 모델이 새로 잘 나오지 않는다는 의문이 제기됐다. GPT-OSS-120B 이후 GLM-4.5-Air, Nemotron-3-Super, Qwen3.5-122B, Mistral-Small-4-119B 같은 비슷한 크기의 모델들이 나왔지만, 모두 최소 3개월 이상 된 모델로 언급됐다. GPT-OSS-120B는 약 10개월 전 모델로 분류됐다. 반면 최신 공개 모델은 Gemma4, Qwen3.6처럼 25B~35B급이거나 Step 3.5/3.7 Flash, DeepSeek-V4-Flash, MiniMax-M3, Nemotron-3-Ultra처럼 200B 이상급으로 나뉘는 흐름으로 정리됐다. 핵심 질문은 120B 안팎의 MoE 계열이 예전 70B/80B급처럼 줄어든 것인지, 아니면 2026년 하반기에 다시 새 모델이 나올 가능성이 있는지다.
LLM 문제를 고칠 때 해결책이 자꾸 새 층을 하나 더 얹는 방식으로 흐른다는 짧은 주장이다. 구체적인 도구, 실험 결과, 비용 수치, 구현 방법은 제공되지 않았다. 핵심 의미는 모델의 부족한 점을 직접 줄이기보다, 검증 단계나 보조 처리처럼 추가 구조를 붙여 막는 경우가 많다는 것이다.
zcode.z.ai가 요금제의 원래 응용 프로그램 인터페이스 사용 한도보다 150% 더 많은 사용량을 제공하는 행사를 하고 있다. 실제 사용 경험에서는 캐시 적중률이 96~98%로 매우 높아, 같은 작업을 반복할 때 쓸 수 있는 양이 크게 늘어날 수 있다. 연결 방식도 비교적 유연해서 텔레그램 봇으로 연결하거나, 다른 기기에서 연결 주소를 열어 같은 인스턴스를 쓸 수 있다. 첫 출시라 작은 버그는 있지만, 이전에 나온 Antigravity보다 안정적이고 더 낫다는 평가가 있다. Android와 iOS 개발자를 위한 전문 플러그인이 들어 있으며, 다른 도구의 대화 기록, 스킬, MCP를 옮기는 온보딩도 제공된다. GLM은 작업 계획을 더 꼼꼼히 세우고 질문을 더 많이 해서, 중간에 깨지지 않는 결과물을 만드는 데 도움이 된다는 사용감이 있다.
AI 에이전트를 단순한 대화 도구로 쓰는 단계가 지나면 문제가 달라진다. 여러 실제 업무에 쓰기 시작하면 이전 내용을 기억하게 하는 일, 프로젝트를 정리하는 일, 필요한 문맥을 유지하는 일이 중요해진다. 처음에는 ChatGPT에 질문을 하고, 코드를 붙여 넣고, 긴 페이지를 통째로 넣어 고쳐 달라고 하는 방식도 도움이 된다. 하지만 실제 사업 운영, 숙박 운영, 소프트웨어 제작, 자동화처럼 계속 이어지는 일을 맡기면 그 방식만으로는 한계가 생긴다. 핵심은 더 강한 모델을 찾는 것보다 AI 에이전트가 일을 이어서 이해하고 다룰 수 있게 만드는 작업 환경과 관리 방식에 있다.
더 적은 매개변수와 더 낮은 FLOPs를 쓰면서도 더 높은 정확도를 내는 AI 모델을 어떤 말로 설명해야 하는지가 핵심입니다. 이런 모델은 보통 계산 효율이 좋거나, 더 효율적인 모델이라고 표현할 수 있습니다. 매개변수가 적으면 모델 크기와 저장 부담이 줄어들 수 있고, FLOPs가 낮으면 같은 작업을 처리할 때 필요한 계산량이 줄어들 수 있습니다. 정확도가 더 높다면 단순히 가벼운 모델이 아니라 성능과 비용 면에서 모두 나은 모델이라는 뜻이 됩니다.
kube-coder를 공유 Kubernetes 클러스터에 올리면 개발자마다 따로 분리된 웹 작업공간을 받을 수 있다. 각 작업공간은 개인용 pod, 저장공간인 PVC, 접속 경로인 ingress, AI 도우미 설정을 갖는다. 접속은 `https://사용자.dev.yourdomain.com/` 같은 주소로 열리고, GitHub OAuth로 로그인하며, cert-manager와 Let's Encrypt로 HTTPS 인증서를 자동으로 붙인다. 전체 구조는 브라우저 요청이 oauth2-proxy와 nginx-ingress를 거쳐 개인 작업공간 서비스와 pod로 들어가는 방식이다. pod 안에는 server.py, code-server, ttyd, noVNC, tmux, AI 기능이 함께 들어간다. 처음 한 번은 ingress controller, cert-manager, 이미지 저장소 접근 비밀값, kube-coder 기본 인프라 Helm release를 클러스터에 설치한다. 이후 사용자별로 설정값을 만들고, 도메인과 GitHub OAuth 정보를 채운 뒤, 검증하고 `make deploy`로 배포한다. `make USER=` 형식으로 특정 사용자의 설정을 자동으로 찾아 배포할 수 있다.
몇 달 동안 기다린 그래픽 카드가 도착했다. 이 장비로 개인용 서버를 만들고 AI 작업을 시작할 계획이다. 직장에서는 AI 관련 작업에 관심을 보이는 사람이 거의 없어 기대감을 나누기 어려웠다. 구체적인 성능, 비용, 모델, 구축 방법은 공개되지 않았다.
소프트웨어공학을 공부하고 백엔드 개발 경험이 있는 입문자가 AI 보안과 대형언어모델 보안으로 진로를 넓히려 한다. 관심사는 프롬프트 인젝션, 탈옥, 검색증강생성 공격, 데이터 유출, AI 에이전트 악용이다. 전통적인 사이버보안은 공부 순서와 자료가 비교적 뚜렷하지만, AI 보안은 아직 새 분야라 어디서 시작해야 할지 불분명하다는 고민이 있다. 필요한 것은 추천할 만한 강의, 실습 플랫폼, 책, 실험용 오픈소스 취약 AI 앱, 포트폴리오 프로젝트 예시다. 머신러닝 지식이 어느 정도 있어야 AI 시스템을 만들고 시험할 수 있는지도 핵심 질문이다. 현재 배경은 소프트웨어공학, 백엔드 개발, 리눅스, 네트워크, 일반 사이버보안이며 머신러닝 배경은 강하지 않다.
32GB 통합 메모리 환경에서 Qwen 3.6 35B-A3B 모델을 Q4로 실행하면 초당 약 15개의 토큰을 출력한다. 같은 환경에서 Gemma 4 12B 모델도 코드베이스 작업에 써볼 후보로 검토되고 있다. Gemma 4 12B는 크기가 더 작아서 Q8 설정으로도 여유 있게 올릴 수 있고, 경우에 따라 BF16 실행도 가능할 수 있다. 핵심 고민은 큰 모델을 더 많이 압축해 쓰는 방식과 작은 모델을 덜 압축해 쓰는 방식 중 어느 쪽이 실제 작업 품질과 속도에 더 나은지다.
skillm은 여러 AI 에이전트에서 쓰는 스킬을 한곳에서 관리하려는 오픈소스 CLI 도구다. 전역 스킬과 프로젝트별 로컬 스킬을 나누어 추가할 수 있고, 여러 에이전트가 같은 스킬 폴더를 함께 쓰도록 심볼릭 링크를 만든다. 한 명령으로 설치된 스킬을 확인하고 업데이트할 수 있다. 스킬을 삭제하면 연결된 모든 에이전트에서 관련 심볼릭 링크도 함께 제거된다. 설정, 스킬, 메타데이터는 기본적으로 ~/.skillm에 보관된다. 새 에이전트는 ~/.skillm/config.toml에 설정을 추가해 지원할 수 있으며, 기본값으로 cc와 Codex 설정이 들어 있다. 라이선스는 MIT다.
Hindsight가 검토 과정에서 이전에 무시했던 수정 사항을 다시 떠올리게 하는 데 쓰였다. 핵심은 검토자가 과거에 놓친 지적이나 고친 내용을 기억해 같은 실수를 반복하지 않게 만드는 것이다. 공개된 정보만으로는 구체적인 구현 방식, 성능 수치, 비용 절감 효과, 사용한 모델 이름은 확인되지 않는다.
M3가 나오기 전에는 일일 사용 한도의 절반도 쓰지 못했고, 주간 한도는 거의 문제가 되지 않았다. M3 이후에는 같은 사용 방식에서도 일일 또는 주간 한도에 더 빨리 가까워지는 상황으로 보인다. 제공된 내용만으로는 M3가 어떤 제품이나 모델인지, 실제 사용량이 얼마나 늘었는지, 비용이 증가했는지는 확인되지 않는다.
Anthropic의 Mythos와 Fable이 Opus 같은 이전 모델보다 왜 더 좋아 보이는지는 공개적으로 확인된 답이 없다. 여러 의견은 모델 구조 자체보다 훈련 방식, 후처리 훈련, 합성 데이터, 답을 다시 검토하는 사고 과정이 더 중요해졌을 수 있다고 본다. 일부는 Mythos와 Fable이 사용자의 요청을 한 번에 답하는 대신, 내부에서 여러 번 다시 생각하고 고쳐 쓴 뒤 최종 답을 내는 방식일 수 있다고 추측한다. 이런 방식은 에이전트처럼 스스로 다시 묻고, 도구를 쓰고, 답을 평가하는 흐름과 비슷하지만, 실제라면 속도가 느려지고 토큰 사용량도 늘 수 있다. 다른 의견은 성능 차이가 실제 기술 도약이 아니라 마케팅이나 정책 논쟁 때문에 과장됐을 가능성도 제기한다. 코딩 관점에서는 Codex 같은 다른 도구도 비슷한 일을 할 수 있다는 반응이 있어, Mythos와 Fable만의 확실한 우위는 입증되지 않았다.
DeepSeek는 첫 문단에서 수학 함수 오류를 찾았지만, 그 뒤에도 약 5쪽 분량의 추론을 계속했다. 공개된 정보만으로는 어떤 수학 문제였는지, 어떤 DeepSeek 모델을 썼는지, 실제로 몇 개의 토큰을 썼는지는 확인할 수 없다. 핵심은 모델이 초반에 문제의 결함을 발견하고도 바로 멈추거나 짧게 정리하지 못했다는 점이다. 이런 행동은 AI 에이전트가 잘못된 입력이나 막힌 문제를 만났을 때 불필요하게 오래 생각하며 비용을 늘릴 수 있음을 보여준다.
Gemma 4 12B를 이용해 말로 입력하고 말로 답하는 경험을 만들려는 수요가 있다. 핵심 관심은 출력보다 입력 쪽이다. 일반적인 방식은 사람의 말을 먼저 텍스트로 바꾸는 STT 단계를 거친 뒤 모델에 넣지만, Gemma 4 12B의 encoder-free architecture를 쓰면 이 중간 단계를 건너뛸 가능성이 있다. 목표는 지연이 적고, 처음부터 큰 파이프라인을 직접 만들 필요가 없는 음성 입력 흐름이다. 아직 Gemma 4의 native audio input streaming을 바로 지원하는 믿을 만한 도구가 있는지는 분명하지 않다. 공개 정보는 주로 inference 쪽에 몰려 있고, 음성 입력을 실제로 붙이는 방법은 찾기 어렵다.
Rio 3.5는 Nex N2 Pro와 Qwen 3.5를 섞어 만든 모델이라는 의혹을 받았다. Nex 쪽은 가중치를 비교해 Rio 3.5가 대략 Nex N2 Pro 60%와 Qwen 3.5 40%를 병합한 결과라고 주장했다. 시스템 지시문 없이 물어보면 Rio 3.5가 스스로를 Nex N2 Pro라고 답한다는 주장도 나왔다. 이후 Rio 모델 설명 문서는 Nex를 기반 모델 중 하나로 인정하도록 수정됐다. 수정된 설명에는 Nex N2 Pro와 Qwen3.5-397B-A17B를 병합했고, 더 강한 모델에서 온-폴리시 증류를 거쳤다는 내용이 들어갔다. 다만 어떤 모델에서 증류했는지는 공개되지 않았다. 논의의 핵심은 오픈소스 모델을 다시 학습하거나 섞는 것 자체보다, 원래 모델을 제대로 밝히고 성능 비교를 공정하게 했는지에 있다. 일부 사용자는 Nex N2 Pro가 기본 모델보다 토큰 효율이 좋았다고 평가했지만, 실제 작업에서는 벤치마크 점수만큼 믿기 어렵다는 반응도 있었다.
개인 과거 기록을 묻고 답하는 도구를 만들려면 위치 기록, 결제 내역, 메시지 같은 휴대폰 중심 데이터를 모아 데이터베이스에 넣어야 한다. 핵심 문제는 휴대폰 안의 개인 정보를 어떤 방식으로 기기 밖 데이터베이스로 안전하게 보내느냐이다. 목표는 나중에 자신의 과거 일정, 이동, 소비, 대화와 관련된 질문을 자연어로 물어보고 답을 받는 것이다. 이미 큰 틀의 기능은 어느 정도 만들어졌지만, 데이터 수집과 전송 방식이 남은 병목으로 보인다.
보안 취약점 정보(CVE)를 다루는 RAG 시스템을 만드는 과정에서 나온 질문입니다. CVE 데이터베이스는 계속 새 항목이 추가되기 때문에 모든 내용을 미리 벡터 데이터베이스에 저장해두지 않고, 대신 NIST의 NVD API를 통해 최신 정보를 그때그때 가져오는 방식을 쓰고 있습니다. 사용자가 CVE 번호를 직접 물어보면 API로 바로 조회할 수 있어 문제가 없습니다. 하지만 사용자가 번호 없이 "XYZ 소프트웨어의 버퍼 오버플로우로 인한 원격 코드 실행" 같은 자연어 설명만 입력하고, 그 취약점이 LLM의 학습 데이터 기준 시점보다 최근에 발견된 것이라면, 모델이 어떤 CVE를 찾아야 할지 알 수 없다는 문제가 생깁니다. 즉 NVD API를 호출하기 전에, 자유 형식 설명만으로 정확한 CVE 번호를 먼저 알아내야 하는 검색 단계가 필요합니다. 키워드 검색, 최근 CVE에 대한 의미 기반(시맨틱) 검색, 재순위 매김(리랭커) 등 실제 서비스에서는 어떤 방식을 쓰는지 조언을 구하고 있습니다.
Heretic 프로젝트가 공식 웹사이트를 열고, 관련 자료를 한곳에 모았다. 이 사이트에는 공식 자료 링크, 사용법 튜토리얼, 여러 설치 경로, 설정값별 검색 문서가 들어 있다. Heretic은 GitHub와 Hugging Face 같은 플랫폼이 앞으로도 계속 자료를 올려 둘 것이라는 보장이 없다고 본다. 그래서 공식 웹사이트를 즐겨찾기해 두면, 프로젝트 자료가 어디로 옮겨지든 현재 위치를 찾을 수 있게 하겠다는 방향이다. 핵심은 검열을 줄인 모델과 로컬 대형 언어 모델이 내려가거나 사라져도 계속 접근할 수 있게 하는 로컬 우선 백업 체계다. Heretic은 이미 Meta로부터 법적 통지를 받았고, 일부 대중 매체에서도 비판을 받았다고 밝힌다. 문제의식은 많은 인공지능 모델 배포가 몇몇 큰 호스팅 플랫폼에 기대고 있어, 한곳이 막히면 전체 접근성이 흔들리는 단일 장애 지점이 된다는 점이다.
32GB VRAM만으로는 큰 범용 인공지능 모델을 만들기 어렵기 때문에, 목표를 작은 자동완성 모델로 낮추는 접근입니다. 계획된 모델 크기는 약 2,500만 매개변수입니다. 목표는 대화형 답변을 잘하는 모델이 아니라, 주어진 문맥 뒤에 올 다음 토큰, 문장, 문단을 예측하는 모델입니다. 가장 큰 문제는 학습 데이터입니다. 대략 매개변수 수보다 몇 배 많은 토큰으로 학습해야 한다는 기준을 잡으면, 2,500만 매개변수 모델도 실험용으로 1억 개 이상의 토큰이 필요할 수 있습니다. 첫 실험 데이터로는 유튜브 코미디 대본을 정리해 농담의 흐름을 이어 쓰는 모델을 만드는 아이디어가 제시됩니다.
Ubuntu 24.04에서 Qwen 3.6 27b 모델을 실행하려는 상황이다. 확인되는 내용은 이 모델을 실제로 구동한 사람이 있는지 묻는 수준이다. 어떤 설치 도구를 썼는지, 어떤 오류가 났는지, 컴퓨터 사양이 무엇인지는 나오지 않는다. 따라서 실행 방법이나 비용 절감 효과를 판단할 만한 구체 정보는 부족하다.
Strix Halo 데스크톱이 DGX Spark와 경쟁할 수 있는 개인용 인공지능 장비로 비교되고 있다. 확인된 내용은 제목 수준의 비교에 그치며, 가격, 성능 수치, 전력 사용량, 실제 모델 실행 결과는 포함되어 있지 않다. 핵심 의미는 비싼 전용 인공지능 장비 대신 더 작은 데스크톱으로 로컬 모델 실행을 노릴 수 있는지에 대한 관심이다.
Q4_0 양자화 모델 파일 안에는 같은 스케일 값이 여러 번 반복될 수 있다. Qwen 3.5 2B와 Qwen 3.6 27B에서 이런 반복이 확인됐다. 아이디어는 스케일 값을 매번 저장하지 않고, 미리 정리한 스케일 목록의 번호만 저장하는 방식이다. Qwen 3.6 27B Q4 모델은 약 15GB인데, 이 방식으로 최소 318MB를 줄일 수 있다는 계산이 나왔다. 예시 계산에서는 64개 층 중 일부 하위 층만 봤고, ffn_down, ffn_gate, ffn_up 각각은 89,128,960개의 가중치를 가진다. Q4_0에서는 가중치 32개마다 16비트 BF16 스케일 하나가 붙어서, 하위 층 하나에 스케일이 2,785,280개 생긴다. 다른 하위 층까지 포함하면 줄일 수 있는 공간은 더 있을 수 있다. 다만 실제 추론에서 이 번호를 다시 스케일 값으로 바꾸는 맞춤 코드가 필요하다.
EAGLE3를 Qwen 계열 모델에서 쓰기 위한 작은 변경이 작업 중이다. 현재 공개된 내용은 짧고, 구체적인 성능 수치나 적용 방법은 드러나지 않았다.
Snapcompact는 글로 길게 넣을 정보를 이미지 형태로 바꿔 토큰 사용을 줄이려는 아이디어다. 제공된 내용에는 실제 작동 방식, 절감률, 비용 비교, 적용 가능한 모델, 품질 손실 여부 같은 세부 정보가 포함되어 있지 않다. 따라서 지금 확인할 수 있는 핵심은 '이미지를 활용해 토큰을 아낀다'는 방향뿐이다.
중국 오픈소스 AI 모델도 앞으로 공개나 내려받기가 제한될 수 있다는 경고성 주장이 나왔다. 배경에는 미국 정부가 Fable 5와 Mythos 5 접근 중단을 지시했다는 이미지가 붙어 있었고, 일부는 이것이 더 넓은 AI 규제의 신호일 수 있다고 봤다. 토론에서는 미국 정부가 중국 연구소를 직접 통제하기 어렵지만, Hugging Face나 GitHub 같은 배포처를 압박하면 미국 이용자의 접근은 막기 쉬울 수 있다는 의견이 나왔다. 반대로 중국 모델은 미국의 비공개 모델을 견제하는 전략적 도구라서 중국이 쉽게 공개를 멈추지 않을 것이라는 반론도 있었다. 모델 파일은 다른 곳에 다시 올릴 수 있지만, 대형 언어 모델은 크기가 크고 여러 양자화 모델까지 생기기 때문에 장기 보관과 배포 비용이 부담이라는 지적도 있었다. 전체적으로 확정된 사실보다는 규제, 배포처 의존, 오픈소스 모델의 지속 가능성에 대한 불안과 추측이 중심이다.
RAG를 처음 배울 때 LangChain 같은 프레임워크부터 시작하면 구조가 더 헷갈릴 수 있다. 기본 원리를 먼저 익히고 싶어도, 튜토리얼은 조각난 내용이 많고 문서는 서로 연결이 약해 따라가기 어렵다. 필요한 것은 프레임워크 사용법이 아니라, 검색할 자료를 준비하고, 관련 내용을 찾고, 그 내용을 모델 답변에 붙이는 전체 흐름을 기초부터 설명하는 학습 자료다.
로컬 언어 모델 파일을 오래 보관하려면 100GB 또는 128GB 블루레이 디스크가 한 가지 선택지가 될 수 있다. 특히 BD-R XL M-DISC 형식은 장기 보관용 광디스크로, 전기 문제나 정전기 영향을 받을 수 있는 저가 USB 저장장치보다 안정적인 보관 매체로 제시된다. 블루레이 기록 장치는 대략 100~250달러에 살 수 있다. 빈 디스크 가격은 용량과 품질, 구매 수량에 따라 크게 다르며, 128GB 디스크는 보통 장당 12~14달러, 100GB 디스크는 장당 7~10달러 수준이다. 예전에는 하드디스크와 메모리 가격이 더 낮아 빈 고용량 블루레이 수요가 크지 않았기 때문에, 당분간 재고가 부족할 수 있다. 장기적으로 개인이 내려받은 모델을 보존하려는 수요가 늘면 제조사가 빈 디스크 생산을 늘릴 가능성이 있다.