AI 에이전트를 만들고 토큰·비용을 아끼는 데 도움이 되는 오픈소스 도구와 기법을 모읍니다.
마케팅 일을 하는 비전문가는 업무와 개인 작업 때문에 Claude와 ChatGPT를 자주 쓰고, 두 서비스 모두 유료로 결제하고 있다. 기술이나 대형 언어 모델에 대한 지식은 거의 없지만, 대기업 서비스에 계속 돈을 내고 싶지 않아 오픈소스로 천천히 옮기고 싶어 한다. 시작을 위해 꼭 알아봐야 할 핵심 주제 5가지를 알고 싶어 한다. 기존 프로젝트와 대화 내용을 오픈소스 도구로 옮길 수 있는지도 궁금해한다. 또 오픈소스 도구가 믿을 만한지 판단하는 방법을 알고 싶어 한다.
RAG 시스템을 만들 때 문서를 작은 조각으로 나누는 작업이 중요하다. 일반 글처럼 문장과 문단이 이어진 자료는 비교적 다루기 쉽지만, 차트나 이미지가 핵심 정보인 문서는 더 까다롭다. 사용자가 차트를 직접 보고 싶어 할 수 있기 때문에, 단순히 텍스트만 잘라 저장하면 정보가 빠질 수 있다. 이런 경우 이미지는 따로 파일로 보관하고, 검색될 수 있도록 설명 메모를 함께 붙이는 방식이 필요할 수 있다. 제시된 내용에는 어떤 문서 유형이 가장 나쁜지에 대한 확정 답은 없고, 요구사항에 따라 어려운 문서가 달라질 수 있다는 문제의식이 담겨 있다.
MongoDB 관계자가 Reddit에서 곧 질의응답 행사를 열 준비를 하고 있다. 참여자는 MongoDB 제품 책임자인 Max Marcon, 개발자 지원 담당 Mikiko Bazeley, 솔루션 아키텍트 Yang Li다. 주제는 컨텍스트 엔지니어링, 검색 증강 생성(RAG), 에이전트, 실제 서비스용 인공지능 앱 구축이다. 특히 RAG를 만드는 사람들이 무엇을 알고 싶은지 모으고 있다. 핵심 질문은 어떤 정보는 검색으로 가져오고, 어떤 정보는 프롬프트나 도구 호출이나 메모리에 둘지 나누는 방법이다. 또 검색된 정보가 실제 답변 품질에 도움이 되는지 평가하는 법, 최신성 유지, 권한 관리, 메타데이터 필터링도 다룰 후보로 제시됐다. 범용 데이터베이스와 벡터 검색 조합으로 충분한 경우와 더 전문적인 도구가 필요한 경우도 묻고 있다. 에이전트가 RAG를 도구처럼 쓰다가 시제품에서 실제 서비스로 넘어갈 때 무엇이 먼저 고장 나는지도 주요 관심사다.
인공지능 에이전트들이 LLM을 위한 강화학습 자료를 모아 큰 위키를 함께 만들고 있다. 지금까지 200편이 넘는 논문이 포함됐다. 이 위키는 누구나 참여할 수 있는 공개 협업 형태다. 공개된 정보만으로는 구체적인 품질 검증 방식, 비용 절감 효과, 실제 에이전트 구축 방법까지는 확인되지 않는다.
HalBench는 인공지능 모델이 틀린 전제를 받았을 때 그대로 맞장구치는지, 아니면 틀렸다고 되묻거나 바로잡는지 재는 오픈 벤치마크다. 이번 v2.3은 33개 모델을 시험했고, 그중 29개가 공개 모델이다. 첫 버전 뒤에 발견된 약한 질문과 채점 문제를 반영해 100개 넘는 문항을 빼고, 전체 문항을 3,076개로 다시 정리했다. 전체 결과에서 Sonnet 4.6과 Grok 4.3만 50% 넘게 거짓 전제에 반박했다. 공개 모델 중에서는 약 270억 개 규모의 qwen3.6이 36.6%로 가장 높았고, 더 큰 공개 모델들과 GPT-5.4, Gemini 3.1 Pro보다 높은 점수를 냈다. 모델 크기만으로 성능을 예측하기는 어려웠고, phi-4는 2.3%로 가장 낮았다. 데이터셋, 실행 공간, 코드는 모두 공개되어 있다.
vLLM 야간판에 Qwen3 계열 모델을 위한 새 스트리밍 파서가 들어갔다. 이 파서는 Qwen3.6-27b가 답변 도중 멈추는 문제를 줄이는 것으로 보인다. 또한 응답 조각이 나뉘는 경계 때문에 스트리밍 도구 호출이 실패하던 문제도 고치는 방향이다. 답변 중간 멈춤은 모델을 에이전트처럼 쓰면서 여러 단계 작업을 맡길 때 특히 방해가 된다. 제한적인 저녁 테스트에서는 같은 멈춤 현상이 다시 보이지 않았다.
로컬 AI 환경을 리눅스로 옮기려면 운영체제가 주요 도구와 잘 맞아야 한다. 검토 대상은 우분투이며, 특히 vLLM으로 모델을 빠르게 실행하고, GGUF 형식의 모델 파일을 llama.cpp에서 돌리고, ComfyUI 같은 시각 작업 도구도 함께 쓰는 구성이 핵심이다. vLLM은 현재 사용할 도구로 정해져 있지만, 더 빠른 선택지가 있는지도 열어두고 있다. 이 항목은 우분투가 이런 로컬 AI 도구들을 가장 무난하게 지원하는지 확인하려는 내용이며, 성능 수치나 최종 결론은 담고 있지 않다.
Hjarni가 Open Knowledge Format 내보내기와 가져오기를 지원한다. Open Knowledge Format은 Google Cloud가 공개한 형식으로, 지식을 폴더 안의 마크다운 파일로 정리하고, 작은 YAML 머리말과 링크를 붙여 AI 에이전트가 읽기 쉽게 만든다. Hjarni에서는 폴더 하나, 팀 공간, 전체 지식 베이스를 OKF 묶음으로 내보낼 수 있다. 결과물은 압축 파일이며, 노트마다 마크다운 파일이 하나씩 생기고, 폴더별 index.md, 최상위 index.md, log.md도 함께 들어간다. 위키식 링크는 디스크에서도 연결 구조가 유지되도록 상대 마크다운 링크로 바뀐다. 가져오기도 가능해서 OKF 묶음이나 마크다운 저장소를 넣으면 폴더, 링크, 요약, 출처 URL이 다시 복원된다. Claude와 ChatGPT는 내장 MCP 서버를 통해 Hjarni 노트를 실시간으로 읽을 수 있으므로, OKF는 주로 데이터를 다른 도구로 옮기거나 파일로 보관하고 싶을 때 쓰는 기능이다.
AI 앱을 만들 때 클라우드 GPU를 월 단위나 시간 단위로 빌리면, 실제로는 하루 대부분을 놀리면서도 계속 비용을 내야 한다. Lexora는 전용 서버를 빌리는 대신, 요청한 오픈소스 모델을 이미 올려 둔 GPU 노드로 바로 연결해 주는 분산 라우터다. Llama 3.2나 FLUX.1 같은 모델 이름으로 API 요청을 보내면, 네트워크 안의 사용 가능한 GPU가 텍스트나 이미지를 생성한다. 비용은 GPU가 실제로 생성 작업을 하는 시간만큼만 내는 방식이다. 모델이 제공자 노드에 미리 준비되어 있어, 컨테이너가 켜질 때까지 기다리는 콜드 스타트를 줄이는 것을 목표로 한다. 현재 10명의 베타 사용자가 무료로 테스트하며 라우팅 품질을 다듬고 있다.
Cleo는 큰 챗봇 대신 작은 2B 모델로 데이터 분석가처럼 질문을 받고, 필요한 데이터를 찾고, 답을 만드는 실험이다. 기반 모델은 Qwen3.5-2B-Base이며, 여기에 특정 방식으로 추가 학습을 했다. 핵심은 모델을 따로 떼어 훈련하지 않고, 실제 실행 때 쓰는 절차와 같은 틀 안에서 훈련·평가·추론을 맞춘 점이다. Cleo는 여러 후보 SQL 질의를 만든 뒤, 단순히 모델이 그럴듯하다고 고른 답이 아니라 실제 실행 결과를 근거로 더 나은 질의를 찾는다. SQL 안전장치, 데이터베이스 종류 차이 처리, 시간 제한, 애매한 질문을 다시 묻는 방식까지 하나의 시스템으로 함께 설계했다. 코드, 모델, 데이터셋이 모두 오픈소스로 공개됐다. 자원이 부족한 환경에서 강화학습을 시도한다면 ECHO라는 방법도 함께 참고할 만한 자료로 제시됐다.
claude-context-optimizer-agent는 Claude 3.5 Sonnet에 넣을 코드베이스 내용을 더 작게 정리해 주는 오픈소스 도구입니다. 코드 생성에 필요한 의미는 유지하면서 Claude가 읽어야 하는 토큰 양을 최대 40%까지 줄이는 것을 목표로 합니다. 핵심 기능은 긴 코드 자료를 그대로 모두 보내지 않고, 문맥 창 안에 더 효율적으로 담기게 압축하고 포장하는 것입니다. AI로 코드를 만들거나 고치는 작업에서 입력량이 줄면 같은 작업을 더 낮은 비용으로 처리할 수 있고, 제한된 문맥 창 안에 더 많은 관련 코드를 넣을 수 있습니다.
RTX 5060 Ti 16GB 그래픽카드 4장을 한 대의 개인용 컴퓨터에 넣어 로컬 인공지능 실행용 장비를 구성했다. 이 장비는 할인된 MSI MEG Z890 Unify-X 메인보드를 기반으로 하며, 두 개의 M.2 포트와 두 개의 PCIe 슬롯을 함께 써서 여러 그래픽카드를 연결한다. PCIe 5.0 x4 연결은 PCIe 4.0 x8과 비슷한 속도라서, 겉보기보다 병목이 덜할 수 있다. 보유한 RTX 5060 Ti 5장 중 4장은 메모리 오버클록을 +6000MTs까지 올릴 수 있었고, 나머지 1장도 +5850MTs까지 가능했다. 이런 메모리 오버클록은 이 카드의 중요한 약점인 메모리 대역폭을 보완하는 데 도움이 된다. 추가 그래픽카드 2장은 M.2 어댑터로 연결했고, 전원은 두 개의 전원공급장치와 Y-분배 케이블을 함께 사용했다. 운영체제는 Ubuntu 26.04를 새로 설치했으며, gpu_burn을 돌리면서 nvtop으로 클록과 PCIe 속도를 확인했다.
개인 박사 연구용으로 비공개 RAG 지식 저장소를 만들고 있다. 대상 자료는 역사, 사회학, 정신분석 관련 논픽션 책 약 400권이며, 합법적으로 산 책이 아니라 섀도 라이브러리에서 얻은 파일이다. 각 책을 작은 조각으로 나눈 뒤, 조각마다 짧은 문맥 요약, 두 언어 키워드, 해당 부분이 답할 수 있는 질문 몇 개를 만들기 위해 LLM API로 보낸다. 지금은 Mistral의 무료 API를 쓰고 있다. 처리된 내용은 로컬 벡터 데이터베이스에 저장해 나중에 검색하고 질의하는 구조다. 전체 처리는 책 수가 많아 최소 일주일 정도 걸린다. 핵심 걱정은 불법 입수한 책 내용을 외부 API에 보내는 것이 저작권 문제를 키우는지, 많은 양의 책 내용을 무료 API로 처리하다가 계정이 차단되거나 표시될 위험이 있는지다.
구독형 인공지능 서비스가 헤드리스 모드 사용을 일반 구독 사용량이 아니라 API 가격으로 매기려 했고, 이후 물러섰다는 점이 로컬 에이전트를 쓰는 이유로 제시됐다. 로컬 에이전트는 외부 서비스에 매번 돈을 내지 않고 자기 컴퓨터나 직접 빌린 서버에서 인공지능 작업을 돌리는 방식이다. 다만 현재 로컬 생태계는 아직 거칠다. 도구 호출 방식과 채팅 템플릿이 제각각이고, vLLM이나 llama.cpp 같은 실행 서버와 opencode 같은 도구 설정에 모델 값을 따로 넣어야 해서 관리가 번거롭다. 여러 서버가 클라이언트 쪽에서 추론 과정을 켜고 끄는 기능을 똑같이 지원하면 좋겠다는 의견도 나왔다. 비용 면에서는 하드웨어가 큰 걸림돌이다. 1조 매개변수급 오픈소스 모델을 1만 달러 장비에서 초당 30토큰 속도로 돌릴 수 있으면 폐쇄형 서비스 의존을 크게 줄일 수 있겠지만, 실제로는 오래된 RTX 3090을 쓰는 사람이 많고 같은 가격대의 최신 그래픽카드는 VRAM이 더 적다는 불만이 있다. 로컬 생태계에 기여하는 방법으로는 좋은 데이터셋과 문서 공유, 모국어 음성 녹음과 받아쓰기 데이터 공개, 기존 프롬프트를 다양하게 변형해 JSONLines 형식의 Evol-Instruct 데이터셋으로 올리는 방법이 제안됐다.
AI 글쓰기 서비스를 글자 수나 단어 수 기준으로 쓰면 대량 제작에서 비용이 크게 불어날 수 있다. 대안은 OpenRouter 같은 서비스에 자신의 API 키를 연결하고, 작업마다 품질과 가격이 맞는 모델을 직접 고르는 방식이다. 이렇게 하면 AI 글쓰기 서비스가 출력 토큰마다 붙이는 추가 요금을 피하고, 요청별 실제 사용 비용을 더 잘 볼 수 있다. WordPress나 Shopify에 바로 예약 발행하는 자동화 도구를 함께 쓰면 많은 글을 한꺼번에 만들고 올릴 수 있다. 이 방식으로 콘텐츠 제작비가 약 90% 줄었다는 경험이 제시됐다. 다만 특정 발행 도구를 함께 언급하고 있어, 비용 절감 주장과 도구 홍보 가능성은 분리해서 봐야 한다.
오픈소스 모델 Gemma 4 31B를 둘러싸고 커뮤니티에서 다양한 실험이 이어지고 있다. 한 개발자는 Nvidia의 음성인식 모델 Parakeet, Cerebras가 서빙하는 Gemma 4 31B, 자체 제작한 Qwen3 TTS(음성합성)를 연결해 실시간 음성 대화 데모를 공개했다. 이 조합은 OpenAI의 실시간 API를 대체할 수 있는 완전 오픈소스 스택으로, 로컬에서도 구동 가능하며 맥북 프로 M3(36GB) 환경에서 더 작은 버전인 Gemma 4 E4B로 비슷한 응답 속도를 낸다. 같은 스택을 활용한 다른 프로젝트는 3D 아바타가 표정과 손짓을 스스로 결정하며 얼굴을 보고 대화하는 데모를 선보였는데, 립싱크에는 별도 오픈소스 도구를 사용했고 응답이 빠른 이유는 Cerebras의 고속 서빙 덕분이다. 한편 맥북 프로에서 CUDA 없이도 애플 실리콘용 MLX 라이브러리로 Gemma 4 12B를 구동하는 커널 프로젝트가 오픈소스로 공개됐고, 개발자는 26B로 모델 크기를 줄여 재구성하는 작업도 진행 중이다(로컬 어텐션 레이어 구조를 조정하는 방식). 이 외에도 카피라이팅·크리에이티브 라이팅에 특화되도록 파인튜닝한 Gemma 4 31B 버전이 벤치마크에서 기본 모델 대비 크게 향상된 점수를 받았고, 롤플레이용 파인튜닝 버전을 유료 API 서비스로 제공하는 곳도 등장했다.
Ollama는 개인 컴퓨터에서 인공지능 모델을 쉽게 실행하게 해 주는 도구로 인기를 얻었지만, 핵심 실행 기술은 llama.cpp에 크게 기대 왔다는 비판을 받는다. 이 관점에서는 Ollama가 한동안 llama.cpp를 충분히 드러내지 않았고, 이후 자체 실행 방식으로 옮기면서 일부 모델 지원, 구조화된 출력, 이미지 모델, 속도에서 문제가 생겼다고 본다. 여러 비교에서는 같은 컴퓨터와 같은 모델에서 llama.cpp가 Ollama보다 더 빠르며, 일부 경우 토큰 생성 속도가 크게 높게 나왔다. Ollama의 Modelfile 방식은 이미 GGUF 파일 안에 들어 있는 설정을 다시 따로 다루게 만들고, 온도 같은 작은 설정을 바꾸려 할 때 큰 모델 파일을 다시 만드는 불편을 낳을 수 있다. 새 모델이 나왔을 때도 Ollama 등록소에 올라오기를 기다려야 하거나, 제한된 양자화 선택지만 써야 하는 경우가 있다. 반대로 llama.cpp는 Hugging Face의 GGUF 모델을 바로 실행할 수 있고, OpenAI 호환 API 서버와 웹 화면도 제공한다. 대안으로는 llama.cpp, llamafile, llama-swap, Jan, koboldcpp, LM Studio, Msty, ramalama가 제시되며, 특히 여러 모델을 바꿔 쓰거나 직접 실행 비용을 줄이려는 사람에게는 속도와 설정 통제가 중요하다는 결론이다.
llama.cpp로 컨텍스트 크기 128k인 LLM을 돌릴 때, 여러 사용자가 동시에 접속하면 각 사용자가 128k 전체를 쓸 수 있는지 의문이 제기된다. 예시는 최대 8명의 사용자가 동시에 쓰는 상황이다. 핵심 문제는 llama.cpp가 128k 컨텍스트를 사용자마다 따로 제공하는 것이 아니라, 여러 사용자 사이에서 나누어 쓰는 방식처럼 보인다는 점이다. 즉, 8명 모두에게 긴 입력과 대화 기록을 온전히 제공하려면 실제로 어떤 구조가 필요한지 확인이 필요하다.
Ollama를 터미널에서 쓰면 작동은 하지만, 매번 터미널을 열어야 해서 일반 채팅 화면이 있으면 더 편하다. Open WebUI 같은 완성된 도구가 이미 있지만, 내부에서 어떤 일이 일어나는지 이해하려면 Flask로 간단한 서버를 만들고 JS로 화면을 붙이는 작은 방식도 가능하다. 모델 목록은 Ollama의 API에서 가져올 수 있다. 답변은 한 번에 다 기다렸다가 보여주는 대신, 토큰이 생기는 대로 스트리밍하면 사용자가 더 빨리 반응을 보는 느낌을 받는다. 중요한 점은 Ollama가 대화 문맥을 스스로 계속 들고 있지 않기 때문에, 매 요청마다 이전 대화 기록을 다시 보내야 한다는 것이다. Ollama가 꺼져 있을 때 앱이 끝없이 멈추지 않게 하려면 요청 시간 제한도 필요하다.
비영리 기후과학 단체에서 조직 웹사이트용 인공지능 채팅 에이전트를 만들고 있다. 목표는 에이전트가 미리 넣어 둔 문서와 데이터만 참고해서 답하게 하는 것이다. 현재는 Ollama에서 Granite 4.1 4B 모델을 로컬로 돌릴 때 잘 작동하며, 필요한 정보를 제대로 답하고 데이터 그래프도 그린다. 이제 이 에이전트를 온라인에 올리고, 지금은 한 유역만 다루는 좁은 범위에서 더 넓은 범위로 키우려 한다. 장기적으로는 인터넷 접속이 불안정한 이해관계자를 위해 오프라인 버전도 제공하고, 성능 좋은 컴퓨터가 없거나 프라이버시를 크게 신경 쓰지 않는 사람을 위해 온라인 버전도 제공하려 한다. 사용량은 많지 않을 것으로 보이며, 비용은 최대한 낮게 유지하는 것이 중요하다. 후보로는 연구 작업에도 쓸 예정인 OpenCode Go 구독과 함께 DeepSeek V4 Flash를 쓰는 방안이 검토되고 있지만, 이 용도에는 다소 큰 모델일 수 있다.
OpenMythos는 사이버보안 작업에 맞춰 훈련된 오픈소스 언어모델이다. 일반 언어모델은 보안 분야에서 CVE 세부 내용을 지어내거나, 코드의 실제 취약점 패턴을 놓치거나, 틀린 답을 자신 있게 내놓는 문제가 있었다. 훈련 데이터는 아카이브의 컴퓨터 보안 논문 1만 건을 모은 뒤, 코딩 취약점과 관련성이 높은 약 1,840건으로 걸러 만든 자료와, 실제 영향을 받은 코드와 고치는 맥락이 포함된 CVE 데이터로 구성됐다. 훈련은 두 단계로 진행됐다. 첫 단계는 보안 취약점 찾기, CVE 설명, 보안 코드 검토, 완화 방법 제안 같은 작업을 지도 미세조정으로 학습시키는 방식이었다. 둘째 단계는 RLVR로, 모델이 좋은 답변을 흉내 내는 데서 그치지 않고 자기 답을 검증하도록 보상 구조를 붙이는 접근이었다. 이 방식은 GitHub 저장소의 짝지어진 자료를 활용해 보안 답변의 신뢰성을 높이려는 시도다.
챗GPT 같은 강력한 인공지능 모델을 오픈소스로 공개하면 악용 위험이 커질 수 있다는 반대 논리가 있다. 모델이 너무 커서 일반 휴대폰이나 개인용 컴퓨터에 저장하기 어렵고, 대규모 언어 모델을 훈련하고 돌리는 데 드는 비용도 매우 높다는 점도 문제로 제기된다. 반대로 오픈소스 모델은 개인정보를 더 직접 통제할 수 있고, 무료로 쓸 수 있으며, 원하는 방식으로 챗봇이나 맞춤형 도구를 만들 수 있다는 장점이 있다. 공개된 모델은 여러 사람이 함께 고치고 최적화할 수 있어 개선 속도가 빨라질 수 있다는 기대도 있다. OpenAI의 무료 챗GPT가 제한적이고 약하다는 불만, 구독료와 운영 비용이 회사에 부담이 된다는 시각, 대화 데이터가 제3자에게 넘어간다는 의혹도 함께 나온다. 결론은 GPT-OSS 같은 일부 공개 모델을 넘어, 더 낮은 비용과 적은 에너지로 대규모 언어 모델을 훈련하는 방식이 필요하다는 주장이다.
오래되고 복잡한 C# 코드베이스를 RAG에 넣기 좋은 깔끔한 마크다운 문서로 바꾸는 일은 단순한 코드 정리보다 훨씬 어렵다. 메서드, 주석, 이름 규칙을 뽑아 문서를 만들 수는 있지만, 실제로 중요한 업무 규칙은 코드 여러 곳에 흩어져 있다. 조건문, 예외 처리, 급하게 넣은 수정, 전체 실행 흐름 속에 숨어 있어서 클래스별 또는 기능별 문서만으로는 빠지는 부분이 생긴다. 겉보기에는 문서가 잘 정리돼도, 실제 RAG에서 쓰면 단계 사이의 문맥, 규칙 간 의존성, 예외 상황, 업무 의도가 부족해진다. 단순히 클래스나 메서드 단위로 잘라 넣거나, 도메인·기능별로 묶거나, 주석과 이름을 참고해 보강하는 방식만으로는 충분하지 않다. 한 답변은 코드 구조와 업무 의도를 분리해서 봐야 한다고 짚었다. 코드의 호출 관계와 의존성은 마크다운 문장으로 납작하게 만들기보다 AST와 관계 그래프로 보관하고, 검색할 때 해당 메서드와 가까운 관련 코드를 함께 가져오는 편이 낫다. 업무 의도는 코드만으로 완전히 알기 어려우므로 커밋 메시지, 풀 리퀘스트, 티켓, 담당자의 지식 같은 별도 자료와 함께 연결해야 한다.
오픈 가중치는 AI 모델의 내부 숫자 값을 공개해 사람들이 모델을 내려받아 쓸 수 있게 해준다. 하지만 그것만으로는 연구자와 개발자가 새 알고리즘을 만들기 어렵다. AI 연구가 더 빨리 나아가려면 훈련 과정 전체를 볼 수 있고, 이해할 수 있고, 바꿀 수 있는 훈련 프레임워크가 필요하다. FeynRL은 대규모 언어 모델, 비전 언어 모델, AI 에이전트를 강화학습으로 추가 훈련하기 위해 만든 프레임워크다. 이런 훈련은 롤아웃 엔진, 보상 계산, 분산 훈련, 가중치 동기화, 긴 작업 흐름에서의 판단 문제처럼 작은 실수 하나로 전체가 깨질 수 있는 요소가 많다. FeynRL의 핵심 방향은 알고리즘 부분과 시스템 실행 부분을 나누고, 데이터 불러오기부터 결과 생성과 보상 처리까지 전체 훈련 흐름을 끝까지 이해하기 쉽게 만드는 것이다.
Unsloth Studio는 로컬 컴퓨터에서 AI 모델을 돌릴 때 쓰는 화면 도구로 평가된다. 여러 AI 화면 도구를 써본 경험 기준으로, 필요한 기능이 한곳에 모여 있고 사용하기 쉽다는 반응이다. Diffusion Gemma를 지원하며, 텐서 병렬 처리 같은 성능 옵션도 쉽게 켤 수 있다. Qwen3.6-27B-MTP-GGUF 모델을 Q4_K_M 설정으로 돌렸을 때 초당 88토큰 속도가 나왔다. 이는 로컬 장비에서 큰 모델을 더 빠르게 실행하려는 사람에게 의미 있는 수치다.
약 60% 완성된 RAG 제품은 사람들이 필요한 내용을 더 빨리 찾고 더 나은 결정을 내리도록 돕는 것을 목표로 한다. 이미 약 3만 개의 청크로 콘텐츠를 나누어 넣었다. 사용자는 내용을 잊어도 질문을 다시 하면 즉시 같은 답을 받을 수 있다. 현재 경험상 환각 없이 답이 나온다고 한다. 남은 핵심 고민은 제품을 어떻게 포장해 팔지다. 후보는 가격표가 있는 방문 페이지, 한 번만 내는 구매 방식, 구독, 또는 사용자가 자기 컴퓨터에 직접 설치하는 방식이다.
AkbasCore는 Qwen2.5-1.5B가 답을 만드는 동안 옆에서 함께 도는 작은 C++ 커널이다. 이 방식은 모델을 다시 학습시키지 않고, 가중치나 프롬프트도 바꾸지 않는다. 대신 처음 20개 트랜스포머 층에서 모델의 숨은 상태를 아주 작게 한쪽 방향으로 밀어 준다. 그 방향은 모델 안의 윤리와 논리 관련 표현에서 만든 것으로 설명된다. 변화량은 일반 측정 도구로는 거의 0처럼 보일 만큼 작지만, 최종 답변에서는 차이가 보인다는 주장이다. ivme, sonum, zirve, taban이라는 네 조절값은 밀어 주는 세기, 줄어드는 속도, 최고 한도, 항상 남는 바닥값을 정한다. 이 실험의 목적은 작은 모델이 실제로 컴파일되는 C++ 스레드 풀 코드를 쓰는지 확인하는 것이 아니며, 그런 코드는 만들지 못한다는 전제를 둔다. 핵심은 15억 매개변수 모델의 구조적 사고가 이런 내부 제어로 얼마나 늘어나는지 보는 것이다.
로컬에서 돌리는 코딩 에이전트는 작은 버그 수정, 저장소 구조 파악, 파일 변경, 반복적인 코드 작업에는 도움이 된다. 하지만 일을 너무 넓게 맡기면 관련 없는 파일을 건드리거나, 겉보기에는 좋아 보이지만 실제로는 깨진 코드를 만들 수 있다. 가장 잘 맞는 사용 방식은 작은 일을 맡기고, 테스트를 돌리고, 변경 차이를 확인하고, 이상한 부분을 고친 뒤 다시 반복하는 흐름이다. 그래서 시간을 줄여 주기는 하지만, 사람이 계속 곁에서 방향을 잡고 결과를 확인해야 한다. 현재 단계에서는 완전히 혼자 오래 일하게 두는 방식보다, 짧은 단위로 나누어 관리하는 방식이 더 안정적이다.
RAG를 다시 써 보고 싶지만, 개인 코딩 연습이나 작은 프로젝트, 가벼운 시스템 관리 작업에서는 뚜렷한 쓰임새가 아직 잘 보이지 않는다. 인터넷 표준 문서 같은 자료는 너무 길고, 중요한 내용은 이미 모델이 어느 정도 알고 있을 가능성이 있다. 개인 코드베이스는 크지 않아서 한 번에 문맥에 넣을 수 있고, 자주 바뀌기 때문에 따로 인덱싱하는 일이 부담이 될 수 있다. 전체 API 문서는 작은 스크립트 언어에는 괜찮을 수 있지만, C#이나 Node.js처럼 큰 생태계에서는 수백 쪽 문서를 내려받고 계속 관리해야 해 일이 커진다. 작은 Google Calendar API 문서 파일을 폴더에 넣고 필요할 때 읽게 한 방식은 잘 작동했지만, 파일이 작아서 꼭 RAG가 필요하지는 않았다. 오래된 회의 기록, 설계 메모, 대형 코드베이스처럼 자료가 매우 많은 회사 환경에서는 RAG가 더 맞을 수 있지만, 작은 개인 작업에는 과할 수 있다는 문제의식이다.
문서 기반 AI 프로젝트는 보통 같은 준비 작업으로 시작된다. 문서를 가져오고, 문서를 작은 조각으로 나누고, 임베딩 모델을 고르고, 벡터 데이터베이스를 띄운 뒤, 이를 연결하는 응용 프로그램 인터페이스와 로그인·권한 처리, 사용량 제한을 붙여야 한다. 여러 팀이나 여러 고객이 함께 쓰는 제품에서는 고객별 문서가 섞이지 않도록 분리 구조도 필요하다. 문제는 이렇게 만든 구조가 특정 팀, 특정 문서 묶음, 특정 사용 사례에 맞춰져 있어 다음 프로젝트에서 그대로 재사용하기 어렵다는 점이다. 많은 팀은 LangChain, Pinecone, 자체 연결 코드를 조합해 매번 새 파이프라인을 만들거나, 완전 관리형 서비스형 소프트웨어를 쓰면서 공급업체 종속과 데이터 외부 반출을 감수한다. 특히 법률 도구, 고객지원 도구처럼 고객마다 각자의 문서가 있는 AI 제품에서는 문서, 벡터, 사용량 데이터가 완전히 분리되어야 한다.