AI 에이전트를 만들고 토큰·비용을 아끼는 데 도움이 되는 오픈소스 도구와 기법을 모읍니다.
RAG 앱에서 문서를 읽어 넣기 위해 Docling을 쓰면 표, 제목 같은 구조를 유지한 채 마크다운으로 바꾸는 데 강점이 있다. 하지만 큰 파일, 고화질 이미지가 많은 파일, 표가 많은 파일에서는 일부 쪽을 처리하다가 메모리 부족으로 보이는 오류가 나고, RapidOCR이 빈 결과를 돌려주는 문제가 생길 수 있다. 특히 PDF의 66~68쪽처럼 특정 페이지에서 전처리 단계가 실패하는 사례가 있다. 필요한 도구는 PDF뿐 아니라 PPTX, HTML, DOCX 같은 여러 형식을 안정적으로 다룰 수 있어야 한다. 비용을 들이지 않는 무료 대안이 우선이며, 이미지 안에 글자가 없거나 고화질 이미지만 들어 있는 문서를 어떻게 처리해야 하는지도 함께 고민해야 한다.
Claude Code를 월 100달러 Max 요금제로 쓰는 상황에서 주간 사용 한도가 3일 만에 소진되고 있다. 주로 데스크톱 앱에서 코드 검토, 작업 계획 조정, 세션 관리, 깃허브 이슈 가져오기, 댓글과 지속적 통합 실패 자동 처리 같은 기능을 쓰고 있다. 어려운 문제에는 Opus와 Ultracode, 동적 작업 흐름을 사용하고, 보통 규모의 작업에는 High 설정을 쓴다. 프로젝트와 개인 선호가 Claude Code의 메모리에 많이 쌓여 있어 작업 방식과 의사결정 성향을 잘 이해하는 점은 장점이다. 다만 구독 한도가 너무 빨리 줄어들어, Codex가 더 넉넉한 구독 조건과 나아진 결과 품질을 제공한다면 시험해볼지 고민이 생긴다. 핵심 비교 대상은 Codex가 Opus 수준의 결과 품질과 판단력을 제공하는지, 아니면 Claude Code Max 200달러 요금제로 올리는 편이 나은지다.
ADP 프로토콜이 ISE의 공식 심사 대기열에 들어갔다. 이는 초기 기술 검토를 통과했고, 이제 심사 위원회가 본격적으로 검토하는 단계로 넘어간다는 뜻이다. ISE는 공식 심사 자리를 쉽게 내주지 않기 때문에, 이번 진입은 ADP가 단순한 아이디어나 예비 제안을 넘어섰다는 신호다. 다음 단계에서는 심사 위원회가 배정되고, 공개 의견 수렴 기간이 열리며, 외부 의견이 공식 기록에 남는다. 심사 기간은 보통 위원회 업무량과 의견 수에 따라 8~12주 정도 걸린다. ADP 팀은 이 기간 동안 기술 질문에 대한 답변을 공개할 예정이다. 공개 의견 수렴 기간에 들어온 커뮤니티 의견도 심사 과정에서 실제로 읽힌다.
Keye-VL-2.0-30B-A3B는 Keye 계열의 300억급 공개 기본 모델이다. 긴 동영상을 이해하고, 영상 안에서 특정 일이 언제 일어나는지 찾는 데 초점을 둔다. 다섯 가지 영상 평가에서 다른 공개 모델보다 앞섰고, 시간 위치 찾기에서는 Gemini-3-Flash와 비슷하거나 더 나은 결과를 냈다고 소개된다. 희소 주의, 필요한 특징만 모으는 방식, 맞춤 커널 같은 기술로 한 시간 길이 영상도 더 적은 계산으로 처리하도록 설계됐다. 긴 입력을 처음 읽는 데 드는 추론 비용을 줄이고, 학습 속도도 높이는 구성이 포함됐다. 이미지, 글자 인식, 차트, 표 이해, 추론 흐름을 강화하기 위해 정제된 데이터와 합성 사고 과정 데이터도 사용됐다. 추가 학습 단계에서는 여러 종류의 시각 정보와 문맥을 함께 다루는 추론 안정성을 높이는 방법들이 적용됐다.
운영 환경에서 쓰이는 AI 에이전트가 실제로 사람의 반복 업무 시간을 줄이고 비용을 아꼈는지가 핵심입니다. 관심 분야는 코딩 보조, 잠재 고객 찾기, 고객 follow-up 같은 실제 업무입니다. 확인해야 할 내용은 에이전트를 도입한 뒤 줄어든 수작업 시간, 실제 운영 비용, 앞으로 토큰 가격이 비싸질 때의 대응 방식입니다. 에이전트가 커지고 처리할 일이 늘어날수록 환각, 정확도 저하, 큰 메모리 관리 문제가 함께 커질 수 있습니다.
여러 AI 계정에 쌓인 오래된 대화가 아이디어 작업의 병목이 되고 있다. 운전하거나 걷는 동안 휴대폰으로 새 대화를 열고, 서비스 구조, 가치 흐름, 데이터 입력, 노드 설정 같은 내용을 말로 정리해 왔다. Claude 계정 2개와 Gemini 계정 2개에 수백 개의 대화가 따로 흩어져 있다. 그 안에는 구조화할 수 있는 아이디어, 작동 논리, 설계 초안이 있지만, 하나씩 열어 복사하고 정리하면 몇 주가 걸릴 수 있다. 목표는 이 대화 기록을 한꺼번에 꺼내서 다시 쓸 수 있는 지식 자산으로 바꾸는 것이다. 원하는 형태는 깔끔한 마크다운 파일이며, Obsidian Canvas나 Heptabase 같은 시각 작업 도구에 넣어 중간 단계의 시제품 설계에 활용하려는 방향이다. 핵심 질문은 Claude와 Gemini에서 대화 기록을 대량으로 추출할 때 데이터 내보내기 파일이나 맞춤 스크립트를 어떻게 쓰는지가 된다.
Suprmind로 진행한 연구 작업 시험에서 여러 최신급 인공지능 모델이 같은 프롬프트를 따로 처리한 뒤, 각자의 판단 과정을 비교했다. 눈에 띈 점은 답이 나온다는 사실보다 모델들이 서로 다른 부분에서 엇갈렸다는 점이다. 한 모델은 빠진 가정이 있는데도 지나치게 확신했다. 다른 모델은 더 조심스럽게 접근했고, 첫 번째 모델이 놓친 예외 상황을 잡아냈다. 이런 차이는 인공지능 에이전트가 중요한 행동을 하기 전에 여러 모델의 의견을 비교하게 만드는 방식이 도움이 될 수 있음을 보여준다. 적용할 만한 영역으로는 계획 세우기, 코드 검토, 조사 작업이 제시된다. 핵심 질문은 잘 만든 프롬프트를 받은 단일 모델이면 충분한지, 아니면 일부 작업에서는 여러 모델로 답을 서로 확인해야 하는지다.
실제 업무에서 여러 AI 에이전트를 함께 쓰면 관리가 쉽게 흩어진다. 자동화, 코딩, 마케팅용 에이전트처럼 목적이 다른 도구들이 각각 따로 움직이면, 지금 무엇을 하고 있는지 한곳에서 보기 어렵다. 어떤 에이전트가 켜져 있는지, 어떤 것이 고장 났는지, 작업들이 어떻게 정리되어 있는지도 추적하기 어렵다. 핵심 문제는 에이전트 자체의 성능보다, 여러 에이전트를 실제 업무 흐름 안에서 운영하고 감시하는 방식이 아직 정리되지 않았다는 점이다.
OpenClaw로 만든 AI 에이전트를 법률사무소, 부동산 등 소규모 사업체에 몇 달간 판매해 본 경험담이다. 에이전트를 만드는 일 자체는 쉬운 편이고, 진짜 어려운 건 가격을 매기는 일이다. 처음에는 SaaS에서 흔한 '에이전트 수(seat)당 과금'을 시도했지만 실패했다. 고객은 '에이전트가 몇 개 돌아가는지'가 아니라 '내 청구서가 더 빨리 나가는지'에만 관심이 있어서, 개수 기준 과금은 고객의 관심을 판매자의 기술 구조 쪽으로 돌려버려 오히려 역효과였다. 훨씬 효과적이었던 방법은 이를 'AI 직원'이라 부르고 월급처럼 매달 요금을 받는 방식이다. 기술적으로 정확한 표현은 아니지만, 사업주들은 이미 '사람을 쓰면 비용이 얼마'라는 감각을 갖고 있어서, 소프트웨어 구독과 경쟁하는 대신 '사람 채용'과 경쟁하는 구도가 되어 설득이 훨씬 쉬워졌다. 또 하나의 함정은 원가 가산(cost-plus) 방식 가격 책정이다. 토큰 비용과 컴퓨팅 비용에 마진을 얹어 가격을 정하려 했지만, 법률사무소가 그 도구 덕분에 수십만 유로 손실을 막을 수 있다면 원가 기준 가격은 애초에 잘못된 접근이라는 점을 깨달았다.
개인 프로젝트의 담당 범위는 하이브리드 검색, RRF, BM25다. 일반적인 인공지능 튜토리얼은 이 주제를 깊게 다루지 않아, 이 세 가지 검색 기법을 제대로 배울 자료가 필요하다는 내용이다.
Claude를 매일 여러 목적에 함께 쓰면서 작업 내용이 서로 섞이고 있다. 용도는 디자인과 카피 작성, 아이디어 만들기, 언어 학습, 문법 연습, 대화 연습, 학술 연구, 논문 분석, 장 구성, 긴 연구 자료 처리처럼 서로 다르다. 각 분야에 넣는 자료가 완전히 달라서 작업 공간 안의 프로젝트를 어떻게 나눠야 할지, 각 목적에 맞는 요청문을 어떻게 잡아야 할지 막혀 있다. 또 무거운 Opus 모델을 쓸 때 토큰이 매우 빨리 줄어드는 문제가 있다. GitHub에서 Graphify-Labs의 Graphify라는 도구를 찾았고, 이것이 F-able 플랫폼에서 실제로 작동하는지와 토큰 소모를 줄이는 데 도움이 되는지 확인하려는 상황이다.
Google Antigravity IDE는 2.2.1 버전과 Windows 11 환경에서 이전보다 안정적으로 동작해 실제로 쓸 만한 상태가 됐다. Google AI Pro를 1년 결제한 가치는 코딩만 목적이라면 애매하지만, YouTube Premium Lite와 50GB 저장공간이 포함되어 기존 구독과 저장공간 비용을 줄일 수 있다. 그래도 다음에 갱신할지는 확실하지 않다. Opencode에서 Minimax를 쓰면 Antigravity IDE의 Flash 3.5보다 결과가 더 좋고, 10달러 요금제에서도 토큰이 쉽게 바닥나지 않는다. Google AI Pro 요금제를 Opencode에서 그대로 쓸 수 있다면 OpenAI, Minimax, Kimi처럼 외부 도구에서 더 유연하게 쓸 수 있다. Flash는 여러 AI 에이전트 안에서 일부 역할을 맡기면 잘 맞을 가능성이 있다.
OpenAI의 2025년 지출은 약 340억 달러로 알려졌다. 이 중 약 190억 달러는 새 모델을 만들고 개선하는 연구개발비에 쓰였고, 약 60억 달러는 영업과 마케팅에 쓰였다. 매출은 빠르게 늘어 약 130억 달러였지만, 비용이 더 커서 큰 손실이 났다. 일부 보도는 회계상 일회성 비용까지 포함하면 순손실이 약 390억 달러였고, 현금 흐름에 가까운 운영 손실은 약 80억 달러 수준이었다고 전했다. Reddit 토론에서는 현재 AI 서비스 가격이 실제 토큰 처리 비용보다 낮게 보조되고 있을 수 있으며, 투자금이 줄면 구독료나 API 가격이 오를 수 있다는 의견이 많았다. 반대로 대형 AI 회사의 높은 비용 압박이 더 작은 모델, 더 효율적인 추론, 오픈 모델 개선을 밀어붙이는 힘이 된다는 시각도 있었다. 개인이 직접 장비를 사서 모델을 돌리는 방식과, 회사가 많은 사용자를 묶어 처리하는 방식의 비용 구조가 다르다는 논쟁도 이어졌다.
토큰 비용 관리는 문맥 관리에서 시작한다. 모델에 보내는 정보의 양과 관련성이 토큰 사용량을 좌우하고, 이는 비용과 처리 속도에 바로 영향을 준다. 구체적인 절감 방법, 도구 이름, 실험 수치, 사례는 함께 제시되지 않았다.
전략 고객 관리를 위해 각 대형 고객사의 상태를 계속 갱신되는 디지털 트윈으로 만들자는 구상이다. 이 고객 기록에는 과거 관계, 제품 사용 현황, 임원 변화, 회의 메모, 고객 지원 이력, 구매 가능성을 보여주는 신호, 경쟁사 정보가 함께 들어간다. AI 에이전트는 이 자료를 바탕으로 고객이 무엇을 원할지, 어떤 위험이나 기회가 있는지에 대한 가설도 만들 수 있다. 핵심은 흩어진 고객 정보를 한곳에 모아, 영업이나 고객 관리 판단에 바로 쓸 수 있는 살아 있는 기록으로 유지하는 것이다. 구체적인 제품, 구현 방식, 비용 절감 수치는 제시되지 않는다.
Loop-MCP는 AI 코딩 에이전트가 큰 코딩 작업을 한 번에 끝내려 하지 않고, 작은 단계로 나누어 반복하게 돕는 오픈소스 도구다. 문제를 작게 쪼개고, 나온 결과를 확인하고, 필요한 만큼 다시 고치는 흐름을 개발 도구 안에서 쓰게 하는 방식이다. Cursor, Kiro처럼 MCP를 지원하는 개발 도구에 연결해 사용할 수 있다. 설치는 PyPI를 통해 할 수 있다. 목표는 큰 작업에서 결과를 더 안정적이고 정확하게 만드는 것이다. 개발자가 직접 겪은 바로는 이런 반복 흐름이 큰 코딩 작업에서 더 나은 결과를 냈다.
StepFun의 Step 3.7 Flash 모델은 같은 로컬 모델이라도 어떤 도구로 실행하느냐에 따라 결과가 달랐다. StepFun 블로그 예시에서는 Claude Code로 실행했을 때 Hermes로 실행했을 때보다 결과가 좋았다. 주어진 내용에서 확인되는 핵심은 모델 자체만이 아니라 모델을 부르는 도구와 사용 방식도 결과 품질에 영향을 줄 수 있다는 점이다. 다만 테스트 과제, 점수, 설정, 토큰 사용량, 비용 숫자가 나오지 않아 차이가 왜 생겼는지는 확정할 수 없다.
Inflect-Nano-v1은 영어 남성 목소리 하나를 만드는 매우 작은 TTS 모델이다. 전체 추론용 파라미터는 463만 개이며, 이 중 음향 모델이 346만 개, 보코더가 117만 개다. 24킬로헤르츠 오디오를 만들고, 간단한 PyTorch 추론 스크립트로 로컬 컴퓨터에서 실행할 수 있다. 크기는 Kokoro보다 약 17배, Chatterbox보다 약 108배, Fish Audio S2 Pro보다 거의 1000배 작다. 품질은 큰 모델보다 낮아서 소리가 기계적으로 들릴 수 있고, 처음 보는 어려운 문장에서 버벅일 수 있으며, 보코더도 품질의 큰 제한 요소다. 그래도 500만 개 미만의 파라미터로 동작하는 로컬 음성 합성의 기준점으로 볼 수 있고, 오프라인 비서, 작은 기기, 브라우저나 WASM 기반 프로젝트, 로컬 음성 에이전트에 쓸 가능성이 있다.
더운 여름 환경에서 DGX Spark가 너무 뜨거워지면 작업 중 멈추는 문제가 생길 수 있다. NVIDIA 그래픽 처리 장치의 동작 속도를 낮추는 언더클럭을 적용하면 발열을 크게 줄일 수 있다. 예시 설정은 터미널에서 `sudo nvidia-smi -lgc 0,900`을 실행해 그래픽 처리 장치 클럭을 900MHz까지 제한하는 방식이다. 이 설정 뒤 온도가 85도에서 60도까지 내려갔고, 과열 때문에 장비가 멈추는 문제가 사라졌다. 별도 팬을 쓰는 방법도 있지만, 장비 자체의 열 발생을 줄이는 설정만으로도 안정성이 좋아질 수 있다.
2024년부터 LLM API 서비스를 더 쉽게 쓰기 위한 개인용 플랫폼이 만들어지고 있다. 처음에는 prompt_toolkit으로 TUI를 만들어 기본 추론을 실행하려 했지만, 기능이 늘면서 화면 구성이 빠르게 복잡해졌다. 그래서 Tkinter 기반의 일반 GUI로 방향을 바꿨고, 버튼과 화면 요소를 더 자연스럽게 배치할 수 있어 작업이 덜 억지스러워졌다. Tkinter는 오래된 도구라 안정적이고, 수십 년 만에 나오는 9.0 업데이트에서는 UTF-8 처리와 64비트 텍스트 버퍼 같은 개선이 들어간다. 기본 제공 고급 위젯만 쓰지 않고 직접 필요한 위젯을 구현해, 단순한 기능과 복잡한 기능 모두를 더 세밀하게 조절하고 있다.
정보 검색 분야 경험이 있는 두 공동창업자가 금융용 검색 시스템을 7개월 동안 만들었다. 핵심 아이디어는 에이전트가 질문을 받을 때마다 같은 관계를 다시 찾게 하지 않고, 자료를 넣는 단계에서 중요한 연결을 미리 만들어 재사용하는 것이다. 이 시스템은 에이전트형 수집 파이프라인으로 문서를 자동으로 다시 정리하고, 내용 사이의 논리적 연결을 그래프 형태로 만든다. 전통적인 지식 그래프 방식이나 GraphRAG 방식은 아니라고 밝히고 있다. 시험 대상으로 최신 S&P 500 기업의 10-K 보고서를 처리했다. 자료 구조와 계산 위치를 바꾸면 검색이 더 빠르고 더 저렴해질 수 있다는 결과를 얻었다고 한다.
초보 제작자는 바이브 코딩으로 기본 앱 기능은 만들 수 있지만, 화면을 보기 좋게 다듬는 단계에서 막히기 쉽다. 원하는 분위기는 대략 있지만, 직접 화면 코드를 고칠 만큼 프런트엔드 지식이 부족하면 작은 시각 변화도 계속 프롬프트를 다시 써야 한다. 마음에 드는 웹사이트나 앱 화면을 캡처해 인공지능에게 프롬프트나 디자인 방향으로 바꾸게 하면 색감은 조금 가까워질 수 있다. 하지만 버튼, 카드, 입력창 같은 요소들이 서로 어울리는 느낌은 다시 흔한 SaaS 화면처럼 돌아가기 쉽다. 결국 좋은 화면을 안정적으로 만들려면 피그마, 디자인 시스템, 기본적인 화면 코드 지식 중 일부는 배워야 하는지 고민이 생긴다.
AI 에이전트를 배포하기 전에는 문제가 어디서 생기는지 먼저 나눠 보는 방식이 유용하다. 도구를 잘못 고르거나 입력값 형식이 틀리면 구성요소 평가를 봐야 한다. 답은 맞지만 단계가 너무 많거나 비용이 많이 들면 경로 평가가 필요하다. 최종 답변이 나쁘거나 쓸 수 없으면 결과 평가를 봐야 한다. 위험한 행동이나 프롬프트 주입에 흔들리면 공격 평가로 확인해야 한다. 구성요소 평가는 사용자 질문, 기대한 도구, 기대한 입력값, 정답으로 보는 이유를 예시마다 함께 둔다. 도구 선택 정확도는 전체 도구 목록을 기준으로 재고, 입력값 품질은 필수 항목, 허용되는 값, 의미가 맞는지를 확인한다. 계획 점검은 빠진 단계가 없는지, 불필요하게 길지 않은지, 순서가 맞는지를 보고, 실패 유형은 잘못된 도구 선택, 틀린 입력값, 반복 호출, 너무 이른 중단으로 나눈다. 경로 평가는 실행 순서대로 추론 단계, 도구 호출, 관찰 결과, 재시도, 토큰 사용량을 기록하고, 단계 과다, 중복 호출, 반복 루프 같은 행동을 잡아낸다.
미국이 중국 인공지능 기업 DeepSeek를 제재 명단에 올리는 결정을 일단 미뤘다. 동시에 100곳이 넘는 다른 중국 기업은 안보 위험이 있는 곳으로 판단된 것으로 전해졌다. 핵심은 DeepSeek가 당장 미국의 강한 거래 제한 대상이 되지는 않았지만, 중국 인공지능 기업 전반에 대한 감시는 계속 커지고 있다는 점이다. 이 내용만으로 DeepSeek가 안전하다고 판정됐거나 앞으로도 제한을 피할 것이라고 볼 수는 없다.
llama.cpp의 최근 실행 상태에서 일반 메모리 사용이 줄고, 메모리 누수도 보이지 않아 더 큰 모델과 긴 문맥을 GPU에 올리기 쉬워졌다. RTX 3090을 외장 GPU로 쓰는 환경에서 Qwen 계열 27B 모델을 150k 문맥으로 돌릴 수 있었고, 기본 설정은 GPU 계층을 많이 올리고 일반 메모리 사용을 피하는 쪽이었다. 시각 입력을 지원하는 모델에서는 멀티모달 프로젝터를 CPU로 넘기면 GPU 메모리를 약 1GB 더 비울 수 있다. 대신 속도는 조금 느려질 수 있다. 키-값 캐시의 저장 방식을 더 작게 바꾸면 메모리 사용을 절반 또는 그 이상 줄일 수 있지만, 답변 품질이 떨어질 수 있다. 다만 최근 주의 회전 기능이 들어간 뒤에는 q4 수준의 캐시 압축도 눈에 띄는 품질 저하가 적었고, 절약한 메모리로 더 큰 기본 모델을 쓰는 편이 전체 품질에 더 도움이 될 수 있었다.
LoopCoder-V2는 코드 작성과 코드 추론에 맞춘 70억 매개변수 규모의 지시 조정 코드 모델이다. 18조 토큰의 글과 코드 데이터를 섞어 처음부터 학습했다. 핵심은 Parallel Loop Transformer (PLT) 구조로, 모델 크기를 늘리지 않고 같은 Transformer 블록을 반복해서 써서 답을 더 다듬는 방식이다. 공개된 체크포인트는 두 번 반복하는 설정이며, 논문에서는 이 설정이 성능 향상과 계산 비용 사이의 균형이 가장 좋았다고 한다. 두 번째 반복은 숨은 추론을 꽤 개선했지만, 더 많은 반복은 효과가 줄거나 업데이트가 불안정했다. 목표 사용처는 코드 생성, 여러 언어의 코드 처리, 코드 추론, 에이전트형 소프트웨어 개발, 도구 사용 흐름이다. 구조에는 반복 사이 위치 차이를 주는 방식과 공유-KV 게이트 슬라이딩 윈도우 어텐션이 포함된다.
CyBurn Digital 팀은 검색 증강 생성 시스템에서 쓰는 벡터 데이터베이스 저장 공간을 49% 줄였다고 주장한다. 문제는 1024차원 임베딩을 클라우드에 보관하는 비용이 컸다는 점이다. Pinecone의 SQ 같은 기본 데이터베이스 양자화는 숫자의 정밀도만 낮추기 때문에 실제 차원 수를 줄이지 못했다. 목표는 의미 검색 정확도를 크게 해치지 않으면서 차원을 물리적으로 절반 가까이 줄이는 것이었다. Matryoshka Representation Learning은 처음부터 그렇게 훈련된 모델에는 맞지만, 이미 BGE-M3 같은 일반 모델로 만든 수백만 개의 기존 벡터에는 바로 쓰기 어렵다. 모든 데이터를 다시 임베딩하는 비용도 너무 커서 선택지가 아니었다. PCA나 SVD 같은 표준 축소 방식은 긴 꼬리 쪽 정보 손실이 생겨 원하는 결과를 내지 못했다. 그래서 실행 코드는 공개하지 않고, 사후 반복 잔차 축소라는 수학적 구조와 시험용 샌드박스를 공개해 검증을 요청하고 있다.
Gemma 4 E2B 모델이 브라우저 안에서 WebGPU를 이용해 실행되며, M4 Max 환경에서 초당 약 255토큰 속도에 도달했다. 이 속도는 Fable 5가 종료되기 전에 Gemma 4용 WebGPU 커널을 최적화해 얻은 결과다. 실행 데모와 커널이 Hugging Face Spaces에 공개되어 직접 시험해볼 수 있다. 사용된 모델은 구글의 Gemma 4 E2B it qat mobile transformers 모델이다.
GameCraft-Bench는 인공지능 코딩 에이전트가 글로 된 요청만 보고 실제 게임 엔진 안에서 플레이 가능한 게임을 끝까지 만들 수 있는지 재는 평가입니다. 평가 대상은 Godot 게임 엔진에서 돌아가는 140개 작업이며, 15가지 게임 유형을 포함합니다. 단순히 코드가 맞는지만 보지 않고, 만든 결과물이 실행되는지, 플레이어가 직접 상호작용할 수 있는지, 화면 반응과 게임 구성이 제대로 이어지는지를 함께 봅니다. 가장 높은 점수를 낸 최신 에이전트도 41.46%에 그쳤고, 대부분은 40% 아래였습니다. 에이전트들은 기본 움직임이나 규칙처럼 알아볼 수 있는 게임 요소는 꽤 만들지만, 충분한 내용, 작동하는 시각적 피드백, 완성도 있는 화면 구성을 갖춘 게임까지 마무리하는 데 약했습니다. 공개된 자료에는 논문, 코드, 데이터, 데모가 포함되어 있어 다른 모델을 같은 기준으로 시험할 수 있습니다. 커뮤니티에서는 30B~70B급 중간 크기 모델이 200B 이상 대형 모델 수준에 가까워질 수 있을지에 관심을 보였습니다.
구매 후보는 32GB 메모리를 가진 V620, MI50, V100 그래픽카드다. 현재 컴퓨터에는 9070 XT 그래픽카드, MSI X670P Wifi 메인보드, DDR5 32GB 메모리, Ryzen 7900X 프로세서가 있다. 지금은 9070 XT로 ComfyUI와 llama.cpp를 쓰고, Gemma 4 26B A4B Q5 모델을 돌리고 있다. 새 카드는 9070 XT를 게임이나 다른 작업용으로 비워 두기 위한 보조 카드로 쓰려는 목적이다. 나중에는 필요하면 두 카드의 그래픽 메모리를 합쳐 더 큰 거대 언어 모델을 돌릴 가능성도 있다. 원하는 용도는 Windows 11에서 ComfyUI 이미지 생성 모델을 적당한 속도로 돌리고, llama.cpp에서 프롬프트 처리와 토큰 생성 속도를 괜찮게 얻는 것이다. 비교 기준은 V620, MI50, V100 중 이 구성에서 어떤 카드가 더 나은지와 실제 벤치마크가 있는지다.