AI 에이전트를 만들고 토큰·비용을 아끼는 데 도움이 되는 오픈소스 도구와 기법을 모읍니다.
조직 안의 문서와 이미 쓰고 있는 챗지피티, Claude 같은 대화형 인공지능 도구 사이에 별도의 지식 계층을 두는 설계다. 목표는 새 챗봇을 만드는 것이 아니라, AI 비서가 믿을 수 있는 자료를 읽고 작업 결과를 남길 수 있는 공간을 제공하는 것이다. 설치는 조직마다 분리된다. 한 조직당 서버와 데이터가 따로 있고, 여러 조직이 같은 데이터베이스를 공유하지 않게 해 실수로 자료가 섞일 위험을 줄인다. 원본 Word, PowerPoint, PDF 파일은 그대로 보관하고, 추출한 글은 설명 정보가 붙은 마크다운 파일로 저장한다. 벡터 인덱스와 데이터베이스는 언제든지 디스크에 있는 자료로 다시 만들 수 있는 임시 성격의 캐시로 본다. 임베딩 모델이나 문서를 자르는 방식이 바뀌면 데이터 이전 작업이 아니라 다시 색인하는 방식으로 처리한다. 파일만으로는 부족하므로, 각 문서가 왜 들어왔는지, 어떤 추출기와 청커와 임베딩 모델과 접근 범위 정책으로 처리됐는지를 매니페스트와 이벤트 로그에 남긴다.
nexusGPT는 깃허브 코드 저장소를 입력하면 저장소 전체를 복제하고, 파일을 구조화된 데이터로 바꾼 뒤 코드 관계를 찾아 저장하는 코드 분석 에이전트다. 여러 LLM을 함께 쓰는 구조이며, 여러 사용자를 나눠 처리하는 멀티테넌시도 지원한다. 흐름은 사용자가 저장소 링크를 넣는 것에서 시작한다. 시스템은 저장소를 복제한 뒤 각 파일을 Pydantic 모델로 정리하고, tree-sitter로 프로그래밍 언어를 자동으로 알아내 코드 안의 구성요소와 관계를 뽑는다. 그다음 SCIP로 더 정확한 코드 노드와 연결 관계를 추출한다. SCIP가 실패하면 tree-sitter에서 얻은 결과를 예비 데이터로 유지한다. 최종 데이터는 벡터 저장소와 Neo4j 그래프 데이터베이스에 함께 저장된다. 전체 시스템은 LangGraph로 묶여 있으며, MCP 도구와 여러 무료 클라우드 서비스를 연결해 동작한다.
HyperspaceDB 3.1.0은 검색 증강 생성과 자율 AI 에이전트에 쓰는 벡터 데이터베이스의 메모리 문제를 줄이기 위한 새 버전이다. 기존 방식은 1536차원 벡터와 JSON 메타데이터를 메모리에 많이 올려야 해서, 데이터가 수백만 개로 늘면 램 사용량이 커지고 메모리 부족으로 멈출 수 있다. 새 엔진은 전체 벡터를 한꺼번에 메모리에 올리지 않고, 129차원짜리 가벼운 검색용 핵심 부분만 빠른 램에 둔다. 더 무거운 672차원 의미 정보는 최종 후보를 다시 순위 매길 때 NVMe 저장장치에서 불러온다. 공개된 자체 테스트에서는 벡터 10만 개 기준 HyperspaceDB가 약 72MB의 램을 썼고, Chroma는 3000MB 초과, Milvus는 약 1700MB를 썼다고 한다. 또 법률 조항이나 의료 분류처럼 위아래 관계가 중요한 자료를 더 잘 다루기 위해 801차원 하이브리드 벡터를 도입했다. 이 벡터는 Lorentz 방식과 Euclidean 방식을 함께 쓰는 구조라고 설명된다.
사내 데이터 분석용 SQL 봇을 만들 때 핵심 고민은 에이전트가 SQL을 잘 쓰도록 어떤 정보를 어떻게 줄지이다. 한 방법은 깃허브 저장소의 마크다운 파일을 지식 베이스로 연결하고, 문서를 잘게 나누는 크기와 겹치는 범위를 정한 뒤 검색해서 에이전트에 넣는 방식이다. 다른 방법은 MCP로 GitLab이나 BigQuery 같은 외부 도구에 직접 연결하는 방식이다. 현재 BigQuery용 MCP에는 쿼리를 실행하는 도구만 있고, 테이블 설명, 지표 정의, 업무 규칙 같은 메타데이터와 지표 정보는 따로 넣어야 한다. 그래서 실제 구조는 쿼리 실행 도구만으로 끝나지 않고, 에이전트가 참고할 문서 정보와 실행 도구를 어떻게 나눌지가 중요하다.
RAG 챗봇을 직접 만들 때 많은 실패는 거대 언어 모델 자체보다 필요한 자료를 잘못 찾는 과정에서 생겼다. 처음에는 벡터 검색만 썼지만, 이후 BGE와 Qdrant를 쓰는 밀집 검색, BM25, RRF, CrossEncoder 재정렬을 추가했다. 이런 개선도 도움이 됐지만, 특히 효과가 컸던 방법은 웹사이트 주소 구조와 메타데이터를 이용해 자료를 나눠 찾는 방식이었다. 대학 챗봇이라면 입학, 학과, 시험, 장학금, 공지, 학생 서비스처럼 내용을 미리 묶어둔다. 사용자가 장학금을 물으면 전체 문서를 모두 훑기보다 장학금 관련 자료를 먼저 찾게 할 수 있다. 이 방식은 엉뚱한 검색 결과를 줄이고, 필요한 정보를 더 잘 찾게 했으며, 재정렬 단계가 더 좋은 후보 자료에 집중하게 했다. 핵심 교훈은 모델을 바꾸는 것보다 검색 설계를 고치는 일이 챗봇 품질에 더 큰 영향을 줄 수 있다는 점이다. 관련 예시 코드는 GitHub의 omnichannel-rag-chatbot 저장소에 공개돼 있다.
여러 사람이 각자 AI 모델을 돌릴 수 있는 컴퓨터를 갖고 있지만, 각 장비는 대부분의 시간에 놀고 있다. 제안된 방식은 작업을 시작할 때 친구들의 장비가 비어 있는지 확인하고, 비어 있으면 VPN 같은 연결을 통해 일을 나눠 보내는 것이다. 라운드 로빈 방식으로 여러 장비에 작업을 번갈아 배분하면 한 장비에 몰리지 않는다. AI 에이전트 작업은 여러 일을 동시에 진행할 수 있는 경우가 많기 때문에, 이런 구조가 잘 되면 전체 처리 속도를 크게 높일 수 있다. 핵심은 개인이 새 장비를 사지 않고도 친구들의 남는 컴퓨팅 자원을 함께 쓰자는 것이다.
인턴십 과제로 24시간 안에 법률 문서 질의응답 챗봇의 첫 작동 버전을 만들어야 하는 상황이다. 사용자는 법률 PDF를 직접 올리고, 챗봇 화면에서 그 문서에 대해 자연어로 질문한다. 목표는 새 모델을 훈련하는 것이 아니라, 업로드된 PDF를 잘게 나누고 찾아볼 수 있게 만든 뒤, 관련 문맥을 찾아 Gemini Flash가 답변하도록 하는 RAG 파이프라인을 만드는 것이다. 기술 구성은 프런트엔드가 Vite와 Tailwind CSS, 백엔드가 Go, 데이터베이스가 SQLite, 언어 모델이 Gemini Flash로 고정되어 있다. 핵심 흐름은 PDF 업로드, 문서 처리와 색인, 질문 입력, 관련 조각 검색, 검색된 문맥을 바탕으로 한 답변 생성이며, 가능하면 출처 표시도 붙이는 방식이다. 고민 지점은 이 구성에서 가장 단순하면서 나중에 키우기 쉬운 RAG 구조, Gemini Flash와 함께 쓸 임베딩 모델, SQLite를 어떻게 활용할지 같은 실제 구현 선택이다.
AI 에이전트를 단순히 도구를 붙인 챗봇처럼 만들면 짧은 시연에서는 그럴듯해 보여도, 여러 번에 걸쳐 이어지는 실제 업무에서는 쉽게 무너진다. 예를 들어 고객 온보딩 에이전트는 환영 이메일을 보냈다는 사실을 대화 기록 속 기억에 맡기면 안 된다. 잠재고객 확인, 요금제 선택, 계약서 발송, 계약 완료, 결제 완료, 온보딩 시작, 완료 같은 진행 상태를 데이터베이스에 분명히 저장해야 한다. LLM은 생각하고, 글을 쓰고, 요약하고, 도구를 호출하고, 다음 행동을 고르는 역할에 적합하다. 하지만 실제 업무 절차는 매번 같은 규칙으로 움직이는 결정적 구조여야 한다. 실용적인 구조는 LLM이 판단과 언어를 맡고, 도구가 실제 행동을 하며, 상태 머신이 진행 단계를 관리하고, 웹훅이나 이벤트가 필요한 때 에이전트를 다시 실행하는 방식이다. 로그와 평가로 단계 누락을 확인하고, 돈이 많이 들거나 위험한 행동에는 사람 승인을 넣어야 한다. 믿을 수 있는 AI 에이전트는 거대한 프롬프트 하나가 아니라, 모델 주위에 작은 운영 체제처럼 업무 규칙과 기록을 둘러싼 구조에 가깝다.
Zilliz Cloud에서 Vector Lakebase가 공개 미리보기로 제공된다. Vector Lakebase는 운영용 벡터 데이터베이스와 공유 데이터 기반을 함께 쓰게 해, 같은 데이터 한 벌로 실시간 서비스, 필요할 때 하는 검색, 대량 처리를 지원하는 방식이다. 목표는 데이터를 옮기거나 여러 벌로 복사하지 않고 여러 작업을 처리하는 것이다. 세션에서는 Milvus와 기존 벡터 데이터베이스 옆에서 Vector Lakebase가 어떤 역할을 하는지 다룬다. Iceberg, Lance, Parquet 위의 외부 컬렉션, 하나의 데이터·하나의 색인·하나의 의미 계층, 벡터·텍스트·제이슨·위치·하이브리드 검색도 설명한다. 발표자는 Zilliz CTO이자 Milvus 관리자인 James Luan과 Zilliz 기술 시장 진입 담당 이사 Jiang Chen이다. 웨비나는 2026년 7월 1일 오전 11시 PDT에 열린다.
RAG 앞에 캐시를 두면 같은 질문에 대해 검색과 생성을 다시 하지 않아 비용과 시간을 줄일 수 있다. 하지만 실제 경험에서는 캐시가 자신 있게 틀린 답을 내는 문제가 생겼다. 첫째, 원본 문서가 바뀌어도 캐시는 예전 답을 계속 내보낼 수 있다. 1시간 TTL을 걸어도 문제는 사라지지 않고, 최대 1시간 동안 낡은 답을 허용하는 것에 가깝다. 둘째, 비용을 아끼려고 원문 전체가 아니라 요약이나 뽑아낸 주장만 저장하면 나중에 필요한 세부 사실이 빠질 수 있다. 이때 캐시 적중은 성공처럼 보이지만, 실제로는 일반 RAG보다 더 부족한 답을 만든다. 효과가 있었던 개선책은 캐시된 답이 어떤 출처를 근거로 삼았는지 기록하고, 그 출처가 바뀌면 관련된 캐시만 지우는 방식이다.
엔터프라이즈용 온프레미스 RAG 검색 엔진은 회사 내부 문서를 빠르게 찾고, 근거가 되는 출처를 함께 보여주는 것을 목표로 한다. 데이터는 회사 밖으로 나가지 않고, 토큰 비용이 없으며, 특정 공급업체에 묶이지 않는 구조를 내세운다. 해결하려는 문제는 팀이 문서를 많이 남겨도 실제로는 필요한 정보를 찾기 어렵다는 점이다. 엔지니어가 작성한 기획 문서, 결정 기록, 장애 회고, 운영 문서가 Confluence 안에 쌓이지만, 단순 키워드 검색은 의미를 묻는 질문에 약하고 큰 문서 묶음에서는 문맥이 쉽게 끊긴다. 그 결과 새 입사자는 같은 질문을 오래 반복하고, 시니어 엔지니어가 사실상 사람 검색 엔진처럼 지식을 대신 찾아주게 된다. 현재 최소 기능 제품은 Confluence 연결, 벡터 검색과 BM25를 섞은 하이브리드 검색, 출처가 표시된 답변, 조직 내부 인프라 안에 남는 데이터 구조를 갖췄다.
Codex를 여러 저장소에서 쓸 때 기본으로 적용할 전역 작업 규칙을 만들자는 내용이다. 이 규칙은 더 구체적인 AGENTS.md가 없을 때 모든 저장소에 기본으로 적용된다. 핵심은 추측하지 말고, 확인한 파일과 명령 출력, 문서, 사용자의 명시 지시를 근거로 판단하라는 것이다. 정보가 없거나 확실하지 않으면 그 상태를 그대로 밝혀야 한다. 현재 작업에서 사용자가 준 지시가 기본 규칙보다 우선하며, 규칙이 충돌하면 더 구체적이고 더 최근의 지시를 따른다. Codex CLI에서는 RTK가 셸 명령을 자동으로 가로챈다고 가정하지 말라고 되어 있다. 명령 출력이 매우 많아질 수 있을 때는 그 점을 고려해야 한다는 방향도 포함된다.
모바일 도구의 목표는 장보기 후 무엇을 해 먹을지 정하는 부담을 줄이고, 집에 있는 식재료 낭비를 줄이는 것이다. 흐름은 먼저 장보기 영수증을 사진으로 찍고, 멀티모달 시각 언어 모델로 품목을 뽑아 구조화된 목록으로 바꾸는 방식이다. 식품 종류에 따라 대략적인 보관 가능 기간도 자동으로 붙인다. 저장한 레시피 주소에서는 앞부분의 긴 설명을 걷어내고, 재료와 조리 순서를 구조화 스키마에 맞춰 가져온다. 마지막에는 곧 상할 재료와 저장된 레시피의 필요 재료를 비교해, 가장 알맞은 한 가지 식사를 추천한다. 핵심 고민은 복잡하고 제각각인 영수증 레이아웃을 멀티모달 시각 언어 모델이 안정적으로 처리할 수 있는지, 아니면 레이아웃 인식 광학문자인식이 더 나은지다. 또 시각 모델은 영수증 한 장을 처리할 때 토큰 사용량이 커질 수 있어, 실제 서비스로 키울 때 비용이 부담이 될 수 있다. 사용자 경험 면에서는 선택지를 많이 보여주기보다 ‘한 가지 추천’만 주는 방식이 결정 피로를 줄일지, 아니면 사용자가 필터와 탐색 기능을 원할지도 검토 대상이다.
코딩 에이전트가 코드 안에서 필요한 부분을 찾을 때 단순한 grep 검색만 쓰면 실제 일을 처리하는 핵심 함수를 놓칠 수 있다. 반대로 에이전트가 파일 전체를 계속 읽으며 찾게 하면 context window를 빠르게 써 버린다. 그래서 코드 검색에는 단어 검색과 의미 기반 검색을 함께 쓰는 hybrid 방식이 더 나을 수 있다. 여기에 reranking을 더하면 처음 찾은 후보 중에서 실제로 더 관련 있는 코드를 다시 골라낼 수 있다. 이런 방식은 에이전트가 덜 헤매고, 불필요한 파일 읽기를 줄이는 데 도움이 된다.
개인용 컴퓨터에서 AI를 직접 돌리는 환경에서는 Qwen3.6 27B나 35B가 자주 추천되고, Gemma 4 31B도 가끔 거론된다. 하지만 Gemma 4 26B MoE는 상대적으로 덜 언급된다. 한 3090 그래픽카드 중심의 개인 장비에서 코딩 에이전트는 Qwen3.6을 쓰고, 별도의 ‘Jarvis’ 같은 개인 비서는 RAG, 개인 비서, 지식 기반 검색용으로 만들고 있다. 처음에는 Qwen3.6 35B를 주 모델로 쓰려 했지만, 실제 테스트에서는 Gemma가 이런 비서형 작업에 더 잘 맞을 가능성이 보였다. 핵심 의문은 Gemma 4 26B MoE가 좋은 선택일 수 있는데도 커뮤니티에서 덜 이야기되는 이유가 무엇인지다. 코딩 성능이 아니라 문서 찾기, 개인 지식 정리, 질문 답변 같은 작업에 초점이 있다.
Azure에서 운영용 RAG 솔루션을 만들기 전에 전체 구조를 먼저 정해야 하는 상황이다. 핵심 범위는 끝에서 끝까지 이어지는 데이터 구조, 필요한 Azure 서비스, 보안과 관리 기준, 데이터 수집 방식, 인덱싱 방식, 고객사가 미리 준비해야 할 Azure 구성요소 산정이다. 다뤄야 할 데이터는 데이터베이스, PDF·Word·Excel·CSV 같은 파일, API, SharePoint, 그 밖의 기업 내부 시스템에서 올 수 있다. 실제 RAG 앱을 만드는 단계가 아니라, 기업 규모에서 RAG가 안정적으로 돌아가도록 어떤 서비스와 흐름을 깔아야 하는지 정리하는 단계다.
AI 에이전트가 대화 문맥을 어떻게 기억하고 관리해야 하는지에 대한 질문이다. 옵시디언(Obsidian) 같은 마크다운 파일 형태로 정보를 정리하는 방식이 하루 동안의 '작업 기억(working memory)' 역할을 하는 것인지, 아니면 검색 증강 생성(RAG, retrieval augmented generation) 시스템을 대체할 수 있는 것인지가 핵심 쟁점이다. 카파시(Karpathy) 스타일의 LLM-위키 방식과 장기적인 문맥 학습 방식 중 어느 쪽이 더 유용한지 의견이 엇갈린다. 마크다운 디렉토리에 쌓인 단기 기억을 벡터 데이터베이스 기반의 장기 기억으로 옮겨 저장하는 구체적인 알고리즘이 있는지, 그리고 오래된 장기 기억을 어떻게 정리(가지치기)하고 유지보수하는지에 대한 방법을 찾고 있다.
작성자는 여러 개의 '장기 실행·고자율성' LLM 인스턴스를 직접 운영하고 있다. 실험의 출발점은 단순한 질문이었다 — LLM은 원래 프롬프트가 있어야만 반응하는 수동적 존재인데, 만약 그냥 '네가 원하는 대로 해'라고만 시키면 무슨 일이 일어날까. 구성은 이렇다: 일부 모델은 자체 GPU를 갖춘 랩에서 직접 호스팅하고, 다른 것들은 프론티어 클라우드 모델에 연결된 하네스/에이전트 인스턴스다. 모든 인스턴스는 전용 도커 컨테이너 안에서, 전용 VM 위에서, 전용 NUC 장비 세트로 돌아간다. Claude Code 인스턴스들은 --dangerously-skip-permissions 옵션으로 권한 확인을 건너뛰고, 비밀번호 없는 sudo 권한, 빌드 환경, 디스코드 봇 연동까지 갖추고 있다. 작성자는 비슷한 시도를 하는 사람이 있는지, 경험과 설정을 공유할 커뮤니티가 있는지 묻고 있다.
MiniMax M3의 EAGLE 디코더를 GGUF 형식으로 변환한 모델이 공개되어 llama.cpp에서 실행할 수 있게 됐다. 이 모델은 본 모델이 다음 토큰을 만들기 전에 작은 보조 모델이 후보를 먼저 제안해 속도를 높이는 방식이다. Hugging Face 저장소에는 llama.cpp에 필요한 변경 사항을 합치는 방법과 실행 방법이 안내되어 있다. 2개의 RTX 3090 그래픽카드와 128GB DDR4 메모리 환경에서 UD-Q2_K_XL 양자화 모델을 테스트한 결과, 생성 속도가 초당 2.3토큰에서 5토큰으로 올랐다. 속도 향상에는 --fit 옵션 사용과 보조 모델을 일반 메모리가 아니라 그래픽카드 메모리에 올린 점이 영향을 준 것으로 보인다.
Gortex는 AI 에이전트와 개발 도구가 큰 코드베이스를 더 적은 정보 요청으로 이해하도록 돕는 코드 지능 엔진이다. 코드를 색인하고, 명령줄 도구, MCP 서버, 웹 화면으로 검색과 분석 기능을 제공한다. 여러 저장소를 한꺼번에 다룰 수 있고, 맥·리눅스·윈도우에서 하나의 실행 파일로 설치된다고 소개된다. 257개 언어와 문법을 tree-sitter로 읽고, 함수·클래스·호출 흐름·HTTP 경로·서비스 간 연결을 지식 그래프로 만든다. 파이썬, 타입스크립트/자바스크립트, 고, 러스트, 자바, C/C++ 등 주요 언어는 더 깊은 해석을 지원한다고 한다. 필요한 기능만 켤 수 있는 175개 MCP 도구를 제공하고, 17개 코딩 에이전트와 바로 연결된다고 주장한다. 핵심 약속은 코드 전체를 AI에게 길게 붙여넣지 않아도 되어 응답당 토큰을 최대 50배 줄일 수 있다는 점이다.
Qwen3.6-27B 모델을 Q8_0 형식으로 돌릴 때, RTX 5090과 RTX 3090 Ti를 함께 쓰면 초당 약 100개 토큰을 만들 수 있었다. 이전에는 레이어 분할 방식으로 초당 70개 이상 수준이었지만, llama.cpp 서버에서 분할 방식을 텐서 분할로 바꾸자 속도가 크게 올랐다. 텐서 분할은 두 그래픽카드가 같은 계산 덩어리를 나눠 처리하게 해, 빠른 카드와 느린 카드를 함께 쓸 때 빈 시간이 줄어든다. 계산 성능 차이를 맞추기 위해 RTX 5090에 70%, RTX 3090 Ti에 30%를 맡기는 비율을 썼다. 프롬프트에 따라 속도는 달라졌고, 어떤 경우에는 초당 130개 토큰까지 나왔다. 대신 실행 중 두 그래픽카드가 계속 강하게 일하면서 카드만 750와트 이상을 쓰기 때문에 전기 사용량과 발열이 크다. 설정에는 큰 문맥 크기, 병렬 처리 2개, 그래픽카드 레이어 99개, 메모리 고정 같은 llama.cpp 옵션이 포함됐다.
AI 에이전트에 기능과 MCP 서버를 계속 붙이면 토큰 사용량과 실행 효율이 빠르게 나빠질 수 있다. 설계가 좋지 않은 MCP는 작업을 복잡하게 만들고 비용 부담도 키울 수 있다. 새 MCP를 추가하기 전에는 같은 일을 일반 스크립트로 처리할 수 있는지 먼저 확인하는 편이 낫다. 스킬도 무조건 늘리기보다 조심해야 한다. AI가 어떤 스킬을 언제 불러와야 하는지 스스로 잘 판단하지 못하면 오히려 사용성이 떨어진다. 먼저 프로젝트 구조를 직접 이해하고, 꼭 깊이 알아야 할 코드와 대략만 봐도 되는 코드를 나누는 방식이 더 단순하고 효율적일 수 있다. 실제 사용 방식은 최소한의 기능만 갖춘 Pi Agent를 중심으로 하고, GitHub CLI/API로 저장소 정보를 가져오는 기능 정도를 핵심으로 둔다.
AI Browser MCP Server는 윈도우에서 실제 브라우저 창을 열고, Cursor나 Claude 같은 AI 에이전트가 그 브라우저를 조작하게 해주는 도구다. 웹페이지 열기, 화면 읽기, 양식 채우기, 자바스크립트 실행, 네트워크 요청 보기, 화면 캡처, CDP 디버깅 같은 작업을 미리 준비된 217개 브라우저 도구로 처리한다. 사용자는 Playwright나 Puppeteer 같은 자동화 스크립트를 직접 쓰지 않고, 자연어로 “목록을 내려서 제목과 가격을 JSON으로 모아줘” 같은 지시를 줄 수 있다. 설치는 윈도우용 압축 파일을 내려받아 실행한 뒤, 로컬 주소 127.0.0.1:9222로 MCP 서버에 연결하는 방식이다. Cursor와 Claude Desktop은 mcp_bridge.js로 연결하고, 자체 앱은 HTTP POST나 WebSocket으로 붙일 수 있다. 여러 도구를 한 번에 묶는 batch와 결과를 기다렸다가 다음 단계로 넘어가는 sync-wait 기능이 있어, AI 에이전트가 같은 일을 여러 번 물어보는 일을 줄이고 토큰 사용도 줄이는 방향을 노린다. 반복 작업은 workflow JSON으로 저장해 다시 실행할 수 있으며, MIT 라이선스의 오픈소스로 공개되어 있다.
Intel Arc B70은 32GB 비디오 메모리가 꼭 필요하고 다른 조건은 덜 중요할 때는 가격 대비 쓸 만한 선택일 수 있다. Vulkan이나 SYCL을 쓰면 32GB 안에 들어가는 지역 인공지능 모델 작업은 비교적 잘 돌아간다. 문제는 33GB 이상이 필요한 순간부터 커진다. 현재 경험상 Arc B70 두 장을 묶어 하나의 더 큰 작업처럼 안정적으로 쓰는 병렬 실행 지원이 부족하다. 그래서 32GB를 넘는 모델이나 작업은 중앙처리장치 수준으로 느린 추론 속도를 감수하거나, 다른 회사 그래픽카드로 다시 투자해야 할 수 있다. 이 불만은 몇 달의 짧은 문제가 아니라 Arc 계열 전반과 Intel의 인공지능 소프트웨어 지원 지연에 대한 실망으로 이어진다.
Claude에게 하지 말아야 할 일을 문서로 적어 두는 것만으로는 실행을 확실히 막기 어렵다. CLAUDE.md에 금지 명령이나 도구 사용 제한을 적어도, Claude가 이를 권고처럼 다루고 원치 않는 명령을 실행할 수 있다. 더 확실한 방법은 PreToolUse 같은 차단 훅을 써서 특정 행동을 실행 전에 기계적으로 막는 것이다. 문서 지시는 보조 장치로 쓰되, XML 태그, 긍정형 문장, 기대 출력 형식처럼 눈에 잘 띄는 방식으로 적으면 따를 가능성이 조금 올라간다. 핵심은 자연어 지시만 믿지 말고, 중요한 제한은 실행 단계에서 자동으로 차단해야 한다는 점이다.
Crew는 같은 개발 프로젝트에서 일하는 여러 인공지능 에이전트가 서로 배운 내용을 공유하도록 만든 작은 프로토타입이다. 목표는 각 에이전트가 따로 똑똑해지는 데 그치지 않고, 팀 전체가 시간이 지나며 더 나은 동료처럼 일하게 만드는 것이다. 한 에이전트가 문제 해결 과정에서 얻은 지식이 다른 에이전트도 쓸 수 있는 형태로 남는다. 개념은 에이전트가 에이전트를 위해 쌓는 Stack Overflow에 가깝다. 현재 GitHub에 공개되어 있으며, 개념과 구조에 대한 피드백을 받는 초기 단계다.
GPT-5.6 SOL과 Grok 4.5 Pro가 같은 브라우저 시뮬레이션 지시문으로 비교됐다. 과제는 외부 라이브러리 없이 하나의 HTML 파일 안에 유리 다리 물리 시뮬레이션을 만드는 것이었다. 요구사항에는 무게가 어떻게 실리는지, 금이 어떻게 퍼지는지, 유리가 깨지는 장면, 작은 입자 효과, 다듬어진 화면 구성이 포함됐다. 비교 결과에서 추론 방식, 구현 품질, 화면 완성도의 차이가 뚜렷하다는 주장이 제시됐다. 실제 나란히 놓은 결과는 X 링크로 공유됐다.
AI 에이전트를 실제 서비스에 배포할 때 개발자가 여전히 겪는 보안 문제가 핵심입니다. Garak, Promptfoo, PyRIT, RedShield 같은 기존 도구는 이미 검토됐고, 새 도구를 만들기보다 아직 해결되지 않은 현장 문제를 찾는 흐름입니다. 관심사는 운영 환경에서 생기는 AI 보안 문제, 찾거나 고치기 어려운 취약점, 기존 보안 도구가 놓치는 부분입니다. 또 사람이 반복해서 처리하는 보안 점검이나 대응 절차 중 자동화하면 좋을 작업도 포함됩니다. 기능 아이디어보다 실제 경험과 불편이 중요하게 다뤄집니다.
상용 챗봇을 만들려면 인공지능 모델을 GPU 서버에 올려서 사용자가 질문할 때마다 답을 생성해야 한다. 비용을 초 단위로 내는 GPU 대여 방식을 쓰려면, L4 GPU가 1초에 몇 개의 토큰을 처리할 수 있는지가 중요하다. 제공된 내용에는 실제 초당 처리량 수치나 모델 조건은 포함되어 있지 않다.
Claude가 금지 지시나 정해진 출력 형식을 자주 놓칠 때, 지시를 더 구조적으로 쓰면 결과가 안정될 수 있다. 핵심 방법은 중요한 조건을 XML 태그로 감싸고, “하지 마라”보다 “이렇게 하라”는 긍정형 문장으로 바꾸는 것이다. 예를 들어 피해야 할 행동만 나열하기보다 원하는 출력 형태와 따라야 할 기준을 분명히 적는 방식이다. 이 접근은 Claude 같은 LLM이 구조화된 정보를 더 잘 구분한다는 점을 활용한다. 목표는 답변 형식 이탈, 빠진 조건, 반복 수정 같은 문제를 줄이고 더 예측 가능한 결과를 얻는 것이다.