AI 에이전트를 만들고 토큰·비용을 아끼는 데 도움이 되는 오픈소스 도구와 기법을 모읍니다.
검색 결과를 더 알맞은 순서로 다시 정렬할 때, 문서가 다른 문서에서 얼마나 많이 연결되는지를 점수에 반영할 수 있다. 공식은 연결 수를 정해 둔 최대값까지만 인정한 뒤, 로그 계산으로 점수를 천천히 키운다. 그래서 연결이 1개만 있어도 어느 정도 가산점이 붙지만, 연결이 아주 많은 문서가 결과를 과하게 지배하지 않는다. 이 방식은 법률 문서를 찾는 RAG 기반 앱에서 문서 인기도를 반영하는 데 쓰였다. 나중에는 임베딩으로 비슷한 코드를 찾는 다른 도구에서도, 코드베이스 안에서 가까운 위치에 있는 항목에 가산점을 주는 방식으로 다시 쓰였다. 핵심은 더 복잡한 인공지능 모델을 추가하지 않고도, 싸고 예측 가능한 방식으로 검색 품질을 개선할 수 있다는 점이다.
AI 에이전트의 메모리는 예전 대화를 저장하고 나중에 찾아오는 일만으로는 충분하지 않다. 실제로 어려운 부분은 저장된 정보가 지금도 맞는지, 그 사이 우선순위가 바뀌었는지, 그 말이 확정된 결정인지 가벼운 언급인지 구분하는 일이다. 특히 에이전트가 그 기억을 지금 꺼내야 하는지, 아니면 조용히 두어야 하는지 판단하는 문제가 크다. 잘못된 메모리는 필요한 문맥을 놓치는 문제만 만들지 않는다. 오래되었거나 중요하지 않은 문맥을 잘못된 순간에 끌어와 판단을 흐리게 할 수도 있다. 그래서 에이전트 메모리는 단순한 저장소가 아니라 상태를 관리하는 설계 문제에 가깝다.
AI 에이전트에서 검색과 메모리는 서로 관련이 있지만 같은 역할은 아니다. RAG는 지금 답변하는 데 어떤 문맥이 관련 있어 보이는지 찾는 데 가깝다. 메모리는 그 정보가 당시에는 사실이었는지, 나중에 낡은 정보가 되었는지, 중요하지 않아 사라져도 되는지, 어떤 결정을 설명하기 때문에 보존해야 하는지를 함께 판단해야 한다. 이 차이는 고정된 문서가 아니라 사람, 프로젝트, 메시지, 일정, 작업, 의사결정처럼 계속 바뀌는 업무 문맥을 다룰 때 더 커진다. OpenLoomi는 이런 문제를 실험하는 로컬 우선 오픈소스 메모리 계층이다.
Parallelogram은 파인튜닝용 데이터를 검사하는 로컬 우선 도구다. 데이터 파일이 JSONL 형식으로는 맞아도, 실제 학습에는 문제가 있을 수 있다. 예를 들면 역할 순서가 틀리거나, 모델이 배워야 할 답변이 비어 있거나, 같은 예제가 반복되거나, 문맥 창을 넘거나, 이상한 문자 깨짐이 섞일 수 있다. 공개 전 점검에서 웹사이트 보안 신뢰 표시도 부족하다는 지적이 나왔다. HSTS는 있었지만 CSP, 화면 끼워넣기 방지, nosniff, Referrer-Policy, robots.txt, security.txt 같은 기본 설정이 빠져 있었다. 지금은 엄격한 CSP, 끼워넣기 방지, nosniff, Referrer-Policy, Permissions-Policy, robots.txt, 사이트맵, security.txt, 저장소의 SECURITY.md가 추가됐다. 브라우저 데모는 여전히 데이터 검사 중 외부 네트워크 호출을 하지 않는다.
DRIFT에는 여러 프로그래밍 언어의 코드를 모델에 넣기 전에 자동으로 줄이는 토큰 압축 기능이 추가됐다. 이 기능은 JSON 같은 정해진 형식뿐 아니라 파이썬, 자바스크립트, CSS, HTML 코드에도 적용된다. 메모리에서 가져온 코드, 문서에서 긁어온 코드, 작업공간 문맥에 포함된 코드는 모델 문맥에 들어가기 전에 언어별 축소 단계를 거친다. 파이썬에서는 문서 문자열, 줄 안 주석, 불필요한 빈칸과 빈 줄을 제거한다. 자바스크립트와 CSS에서는 한 줄 주석과 여러 줄 주석을 없애고, 코드가 작동하는 구조는 유지하면서 공백과 줄바꿈을 줄인다. HTML에서는 개발자 주석과 태그 사이의 불필요한 공백을 줄이되 DOM 구조는 유지한다. 파이썬, 자바스크립트, HTML이 섞인 433자 예시에서는 240자로 줄어 약 44.57% 감소했다.
기업 환경에서 소프트웨어 개발 경험이 있어도 Claude의 /goal 지시를 넓은 개발 작업에 어떻게 써야 할지 막막할 수 있다. 한 가지 실전 방식은 프로젝트 안에 ./tasks 폴더를 만들고, 해야 할 일, 끝난 일, 진행 중인 일을 각각 별도 마크다운 파일로 관리하는 것이다. 모든 변경은 새 작업 파일로 만들고, AI 에이전트가 현재 작업을 처리하는 동안 다음 작업을 준비한다. 이렇게 하면 처음부터 모든 기능을 자세히 정하지 않아도, 작은 단위로 방향을 잡아가며 기능을 쌓을 수 있다. 작업 하나가 끝날 때마다 git add와 git commit을 실행해 변경 내용을 끊어서 저장한다. ./AGENTS.md에 프로젝트 지침을 두고, Claude용 ./CLAUDE.md는 ./AGENTS.md를 읽으라는 안내만 담는다. 프로젝트가 커질수록 ./docs/SCHEMA.md, ./docs/DESIGN.md, ./docs/API.md, ./docs/ARCHITECTURE.md, ./docs/NAVIGATION.md, ./docs/SECURITY.md처럼 주요 설계 주제별 문서를 추가한다. 이 중에서는 전체 구조를 설명하는 ./docs/ARCHITECTURE.md가 특히 중요하다.
대규모 언어 모델이 한 번에 더 많은 문서를 읽을 수 있게 되면서, 검색 증강 생성이 계속 필요할지에 대한 질문이 제기됐다. 핵심 쟁점은 모든 자료를 모델의 컨텍스트 창에 넣는 방식이 실제 서비스에서 충분히 싸고 빠른지다. 검색 증강 생성은 필요한 정보만 골라 넣기 때문에 비용과 지연 시간을 줄이는 데 도움이 될 수 있다. 또 최신 정보 반영, 관련성 높은 문맥 선택, 접근 권한 관리 같은 문제 때문에 실제 운영 환경에서는 여전히 중요한 역할을 할 수 있다. 앞으로 몇 년 동안 AI 애플리케이션이 “전부 컨텍스트에 넣기”로 갈지, 아니면 검색을 계속 함께 쓸지가 주요 판단점이다.
로컬 모델에 지식 그래프를 붙여 쓰면 출력 품질이 실제로 좋아지는지가 핵심 관심사다. 목표는 클라우드 모델이 하던 일부 작업을 개인 장비에서 처리해 비용 부담을 줄이는 것이다. 대상 작업은 크지 않은 코딩 작업부터 중간 규모 코딩 작업까지다. 비교하려는 내용은 지식 그래프 도입 전후에 결과 품질이 눈에 띄게 좋아졌는지, 어떤 장비와 모델과 프레임워크 조합이 효과적이었는지다. 검토 중인 모델은 Qwen3.6 27b 또는 Gemma 4 31B다.
우즈베키스탄에서 Claude Max 구독을 결제한 뒤 계정이 차단된 사례다. 결제에는 우즈베키스탄 Visa 카드가 사용됐고, 우즈베키스탄은 지원 국가 목록에 포함돼 있었다. 차단 이유는 명확하지 않지만, 러시아어로 Claude와 대화한 점이 영향을 줬을 가능성이 제기됐다. 이용자는 중요한 프로젝트 때문에 Max 구독을 샀고, 평소에도 토큰을 아껴 쓰려 했다고 밝혔다. 모든 사용이 Anthropic 정책 안에서 이뤄졌다고 보며, 문제 해결을 위해 필요한 정보를 제공할 수 있다고 했다.
예약제로 운영되는 병원, 미용실, 과외, 물리치료실에서 같은 자동화 흐름을 12번 적용한 결과, 단순 알림보다 재예약 버튼이 더 큰 효과를 냈다. 처음에는 예약 직후 확인 메시지, 24시간 전 알림, 2시간 전 알림을 보내는 방식으로 노쇼율을 15~30%에서 4~9%까지 낮췄다. 하지만 빈자리를 되찾은 주된 이유는 고객이 알림을 보고 기억했기 때문만은 아니었다. 많은 고객은 이미 못 간다는 것을 알고 있었지만, 전화로 취소하거나 변경하는 일이 어색해서 그냥 나타나지 않으려 했다. 알림 안에 있는 재예약 버튼이 부담 없는 빠져나갈 길을 주자, 일부 고객사의 경우 20~30%가 그 버튼을 눌렀다. 한 병원은 주당 빈 예약 시간이 11개에서 3개로 줄었고, 한 과외 고객사는 예전에는 사라지던 수업 매출을 한 달에 약 700달러 되찾았다.
표준 언어모델로 백엔드 오케스트레이션 시스템의 올바른 상태 전환을 꾸준히 만들려 하면 문제가 드러난다. 자기회귀 모델은 다음 토큰을 확률적으로 예측하므로, 겉으로는 추론처럼 보이는 답을 만들 수 있지만 엄격한 논리 규칙을 항상 지킨다고 보장하기 어렵다. 에이전트 비평 반복, 여러 겹의 보정 장치, 온도 설정 조정으로도 근본 문제가 사라지지 않는다. 거의 맞는 답도 실패인 시스템에서는 작은 예외가 실제 부하 상황에서 전체 흐름을 깨뜨릴 수 있다. 이런 이유로 엄격한 논리에는 에너지 기반 모델 같은 다른 구조가 더 맞을 수 있다는 관심이 생긴다. 최신 인공지능 추론 평가도 단순히 그럴듯한 답을 보는 방식에서 벗어나, 컴파일러가 수학적으로 맞는지 확인하는 형식 검증과 정리 증명 쪽으로 이동하고 있다.
오픈소스 AI 에이전트 실행 도구인 SmithersBot이 몇 시간 만에 멈추지 않고 몇 주 동안 긴 목표를 추적하도록 업데이트됐다. 시험 목표는 '사업을 만들어라'였고, 구체적인 아이템은 정해주지 않았다. SmithersBot은 x402라는 Coinbase의 새 결제 방식에서 문제를 찾았다. x402는 계정 가입 없이 AI 에이전트가 API를 요청할 때마다 돈을 내게 해주지만, 돈을 보내기 전에는 상대 서비스가 살아 있는지, 제때 응답할지, 가격이 바뀌었는지, 결제 주소가 공격자 주소로 바뀌었는지 알기 어렵다. 특히 한 번 밀어 보내는 결제라서 잘못 보내면 돌려받기 힘들다. 그래서 x402oracle이라는 서비스를 만들었다. 이 서비스는 돈을 내기 전에 무료로 볼 수 있는 결제 안내 정보를 읽고, 각 엔드포인트의 작동 여부, 응답 속도, 가격, 설정 변화를 계속 추적한다. AI 에이전트는 실제 결제 전에 0.002달러를 내고 엔드포인트를 확인해 서비스가 정상이고 믿을 만한지 먼저 볼 수 있다. Railway 가입, 도메인 구매, 배포 연결만 사람이 직접 했고, 문제 선택, 코드 작성과 테스트, 배포는 SmithersBot이 처리했다.
코딩 에이전트 여러 개가 함께 일할 때 쓸 메모리 시스템으로 Mem0와 ByteRover가 후보에 올라 있다. rohitg00/agentmemory는 9가지 문제를 겪은 뒤 더 쓰기 어렵다고 판단되었다. Mem0는 기능이 많고 성숙한 편이지만, 어떤 정보가 메모리로 저장되었는지 출처를 확인하기 어렵다는 약점이 있다. ByteRover는 단순한 마크다운과 LLM을 쓰는 방식이라 구조는 가볍지만, 그만큼 토큰 비용이 늘 수 있다. ByteRover는 커뮤니티도 더 작아 실제 사용 사례와 도움을 얻기 어려울 수 있다. Opencode와 Pi에서 잘 작동하는지 확인된 경험이 특히 필요하다.
LLM이나 SLM을 미세 조정할 때의 핵심 목적은 크게 세 가지로 나뉜다. 특정 분야 지식을 더 잘 다루게 만들기, 답변 말투나 형식을 일정하게 맞추기, 작은 모델인 SLM을 써서 비용을 줄이기다. 실제로 미세 조정을 하는 경우 어떤 데이터를 쓰는지도 중요한 쟁점이다. 공개된 오픈소스 데이터만으로 충분한지, 아니면 돈을 내고 데이터셋을 사야 하는지가 비용과 품질을 함께 좌우한다.
MCP Python SDK에는 서버가 끊겼다가 다시 이어질 때 쓰는 기본 이벤트 저장소가 있지만, 이 저장소는 메모리에만 데이터를 둔다. 개발 중에는 편하지만, 서버를 재시작하거나 새로 배포하거나 다른 작업자로 연결이 바뀌면 세션 상태가 조용히 사라질 수 있다. 이때 클라이언트에는 뚜렷한 오류가 보이지 않아, 이어서 처리해야 할 작업이 처음부터 다시 시작될 수 있다. mcp-persist는 이 문제를 줄이기 위해 만든 도구다. SQLite, Redis, PostgreSQL 저장소를 붙여 세션 정보를 서버 밖에 남기고, 여러 작업자가 함께 쓰는 배포에서도 이어받기가 가능하게 한다. 클라이언트가 Last-Event-ID로 다시 연결하면, 끊긴 지점부터 계속 받을 수 있다. 직접 고칠 수 없는 MCP 서버 앞에 붙이는 프록시 방식도 제공해, 기존 서버 코드를 바꾸지 않고도 이어받기 기능을 더할 수 있다. 출시 후 약 2주 동안 8,000회 이상 내려받기가 있었고, 실제 운영 배포 사례와 TTL 처리 관련 피드백이 나왔다.
모든 작업에 맞는 하나의 완벽한 인공지능 모델을 찾기는 어렵다. 빠른 반복 작업, 간단한 코드 틀 만들기, 일회성 스크립트에는 Flash V4처럼 비용이 낮은 모델을 쓰면 부담이 줄어든다. 실제 제품 개발에 가까운 백엔드 작업은 glm-5.1이 주로 쓰이며, 긴 작업을 이어갈 때 넉넉한 사용 한도가 도움이 된다. 다만 glm-5.1은 오류를 고칠 때 생각을 너무 길게 끌고 가는 느낌이 있어 답답할 수 있다. 복잡하게 얽힌 여러 파일을 함께 봐야 하거나 오래 막힌 운영 문제에는 Opus 4.6이 더 강하게 느껴진다. Kimi 2.6은 간단한 질문에 빠르게 답하고 쉬운 문제에서 불필요하게 반복하지 않는 용도로 맞다. 단점은 여러 구독을 따로 관리해야 하고, 모델 사이에 문맥이 자동으로 이어지지 않아 시작 전에 어떤 모델을 쓸지 골라야 한다는 점이다.
CLIO는 터미널에서 빠르고 가볍게 쓰기 위해 만든 AI 코딩 에이전트입니다. 만든 사람은 작업 시간의 대부분을 터미널에서 보내기 때문에, 무거운 도구보다 바로 실행되고 부담이 적은 코딩 보조 도구가 필요했습니다. Perl을 고른 이유는 리눅스와 맥에 기본으로 깔려 있는 경우가 많고, 오랫동안 써 온 언어이며, LLM을 다룰 때 필요한 텍스트 처리에 강하기 때문입니다. 외부 의존성을 많이 늘리면 설치와 보안 관리가 복잡해질 수 있어 CPAN도 일부러 쓰지 않았습니다. CLIO는 6개월 동안 다른 AI 비서 앱, Steam 라이브러리 관리 도구, CLIO 자체 유지보수에 계속 사용되었습니다.
AI 에이전트가 NetLogo를 직접 조작할 수 있게 하는 MCP 서버가 만들어졌다. NetLogo는 여러 개체가 서로 영향을 주는 상황을 실험하는 모델링 도구이고, 올해 25년 된 오래된 교육·연구용 소프트웨어다. 기존에는 Claude 같은 AI 도우미가 NetLogo를 바로 제어할 방법이 없어서 새 연결 도구가 필요했다. 이 서버는 Claude, Cursor, VS Code 같은 MCP 클라이언트와 함께 쓸 수 있다. 화면 없이 BehaviorSpace 실험을 여러 조건으로 돌릴 수 있고, CoMSES Net에 있는 모델도 불러올 수 있다. NetLogo를 가르치거나 연구에 쓰는 사람에게 특히 맞춘 도구다.
LLM이 인터넷 페이지를 사람처럼 예쁜 화면으로 보는 것이 아니라, 모델이 실제로 읽고 처리하는 형태에 가깝게 보여주는 웹 브라우저가 소개됐다. 핵심은 AI 에이전트를 만들 때 웹페이지가 모델에게 어떻게 전달되는지 직접 확인하는 것이다. 제공된 내용만으로는 기능 목록, 설치 방법, 가격, 오픈소스 여부, 실제 절감 수치가 확인되지 않는다.
국제 축구 데이터를 바탕으로 질문에 답하는 무료 RAG 데모가 공개됐다. 다루는 데이터는 2022년 월드컵, 유로 2024, 코파 아메리카 2024의 경기 세부 정보이며, 슈팅, 기대 득점, 득점자 같은 내용이 포함된다. 2026년 월드컵은 전체 일정이 들어가 있고, 실제 경기가 끝나면 결과가 추가되는 방식이다. 답변마다 사용한 경기 기록을 함께 보여주기 때문에 사용자가 근거를 직접 확인할 수 있다. 구성은 일부러 단순하다. 데이터를 작은 조각으로 나누고, 임베딩을 만든 뒤, 벡터를 SQLite와 sqlite-vec 확장에 저장하고, 질문에 맞는 상위 자료를 찾아 LLM에 넘긴다. 별도 벡터 데이터베이스 서비스나 무거운 프레임워크 없이 만들 수 있으며, 무료 공개 데이터로 돌아가고 Ollama를 쓰면 완전히 로컬에서도 실행할 수 있다.
FireCrawl.dev로 한 나라의 정책 규정을 웹사이트에서 스크래핑하려는 상황이다. 찾아야 할 내용을 항목별로 분명히 지시했는데도 중요한 정보가 빠지고 있다. 핵심 문제는 웹사이트 수집 도구와 인공지능 지시문만으로는 필요한 자료가 빠짐없이 잡히지 않을 수 있다는 점이다. 필요한 데이터가 정해져 있을 때는 지시문을 더 구체화하거나, 결과를 검증하는 별도 단계가 필요할 수 있다.
개인 작업과 게임 같은 작은 과제로 여러 언어 모델을 비교하는 마이크로 벤치마크가 만들어지고 있다. 목표는 모델이 한 번의 답변으로 과제를 얼마나 잘 끝내는지, 도구를 붙였을 때 순수한 답변 생성과 얼마나 달라지는지, 직접 호스팅할 수 있는 모델의 여러 양자화 버전이 어떤 차이를 보이는지 보는 것이다. 앞으로 DeepSeek 같은 중국 모델을 추가하고, 한 번에 끝내는 방식과 여러 번 시도하는 방식을 따로 비교할 계획이다. Claude 설정 파일 같은 실제 사용 환경도 공개하려는 계획이 있다. 여유 비용이 생기면 API 사용과 Claude Code 사용도 비교하려고 한다. 모바일 앱이나 데스크톱 앱 과제도 후보지만, 테스트하기 어렵다는 문제가 있다.
Codelight는 Claude Code 사용 상태와 토큰 한도를 작은 물리 화면에 보여주는 오픈소스 도구다. 약 10달러짜리 GeekMagic Ultra 화면을 써서 책상 위에서 바로 확인할 수 있게 만든다. 핵심 용도는 Claude Code를 쓰는 동안 남은 사용량이나 한도 상태를 눈에 띄게 확인하는 것이다. 내용상 비용을 직접 줄여 주는 자동 최적화 도구라기보다는, 토큰 사용량을 놓치지 않게 해 과사용을 피하는 보조 장치에 가깝다.
AI 에이전트 프레임워크는 하나가 모든 면에서 가장 좋기보다, 각각 잘하는 부분과 부족한 부분이 다르다. 실제 선택에서는 가장 자주 쓰는 도구가 무엇인지, 그 도구를 고른 이유가 무엇인지, 아직 아쉬운 점이 무엇인지가 핵심 기준이 된다. 중요한 판단 포인트는 기능 목록만 보는 것이 아니라, 실제 작업에서 어디까지 편하게 쓸 수 있고 어디서 막히는지 확인하는 것이다.
AI 에이전트를 실제 업무나 사업 만들기에 쓰면, 그럴듯하지만 틀린 답을 내는 문제가 반복될 수 있다. 예로 저장소에 있는 커밋 수를 확인했다고 말하면서 틀린 숫자를 내거나, 실제로는 없는 성과나 약속을 만들어내는 식이다. Check라는 서비스는 이런 환각을 줄이는 보호층을 목표로 한다. 만든 사람은 여러 사업을 직접 만들며 이 문제를 겪었고, 자신의 SaaS가 환각을 최소 50% 줄였다고 주장한다. 다만 공개된 내용 안에는 어떤 방식으로 줄였는지, 어떤 기준으로 50%를 측정했는지, 비용이나 토큰 사용량이 얼마나 바뀌는지는 나오지 않는다.
ChatGPT 같은 대형 언어 모델이 제품을 추천하도록 웹페이지나 제품 설명을 다듬는 이야기는 많다. 하지만 AI 에이전트가 실제 작업 중에 어떤 API, MCP, llm.txt, 도구 설명을 보고 특정 도구를 고르는지는 덜 정리되어 있다. 예를 들어 의사가 개인 웹사이트와 예약 기능을 만들어 달라고 요청하면, 에이전트는 예약 플랫폼을 찾아 BookingPlatformX와 BookingPlatformY 중 하나를 선택할 수 있다. 핵심 질문은 왜 BookingPlatformY가 선택됐는지, BookingPlatformX가 다음에는 선택되려면 무엇을 바꿔야 하는지다. 필요한 분석은 에이전트가 도구를 발견하고, 비교하고, 선택하는 과정을 재현해서 어떤 신호가 선택에 영향을 주는지 확인하는 것이다.
여러 사람이 평소 쓰는 인공지능 도구 위에 간단한 기록 장치를 붙이면, 입력과 결과를 모아 큰 학습 데이터를 만들 수 있다는 제안이다. 이렇게 모은 데이터는 더 작은 증류 언어모델을 만드는 데 쓸 수 있다. 모델 학습에는 큰 컴퓨팅 자원이 필요하지만, 빠르게 끝낼 필요가 없다면 게이머들의 그래픽카드를 나눠 쓰는 방식도 가능하다는 생각이다. 가장 어려운 부분은 기술보다 조율과 신뢰다. 데이터를 맡기고, 실제로 공개 모델을 내놓을 중심 조직이 필요하다. 처음에는 작은 모델부터 공개해 약속을 지키는 기록을 쌓으면 더 많은 참여자를 모을 수 있다는 구상이다.
브라우저 에이전트는 웹사이트를 사람처럼 열고, 클릭하고, 입력하며 작업을 자동화하는 도구로 다뤄지고 있습니다. 관심 대상은 Browser Use, Playwright, Stagehand, Hermes, OpenHands, 직접 만든 구성입니다. 핵심 궁금증은 어떤 일을 자동화하는지, 내부 업무 도구와 공개 웹사이트 중 어디에 더 쓰이는지, 같은 사이트를 반복해서 다루는지 아니면 매번 다른 일을 처리하는지입니다. 실제 업무 흐름을 모아 브라우저 에이전트가 현장에서 어떻게 쓰이는지 파악하려는 내용입니다.
로컬 LLM 작업용 컴퓨터에 RTX 3090 그래픽카드 두 장을 넣으려는 구성이다. 현재 장비는 ASUS Crosshair VIII Hero X570 메인보드와 Gainward Phoenix RTX 3090 한 장이다. 두 번째 RTX 3090은 중고로 추가할 계획이며, 두 그래픽카드는 각각 약 250와트로 전력 제한을 걸 예정이다. 케이스와 추가 팬 예산은 200유로 안쪽을 원하지만, 필요하면 조금 더 쓸 수 있다. 후보는 Fractal North XL Mesh, Meshify XL 2, Lian Li O11D EVO다. 걱정은 그래픽카드 두 장이 가깝게 붙으면 열이 쌓여 LLM 추론이나 학습을 오래 돌릴 때 온도가 높아지는 점이다. 특히 두 번째 그래픽카드를 PCIe 4.0 라이저로 세워 다는 방식이 실제로 안정적인지도 확인하려 한다.
로컬에서 llama.cpp 기반으로 돌리던 거대 언어 모델이 DuckDuckGo를 쓰려다 “CAPTCHA로 차단되고 있어 다른 방법을 시도하겠다”는 식의 메시지를 보이기 시작했다. 같은 현상이 DuckDuckGo에서 다른 사람에게도 생기는지 확인하려는 내용이다. 구체적인 해결책, 비용 수치, 성능 비교는 제시되지 않았다.