AI 에이전트를 만들고 토큰·비용을 아끼는 데 도움이 되는 오픈소스 도구와 기법을 모읍니다.
운영 중인 RAG 서비스에서 더 나은 임베딩 모델로 바꾸려면 기존 문서 전체를 다시 처리해야 할 수 있다. 문서가 수백만 개라면 새 모델로 다시 임베딩하고, 검색용 색인도 다시 만들어야 해서 시간과 비용이 커진다. 일부 팀은 이 부담 때문에 성능이 더 좋은 새 모델이 나와도 기존 모델을 계속 쓸 수 있다. 가능한 방법으로는 밤사이에 전체 자료를 다시 임베딩하는 방식, 새 색인을 따로 만들어 검증한 뒤 전환하는 블루-그린 방식, 또는 다른 자체 절차가 거론된다. 핵심 부담은 서비스 중단, 처리 비용, 운영 사고 가능성, 그리고 이를 직접 만들지 도구나 서비스를 쓸 수 있는지다.
이 게시물은 최근 오픈소스 AI 모델의 성능 향상 속도를 근거로, 지금과 같은 추세가 이어진다면 앞으로 약 2년 안에 최상위권(이른바 '미소스급') AI 모델 성능을 일반 소비자가 구매할 수 있는 고사양 PC에서도 실행할 수 있게 될 것이라는 전망을 제시한다. 구체적인 수치나 벤치마크 데이터보다는 최근 오픈소스 모델들이 보여온 성능 향상 곡선을 근거로 한 예측 성격의 글이다.
Askthedeclaration.com은 미국 독립선언문에 대해 질문하면 답을 받을 수 있는 사이트다. 답변 기능은 LLM이 브라우저 안에서 직접 작동하는 방식으로 만들어졌다. 공유된 설명에 따르면 질문 데이터는 외부로 보내지지 않는다. 즉, 서버의 유료 인공지능 호출에 의존하기보다 사용자의 기기 안에서 처리하는 방향에 가깝다.
관심 대상은 웹 스크래핑에 특화된 여러 AI 에이전트를 함께 움직이는 시스템이다. 특히 JavaScript를 많이 쓰는 웹사이트에서도 안정적으로 내용을 가져오고, 여러 단계를 거쳐야 하는 복잡한 화면 흐름을 스스로 이동할 수 있어야 한다. 비교 대상으로는 Gemini Deep Research처럼 웹을 돌아다니며 정보를 모으고 정리하는 방식이 언급된다. 필요한 것은 직접 구축 경험, 오픈소스 프로젝트, 쓸 만한 프레임워크, 관련 연구 추천이다.
cocoindex-code는 코딩 작업에 맞춘 오픈소스 도구다. 기존 cocoindex 위에 만들어졌고, 로컬 코드에서 항상 최신 상태에 가까운 AST 기반 의미 색인을 만든다. 이 색인은 Claude, Codex, OpenCode 같은 코딩 에이전트가 전체 파일을 훑기보다 관련 함수와 클래스를 바로 찾도록 돕는다. 목표는 코딩 에이전트가 더 적은 코드만 읽고도 필요한 맥락을 잡게 하는 것이다. 프로젝트는 Apache 2.0 라이선스로 공개되어 있으며, Python 트렌딩 목록에 올랐다.
실제 서비스용 RAG를 만들 때 어떤 구성이 가장 쓸모 있는지가 핵심 질문이다. 여러 고객에게 RAG 앱을 만들면서 한 가지 방식만 쓰지 않고 여러 검색·정리·답변 생성 방식을 시험해 본 경험이 바탕에 있다. 관심사는 구체적으로 어떤 방법, 기법, 기술 묶음이 실제 운영에서 잘 맞는지다. 서로의 경험을 모으면 다음 RAG 설계에 참고할 수 있다는 취지다.
약 15일 동안 AI 에이전트를 배우면서 REST API, 대형 언어 모델의 기본 원리, 비동기 파이썬, 함수 호출, 도구 연결, Langchain을 익힌 뒤 영화 추천 앱 Kinophile을 만들었다. 이 앱은 사용자가 좋아하는 영화나 원하는 영화 취향을 입력하면, 사용자가 정한 개수만큼 추천 영화를 골라준다. 추천은 사용자의 취향을 분석해 해외 명작, 예술영화, 대중영화까지 폭넓게 제안하는 방식이다. 기술 구성은 파이썬, Groq API, Llama API, IMDb·TMDB·OMDB 영화 데이터베이스 API다. 추천되는 영화 제목은 IMDb, TMDB, OMDB 같은 데이터베이스에서 실제로 확인한 뒤 보여준다. 각 추천에는 포스터, IMDb 평점, 감독 정보, 그리고 왜 그 영화가 선택됐는지에 대한 설명이 함께 붙는다.
여러 AI 에이전트를 한꺼번에 쓰는 방식은 겉보기보다 관리가 어렵다. 에이전트 자체를 만드는 것보다, 여러 에이전트가 같은 정보를 보고 같은 작업 상태를 맞추는 일이 더 큰 문제다. 여러 에이전트가 같은 문서를 읽는 것은 비교적 괜찮지만, 같은 파일이나 같은 기록에 동시에 쓰기 시작하면 문제가 생긴다. 실제 사례로, 한 에이전트는 회의 요약을 쓰고 다른 에이전트는 해야 할 일을 같은 메모 파일에 추가했는데, 나중에 쓴 내용이 앞선 내용을 덮어써서 해야 할 일이 사라졌다. 오류 메시지도 없었고 겉으로는 정상처럼 보여서, 후속 조치가 빠진 뒤에야 문제가 드러났다. 여러 에이전트가 같은 상태를 공유하고 수정하면, 사실상 작은 분산 시스템을 운영하는 일이 된다. 그중 한 구성요소가 LLM이면 예측과 검증이 더 어려워진다.
제품 이름을 여러 언어로 확인하는 작업 흐름이 필요하다. 목표는 각 언어에서 현재 제품명이 어색하거나 부적절한지 살피고, 문제가 있으면 더 나은 이름을 제안하는 것이다. 기존에 시도한 인공지능 에이전트는 원하는 수준으로 작동하지 않았다. 특히 제품명 제안이 틀리거나 믿기 어려운 결과로 나오는 문제가 있다. 구체적인 도구명, 비용, 성능 수치, 해결 방법은 제시되지 않았다.
mcp-edd-analytics-vantage는 Easy Digital Downloads의 판매, 분석, 상품 정보를 다루기 위한 MCP 서버다. AI 에이전트가 이 서버를 도구처럼 연결하면 Easy Digital Downloads API를 통해 매출이나 상품 관련 데이터를 가져오는 흐름을 만들 수 있다. 공개된 정보로는 2026년용 판매, 분석, 상품 API 지원을 내세운다. 토큰이나 추론 비용을 직접 줄이는 기능은 확인되지 않는다.
에이전트 시스템에서는 최종 결과만 보는 것으로 충분하지 않을 수 있다. 중요한 쟁점은 어떤 일이 일어났는지보다 왜 그런 일이 일어났는지를 기억해야 하는 순간이 있는지다. 특히 여러 단계로 움직이는 AI 에이전트에서는 원인과 과정이 다음 판단에 영향을 줄 수 있다. 그래서 단순한 출력 기록이 아니라 인과관계의 흐름을 저장하는 메모리 구조가 필요한지 질문이 제기된다.
기존 기반 모델 위에 RAG를 붙여 챗봇을 만들 때 성능은 구현 품질에 크게 달라진다. 중요한 기본 요소로는 문서 조각을 잘 나누어 필요한 문맥이 끊기지 않게 하는 것, 믿을 만하고 관련성 높은 자료를 쓰는 것, 결과를 계속 평가하고 개선하는 것이 꼽힌다. 좁은 전문 분야 실험에서는 직접 만든 RAG 챗봇보다 ChatGPT나 Gemini 같은 범용 서비스가 더 나은 답을 내는 경우가 있었다. 이런 차이는 대형 서비스가 훨씬 넓은 데이터와 지식을 이미 갖고 있기 때문일 수 있다. 목표는 그들과 정면으로 경쟁하는 것이 아니라, 실제 사용 환경에서 비슷하게 쓸 만한 품질에 가까워지는 실용적인 방법을 찾는 것이다.
개발 작업을 바로 맡기기 전에 먼저 인공지능 모델과 함께 명세를 쓰는 방식이 다뤄진다. 여기서 명세는 만들 기능, 요구사항, 동작 방식, 제한사항을 미리 적어 두는 문서다. 핵심 질문은 Sonnet 5가 Opus 4.8만큼 명세 작성에 충분히 좋은지다. 실제 성능 수치나 결론은 제시되지 않았고, 두 모델을 써 본 사람들의 차이를 묻는 짧은 질문에 가깝다.
한 독립 연구자가 2억7천만 개 파라미터 규모의 언어모델을 밑바닥부터 설계해 만들었다. 커스텀 트랜스포머 구조를 썼는데, 위치 정보를 표현하는 로터리 위치 임베딩(RoPE), 학습 안정성을 높이는 RMSNorm 정규화, SwiGLU 방식의 피드포워드 레이어, 그리고 추론 속도와 메모리 효율을 높이는 그룹 쿼리 어텐션(GQA)을 결합했다. 디코더 구조는 로컬 환경(개인 컴퓨터 등 클라우드 없이)에서 추론하기 좋도록 최적화됐다. 허깅페이스 스페이스에 WikiSmartBot이라는 이름으로 실제로 써볼 수 있는 데모가 올라와 있고, 모델을 처음부터 학습시키는 과정을 담은 코랩(Colab) 노트북도 함께 공개됐다.
여러 사람이 가진 그래픽카드를 인터넷으로 묶어 거대한 AI 추론 엔진처럼 쓰자는 아이디어가 논의됐다. 목적은 SETI@home처럼 남는 컴퓨팅 자원을 모아 사회적으로 유용한 일을 하자는 것이다. 이미 비슷한 방향의 시도로 Petals가 있으며, BOINC 같은 공개 소프트웨어도 작업을 여러 컴퓨터에 나눠 보내는 틀로 쓸 수 있다. 다만 실시간 대화형 AI에는 큰 약점이 있다. 답변을 만들 때마다 여러 컴퓨터 사이를 오가야 해서 지연 시간이 쌓이고, 빠른 응답을 원하면 효율이 낮아진다. 많은 요청을 한꺼번에 묶는 배치 처리를 하면 처리량은 커질 수 있지만, 사용자는 완성된 답변을 받기까지 30~60초 또는 몇 분 이상 기다릴 수 있다. 요즘은 값싼 API 크레딧을 사는 편이 개인이 전기를 써서 분산망에 참여하는 것보다 비용이 낮을 수 있다는 지적도 나왔다. 그래서 분산 추론보다, 결과 확인이 쉽고 긴 시간이 허용되는 데이터셋 생성이나 분산 학습 쪽이 더 맞는 용도일 수 있다.
개인 성장을 돕는 주된 AI 멘토를 하나로 정하려는 상황이다. 목표는 언어 학습, 일반 기술, 커리어 기술을 꾸준히 배우고 개선하는 것이다. 후보는 Claude, ChatGPT, Gemini이며, Claude가 마음에 들지만 사용 한도가 자주 끊겨 흐름이 깨진다. ChatGPT는 자연스러운 대안이지만 이미 대학 과제용으로 쓰고 있어 새 출발용으로 분리하고 싶다. 대학 계정으로 Gemini Pro를 무료로 쓸 수 있지만, Google 생태계를 거의 쓰지 않아 Gemini의 장점이 줄어든다. 원하는 AI는 엑셀 시트, 노트, 워드 문서 같은 자료를 읽고 가능하면 만들어 줄 수 있어야 한다. 이미 자세한 훈련 계획을 만들어 둔 상태라, 이를 이어 받아 관리할 주된 AI가 필요하다.
대형 법률 문서 데이터베이스에 검색 증강 생성을 적용하려면 검색 단계의 품질을 따로 재야 한다. 문서가 섹션, 하위 섹션, 문단처럼 일정한 구조를 갖고 있다면 계층적 조각 나누기로 자연스러운 단위의 문맥을 만들 수 있다. 검색 방식은 벡터 검색과 키워드 검색을 섞는 하이브리드 검색이 될 수 있고, 두 방식의 가중치나 순위 결합 방식을 조정해야 한다. 문제는 정확률은 사람이 질문을 만들고 상위 결과를 채점해 어느 정도 잴 수 있지만, 재현율은 전체 말뭉치 안의 모든 관련 조각을 알아야 해서 현실적으로 어렵다는 점이다. 여러 논의는 검색 증강 생성이 단순히 상위 몇 개 조각을 모델에 넣는 방식으로는 실제 서비스에서 쉽게 깨진다고 본다. 검색 결과를 다시 정렬하는 단계, 최종 문맥을 고르는 단계, 그리고 모델이 올바른 문맥을 잘못 합치는지 확인하는 평가가 함께 필요하다. 검색기가 맞는 조각을 가져와도 모델이 모순된 조각을 무시하거나 근거 없는 결론을 내리면 실패 원인은 검색이 아니라 답변 합성이다. 그래서 대형 데이터에서는 작은 예시 몇 개로 좋아 보이는지보다, 표준화된 평가 세트와 사람이 검증한 실패 사례를 함께 쌓아야 한다.
개인 평가 기준으로 Gemini-3-Flash는 속도와 가격이 강점인 모델이다. 같은 비용으로 얻는 성능, 즉 가격 대비 지능 면에서 오픈소스 모델들보다 낫다는 평가가 나온다. 반면 Google DeepMind의 Pro 계열 모델은 한동안 경쟁력이 약했고, 최고 수준 모델보다 6~9개월 뒤처진 것으로 보인다는 판단이다. Google은 약 한 달 전 Gemini-3.5-Pro가 “한 달 안에” 나온다고 알렸지만, 여러 소문을 보면 큰 변화가 아닐 가능성이 크다고 본다. 특히 Claude Fable급의 강한 모델이 될 가능성은 낮게 본다. 다음 Gemini Pro 모델은 출시 시점, 문맥 창, 몇 가지 벤치마크, 가격을 기준으로 따져볼 필요가 있다. Gemini 모델을 실제 업무용 모델 묶음에 넣을지 결정하려면 이런 비용과 성능 비교가 중요하다. Gemini-3.5-Flash는 가격은 프런티어 모델처럼 높지만, 성능은 그 수준이 아니라 가격 경쟁력이 낮다는 평가다.
kkt는 코딩 에이전트가 바로 코드를 만들기 전에 목표와 조건을 먼저 정리하게 하는 기술 묶음이다. 바탕 아이디어는 제약 최적화다. 원하는 기능을 그냥 “만들라”고 시키는 대신, 무엇을 반드시 지켜야 하는지 정한 뒤 그 안에서 가장 나은 구현을 찾게 한다. 사용자의 목표는 최종 목적이 되고, 구현 방식의 선택지는 바꿀 수 있는 변수로 본다. 지켜야 할 조건에는 공개 API, 아키텍처 경계, 데이터 규칙, 의존성, 제품 범위, 검증 방식 등이 들어간다. 목표는 변경 범위를 줄이고, 선택의 장단점을 더 분명히 하며, 뜻하지 않은 부작용을 줄이는 것이다. 저장소는 GitHub의 dannylee1020/kkt에 공개되어 있다.
Codex 5.5 버전에서 AI가 충분히 생각하지 않고 답변을 너무 일찍 끝내버리는 문제가 있었는데, 한 사용자가 자신에게 효과가 있었던 해결 방법을 공유했다. 정확한 설정 방법이나 프롬프트 문구까지는 알 수 없지만, 특정 조정을 통해 Codex가 응답 전에 충분한 사고 과정을 거치도록 만들 수 있었다는 내용이다.
컴퓨터과학 박사과정 연구 주제로 ‘내재적 동기’가 2026년에도 계속 가치가 있는지에 대한 고민이다. 내재적 동기는 특정 임무를 잘하라고 주는 보상 대신, 동물이 호기심이나 탐색 욕구로 움직이듯 스스로 행동을 넓히게 만드는 보상 신호를 연구한다. 예로는 에이전트가 환경에 영향을 줄 수 있는 힘을 키우는 Empowerment, 다양한 행동을 배우게 하는 Diversity is All You Need, 새롭거나 예상 밖인 상황을 탐색하게 하는 Intrinsic Curiosity Module, 무작위 신경망과의 차이를 이용해 낯선 상태를 찾는 Random Network Distillation이 있다. 최근 로봇이 공중제비를 하거나 험한 지형을 지나가거나 정교한 조작을 하는 성과는 대체로 사람이 잘 조정한 보상 신호나 사람 시범을 따라 배우는 방식으로 보인다. 그래서 사람의 감독만으로 로봇 학습이 빠르게 발전한다면, 내재적 동기가 꼭 필요한지 의문이 생긴다. 또한 이 분야가 현실적인 복잡한 문제보다 단순한 실험 환경에 머무르는 경우가 많다는 걱정도 깔려 있다.
개인 실험 사례로, 시간 감각이 약한 문제를 보완하기 위해 AI 에이전트에 시간 전용 기능을 붙이고 있다. 목표는 사람이 시간을 느끼고, 계획을 세우고, 일을 계속할 추진력을 얻는 방식을 에이전트에 흉내 내게 하는 것이다. 이 기능은 ‘Unruh’라는 이름의 시간 처리 장치처럼 설계되어 있다. 거대 언어 모델은 날짜와 시각만 보면 의미를 놓치기 쉬우므로, Unruh는 저장된 일정을 사람이 이해하기 쉬운 관계형 표현으로 바꿔 컨텍스트에 넣는다. 예를 들어 “2026년 7월 8일 18:00 엄마와 저녁”이라는 일정은 “7월 8일 수요일 오후 6시, 다음 주 수요일, 3일 뒤”처럼 풀어서 전달된다. 일부 기능은 이미 꽤 잘 작동하고 있다.
Hermes agent에서 무료 Groq의 Llama 3.3 70B Versatile 모델은 처음 테스트할 때 정상 작동했다. 이후 이 모델을 기본 모델로 설정하고, DeepSeek v4 Flash를 OpenRouter를 통한 예비 모델로 둔 뒤 4시 세션 초기화 시점부터 문제가 생겼다. 새 세션을 시작하자마자 압축 오류가 나고, 문맥 길이를 14~16토큰 정도 넘었다는 메시지가 반복됐다. Llama 모델의 컨텍스트 창이 더 작다는 점은 알고 있었지만, 새 세션에서도 바로 초과 오류가 나는 점이 이상했다. 중간에 모델을 바꾸면 컨텍스트 창이 줄어든다는 경고가 나왔다. 시스템 프롬프트 크기는 전날 테스트 때와 달라지지 않았다. 압축을 끄면 이번에는 압축 없음 오류가 났고, 압축용 모델을 DeepSeek v4 Flash로 바꿔도 해결되지 않았다.
DiffusionGemma 26B는 엔비디아 4090 그래픽카드에서 실행할 수 있었고, 첫 요청에서는 초당 475토큰까지 나왔다. 출력 길이와 문맥 길이에 따라 속도는 대략 초당 290~700토큰 사이로 달라졌으며, 긴 답변은 특히 빠르게 생성됐다. 실행에는 일반 설정이 아니라 전용 vLLM 도커 환경과 Gemma 도구·추론 파서가 필요했다. 3090이나 4090에서는 nvfp4 형식을 쓰지 못해 diffusiongemma-26B-A4B-it-AWQ-INT4 모델을 사용했다. 성능은 빠르지만 무겁기 때문에 긴 문맥을 넉넉히 쓰기는 어렵고, 8천 토큰 문맥은 가능했지만 훨씬 더 길게 늘리기는 어려웠다. 여러 요청을 한꺼번에 처리하면 느려져 사실상 1명 사용에 더 맞았다. 답변 품질은 일반 Gemma 26B A4B보다 떨어졌고, 긴 문맥 안의 작은 정보를 찾아내는 능력도 약했다. 짧은 요청에서는 첫 토큰이 나오기까지 약간 더 오래 걸렸다.
주식 리서치 애널리스트처럼 일하는 AI 에이전트를 만들려는 상황이다. 이 에이전트는 특정 회사를 분석하기 위해 재무제표 PDF와 실적 발표 통화 녹취록을 참고해야 한다. 핵심 선택지는 세 가지다. 필요한 부분만 찾아서 답하게 하는 RAG, PDF 전체를 한꺼번에 넣는 방식, 또는 두 방식을 섞은 하이브리드 방식이다. 비슷한 작업을 해 본 경험과 재무·문서 데이터를 다루기 좋은 데이터베이스 제공업체 추천이 필요한 상태다.
cuTile Rust는 GPU에서 돌아가는 계산 코드를 더 안전하게 만들기 위한 도구다. AI가 GPU 코드를 자동으로 더 많이 만들수록, 문제는 코드를 빨리 쓰는 것보다 그 코드가 안전한지 믿는 쪽으로 옮겨간다. cuTile Rust는 Rust의 소유권 검사 방식을 이용해 메모리 오류와 동시에 같은 데이터를 잘못 고치는 문제를 컴파일러 단계에서 잡으려 한다. 개발자는 큰 출력을 겹치지 않는 작은 조각으로 나누고, 입력은 함께 읽는 값으로 넘긴 뒤, 단순한 방식으로 커널을 작성한다. 그러면 컴파일러가 이를 GPU의 여러 작업 묶음으로 바꾼다. 이 방식으로 Grout이라는 Qwen3 추론 엔진을 만들었고, Hugging Face와 함께 작업했다. Qwen3-4B는 RTX 5090에서 초당 171 토큰, Qwen3-32B는 B200에서 초당 82 토큰을 처리해 vLLM과 SGLang에 견줄 만한 속도를 보였다. 다만 Grout의 많은 커널은 아직 안전하지 않은 경로를 쓰고 있어, 앞으로 안전한 방식으로 옮기는 작업이 남아 있다.
직장에 거의 쓰지 않는 GPU 서버가 있다. 이 서버에는 NVIDIA Quadro RTX 6000 GPU 8장이 있고, 합쳐서 192GB VRAM을 쓸 수 있다. 일반 메모리는 512GB이고, CPU 작업 흐름은 약 112개다. 목표는 이 장비를 로컬 추론용으로 다시 쓰는 방안을 상사에게 제안하는 것이다. 핵심 고민은 단일 GPU 컴퓨터로는 어렵지만 이 장비에서는 돌릴 수 있는 가치 있는 AI 모델이 무엇인지다.
RAG 저장소가 커지고 오래될수록 비슷하지만 낡은 내용이 많이 쌓인다. 이때 의미가 비슷한 자료만 찾는 방식은 질문과 잘 맞아 보이지만 실제로는 오래되어 틀린 조각을 앞에 올릴 수 있다. 테스트에서는 저장소가 일정 크기와 나이를 넘으면 최신성과 사용 이력을 반영해 순서를 다시 매기는 방식이 단순 의미 검색보다 더 나은 결과를 냈다. 이 변화 지점은 어떤 임베딩 모델을 쓰는지보다 저장소의 크기와 오래된 정도에 더 크게 좌우됐다. 큰 저장소에서는 더 좋은 임베딩 모델을 고르는 것보다 오래된 내용을 얼마나 낮게 볼지 조정하는 일이 더 중요했다. 고정된 평가용 자료에서 잰 recall@k는 실제 운영 성능을 좋게 보이게 만들 수 있다. 실제 질문은 시간이 지나며 바뀌기 때문이다. 실무적으로는 최신성 가중치를 한 번 정해두지 말고 저장소 크기에 맞춰 계속 조정해야 하며, 대체된 조각은 바로 지우기보다 점수를 낮추는 편이 안전하다.
VLM으로 이미지 속 물체의 좌표, 배치, 위치처럼 정확한 구조 정보를 뽑아내는 일은 생각보다 어렵다. 체스판은 빠른 시험 도구가 될 수 있다. 체스 말의 위치를 FEN이라는 정답 문자열로 딱 맞게 표현할 수 있기 때문이다. 여러 모델은 체스 말 자체는 알아보지만, FEN을 만들 때 말의 칸 위치를 틀리는 경우가 있다. 즉 이미지를 보는 능력은 괜찮아도, 그 정보를 정확한 구조화된 결과로 바꾸는 능력은 별개의 문제다. 모델끼리만 비교하는 것보다 프롬프트, sampling, 채점 방식까지 포함한 전체 설정을 비교하는 편이 더 현실적이다. VideoDB Labs는 이런 검증을 위한 평가 도구를 오픈소스로 공개했다.
North Mini Code는 이제 4비트 양자화 버전으로 Hugging Face에서 받을 수 있다. 이 버전은 모델 크기를 줄여 약 20기가바이트 메모리만 있으면 맥이나 개인 장비에서 실행할 수 있다. Ollama에서도 바로 사용할 수 있고, llama.cpp 위에서 돌아가는 다른 로컬 실행 도구에서도 지원된다. 클라우드로 쓰고 싶은 경우에는 OpenRouter API를 통해 접근할 수 있다. 핵심 변화는 코딩용 인공지능 모델을 더 적은 장비 부담으로 로컬에서 돌리거나, 외부 API로 쉽게 붙일 수 있게 된 점이다.