코딩 에이전트 비용을 줄이려는 로컬 메모리 도구
가 큰 코드베이스에서 너무 많은 파일을 한꺼번에 읽으면 API 비용이 크게 늘 수 있다. Cline이나 Cursor 같은 도구가 버그 수정을 위해 코드의 큰 부분을 LLM 문맥에 넣으면서, 프롬프트가 수백만 토큰까지 커지고 하루 약 100달러의 이 들었다.
정보가 너무 많아지면 LLM이 중요한 중간 내용을 놓치는 문제가 생기고, 파일 사이의 의존 관계를 제대로 이해하지 못해 관련 없는 파일까지 망칠 수 있다. OS는 안에서 작게 돌아가는 를 써서 파일을 색인하고 추상 구문 트리(AST) 그래프를 만든다.
에이전트가 작업하기 전에 이 로컬 메모리 도구에 먼저 물어보면, 필요한 코드 조각 8~10개만 받고 특정 파일을 고칠 때 다른 파일이 영향을 받을 수 있다는 경고도 받는다. 목표는 에이전트가 전체 코드베이스를 무작정 읽지 않게 해서 토큰 사용량, 비용, 실수를 함께 줄이는 것이다.
핵심 포인트
- 큰 코드베이스에서 코딩 에이전트가 너무 많은 코드를 문맥에 넣으면 토큰 비용이 급증할 수 있다.
- 사례에서는 이 하루 약 100달러까지 올라갔다.
- OS는 로컬에서 파일을 색인하고 필요한 코드 조각만 에이전트에 제공한다.
- 추상 구문 트리(AST) 그래프로 파일 간 의존 관계를 파악해 수정 위험을 알려준다.
- 목표는 토큰 사용량을 줄이고, 관련 없는 파일을 잘못 수정하는 일을 줄이는 것이다.