큰 컨텍스트가 로컬 에이전트를 느리게 만드는 문제
로 긴 대화를 처리하면 속도가 크게 떨어질 수 있다. M5 맥북 프로와 128GB 통합 메모리에서도 대화 길이가 16,000토큰쯤 되면 추론이 매우 느려졌다는 경험이 제시된다.
문제의 핵심은 모델 자체보다 계속 커지는 컨텍스트 크기다. 해결 방향은 한 에이전트가 모든 대화 기록을 들고 가는 방식이 아니라, 일을 작은 조각으로 나누고 각 조각을 짧은 새 세션에서 처리한 뒤 요약 결과만 다음 단계로 넘기는 방식이다.
예를 들어 밤새 여러 자료를 긁어 모으고 아침 대시보드를 만들 때, 작업자 여러 명이 각각 작은 추출을 맡고 마지막 집계자가 짧은 요약만 모아 결과를 만드는 방식이 더 현실적이다. 다만 CrewAI, AutoGen, 기본 같은 도구는 전체 기록을 계속 끌고 다니는 경우가 많아, 짧은 컨텍스트를 유지하는 작업자 구조에 잘 맞는 오픈소스 도구를 찾는 것이 과제로 남는다.
핵심 포인트
- 긴 대화 기록이 쌓이면 로컬 모델의 추론 속도가 크게 느려질 수 있다.
- 16,000토큰 수준의 컨텍스트도 로컬 에서는 병목이 될 수 있다.
- 작업을 잘게 나누고 짧은 새 세션으로 처리하면 컨텍스트를 작게 유지할 수 있다.
- 여러 작업자가 작은 추출을 맡고 집계자가 요약만 모으는 구조가 대안으로 제시된다.
- CrewAI, AutoGen, 은 설정에 따라 전체 기록을 계속 들고 갈 수 있어 확인이 필요하다.