llama.cpp, 긴 AI 에이전트 작업을 느리게 하던 오류 수정
의 b9978 변경은 가 도구를 반복 호출할 때 가 잘못 관리되던 문제를 고쳤다. 이전에는 에이전트가 한 차례 작업할 때마다 최소 생성 간격을 무시하고 새 가 만들어졌다.
이 때문에 복구 가능한 문맥의 시간 범위가 빠르게 줄어들었다. 도구 호출 과정에서 이전 문맥으로 되돌아가면 저장된 가 모두 사라져, 모델이 문맥 전체를 처음부터 다시 처리해야 했다.
이제는 이전 작업에서 지나치게 촘촘하게 생성된 를 먼저 제거한다. 복구 범위를 넓게 유지할 수 있어, 여러 단계로 이어지는 긴 이 빠르게 계속된다.
핵심 포인트
- b9978 변경이 의 오류를 수정했다.
- 이전에는 에이전트의 매 작업 차례마다 가 새로 생성됐다.
- 문맥을 되돌리면 가 모두 사라져 전체 문맥을 다시 처리해야 했다.
- 이제 지나치게 가까운 를 제거해 복구 가능한 범위를 길게 유지한다.
- 긴 도구 호출 작업에서 속도 저하와 불필요한 을 줄일 수 있다.