Hermes 비용 줄이기: 대화 기록을 20개로 제한
에이전트 비용은 모델이나 작업 방식을 바꾸지 않아도 설정만으로 줄일 수 있다. 사용량을 추적한 사례에서는 지출의 약 90%가 실제 요청한 작업이 아니라 배경 처리, 오래된 대화 기록, 쓰지 않는 도구 설명처럼 마다 함께 보내지는 내용에서 나왔다.
에이전트는 새 메시지를 보낼 때마다 이전 대화까지 다시 모델에 보내므로, 대화가 길어질수록 같은 문장에 계속 비용을 낸다. 예를 들어 40번째 메시지 이후에는 새 답변을 받을 때 이전 40개 메시지가 모두 으로 들어간다.
가장 큰 절감 설정은 대화 기록 상한을 20개 메시지로 두는 것이다. 에서는 `~/./.`에 ``를 20으로 넣고, 에서는 에이전트 설정에서 같은 역할의 대화 기록 또는 문맥 제한 값을 찾으면 된다.
핵심 포인트
- 대화가 길어질수록 이전 메시지가 계속 다시 보내져 비용이 늘어난다.
- 대화 기록 상한을 20개 메시지로 두는 것이 핵심 설정이다.
- 예시는 `: 20`이며 에서는 같은 역할의 설정을 찾아야 한다.
- 배경 처리, 오래된 기록, 쓰지 않는 도구 설명도 마다 비용에 들어갈 수 있다.