LLM 호출을 자동으로 재사용하는 오픈소스 캐시 도구
Khazad는 을 부르는 요청을 HTTPX 단계에서 가로채어, 비슷한 요청이면 이전 답변을 다시 쓰는 오픈소스 도구다. RAG 이나 가 같은 질문을 반복하거나 비슷한 방향으로 탐색할 때, 요청이 외부 모델 서비스로 나가기 전에 를 먼저 확인한다.
저장소로는 를 사용한다. 맞는 답이 있으면 거의 바로 응답을 돌려주므로 대기 시간과 을 줄일 수 있다.
OpenAI 기본 클라이언트, 직접 만든 래퍼, 가벼운 처럼 내부에서 HTTPX를 쓰는 방식이면 특정 프레임워크에 묶이지 않고 쓸 수 있다. 서버 전송 이벤트와 토큰 스트리밍도 지원하며, 별도 프록시 서버를 운영할 필요가 없다는 점을 내세운다.
핵심 포인트
- Khazad는 LLM 요청을 HTTPX 단계에서 자동으로 캐시한다.
- RAG와 의 반복 호출을 줄이는 데 초점을 둔다.
- 에서 비슷한 요청의 이전 답변을 찾는다.
- HTTPX를 쓰는 클라이언트라면 특정 프레임워크 없이 붙일 수 있다.
- 토큰 스트리밍을 지원하고 별도 프록시 서버가 필요 없다고 주장한다.