5분마다 바뀌는 데이터를 챗봇에 연결하는 비용 문제
챗봇의 뒤쪽 데이터가 API를 통해 5분마다 새로 바뀐다. 데이터 양이 커서 매번 전체 내용을 에 보내면 토큰이 많이 들고 비용도 커진다. 일반적인 방식도 데이터가 너무 자주 바뀌면 오래된 내용을 가져오거나 다시 색인하는 부담이 생길 수 있다.
필요한 구조는 사용자의 질문에 맞는 작은 데이터만 골라 가져오고, 필요한 경우 검색, , 캐시, , 질문 계획을 함께 쓰는 방식이다. 기업 환경에서는 자주 바뀌는 큰 데이터를 어떻게 안정적으로 연결할지가 핵심 문제다.
핵심 포인트
- 데이터가 API로 5분마다 갱신된다.
- 데이터가 커서 매 요청마다 전체 내용을 에 보낼 수 없다.
- 일반적인 는 자주 바뀌는 지식에는 부담이 있을 수 있다.
- 후보 구조에는 검색, , 캐시, , 질문 계획이 포함된다.
- 핵심 목표는 최신 데이터를 유지하면서 토큰과 비용을 줄이는 것이다.