필요한 지식만 불러와 토큰 낭비를 줄이는 메모리 방식
큰 개인 나 연구 기록에서 지금 대화에 필요한 내용만 골라 불러오는 맞춤형 의미 기반 메모리 방식이다. 지식은 파일로 보관하고, 각 파일에는 내용을 짧게 압축한 ‘이야기’ 필드를 둔다.
가 이 압축 내용을 임베딩으로 바꾸고, 새 질문과 비슷한 내용을 찾아낸다. 이렇게 찾은 일부 정보만 대화에 넣으면 불필요한 문맥을 한꺼번에 넣는 일을 줄일 수 있다.
목표는 문맥 창 한계를 피하고, 답변 품질을 높이며, 토큰 사용을 아끼는 것이다. 특히 과학적 통찰이나 복잡한 지식처럼 필요한 부분만 정확히 찾아야 하는 분야에 잘 맞는다.
핵심 포인트
- 파일에 지식을 저장하고, 짧게 압축한 이야기 필드를 검색 기준으로 쓴다.
- 가 임베딩을 만들고 질문과 비슷한 자료를 찾아낸다.
- 관련 자료만 대화에 넣어 문맥 창을 덜 낭비하게 한다.
- 불필요한 내용으로 대화를 채우는 일을 줄여 토큰 사용을 아낄 수 있다.
- 과학 연구나 복잡한 지식 관리처럼 정확한 정보 검색이 중요한 작업에 유용하다.