에이전트 메모리는 비싼 벡터 검색만으로 충분하지 않을 수 있다
여러 번의 대화를 기억해야 하는 실험에서, 단순히 모든 내용을 에 넣는 방식이 뚜렷한 우위를 보이지 않았다. 실험은 라는 실제 다회차 대화 자료로 진행됐고, 약 5,900개의 대화 차례와 답할 수 있는 질문 1,531개가 쓰였다. 비교 대상은 최근 대화만 보는 방식, BM25, 두 가지 임베더, 그리고 BM25와 각 임베더를 RRF로 섞은 방식이었다.
최근 대화만 보는 방식은 점수가 약 0.024로 매우 낮았고, 10개 대화 모두에서 졌다. 필요한 정보가 오래된 대화에 있는 경우가 많아서, 마지막 몇 개 대화만 남기는 방식은 다회차 메모리에 약했다. 강한 임베더를 쓴 단일 도 BM25와 비슷한 수준이었다.
mxbai-embed-large는 0.526, BM25는 0.552였고, 통계적으로 뚜렷한 차이라고 보기 어려웠다. 핵심 결과는 값싸고 직접 운영하기 쉬운 BM25와 임베더를 함께 쓰는 방식이 더 나은 선택일 수 있다는 점이다.
핵심 포인트
- 다회차 실험에서 최근 대화만 보는 방식은 거의 작동하지 않았다.
- 단일 는 BM25보다 뚜렷하게 낫다는 증거를 보이지 못했다.
- mxbai-embed-large 점수는 0.526, BM25 점수는 0.552였다.
- BM25와 임베더를 RRF로 섞는 값싼 방식이 실용적인 후보로 제시됐다.
- 오래된 대화에서 필요한 정보를 찾아야 하는 에이전트는 메모리 검색 방식을 따로 검증해야 한다.