임베딩 대신 어텐션으로 검색하는 로컬 검색 엔진 'Attemory' 공개

기존 RAG(검색 증강 생성) 방식은 문서를 벡터로 바꿔 저장하고 가장 비슷한 벡터를 찾는 임베딩 기반 검색을 쓴다. 문제는 벡터로 압축하는 과정에서 문맥 정보가 많이 손실되어, 실제로는 관련 있는 근거를 놓치는 경우가 많다는 점이다. 이를 보완하려고 청크 크기 조정, 키워드+의미 검색 결합, 재정렬 모델, 메타데이터 필터, 질의 재작성 등 여러 땜질식 기법이 쌓이는데, 그래도 벡터 검색은 실제로 내용을 '읽는' 것과는 다르다.

Attemory라는 새 검색 엔진은 문서를 벡터로 압축하지 않고, 원문 전체를 재사용 가능한 KV(키-값) 상태로 색인해 둔다. 검색할 때는 로컬에서 돌아가는 Qwen3.5 기반 검색 모델이 색인된 메모리와 질의를 함께 '주의(attention)' 메커니즘으로 살펴본 뒤, 메모리 ID·발췌문·파일과 줄 번호 같은 압축된 근거를 돌려준다. 즉 압축된 벡터끼리 유사도를 비교하는 게 아니라, 모델이 실제로 저장된 내용을 훑어보고 근거를 짚어내는 방식이다.

개발자는 장기 기억, 문서, 코드베이스 검색 벤치마크에서 이 방식이 최고 수준(SOTA) 성능을 냈다고 밝혔다.