모델을 바꿔도 쓰는 LLM 메모리 실험
하나의 고정된 메모리 모델을 한 번 학습해 두고, 여러 LLM과 함께 쓰려는 실험이다. 조건은 메모리 모델과 선택한 LLM이 같은 의미 체계를 써야 한다는 점이다. 다른 작은 모델이 두 모델 사이의 를 번역하는 역할을 맡는다.
이 번역 모델은 수십 메가바이트 정도의 작은 크기를 목표로 하며, 이미 저장소에서 내려받아 쓸 수 있는 형태도 상정한다. 아이디어의 출발점은 메모리 논문과, 작은 모델로 를 번역하려는 RescursiveMAS 쪽 작업이다. 목표는 , , 복잡한 프롬프트에 기대지 않고 LLM에 더 나은 메모리를 붙이는 것이다.
현재 결과에 오류가 있는지 확인하기 위해 저장소를 공개하고, 직접 깨뜨려 보거나 반례를 찾아 달라고 요청하고 있다.
핵심 포인트
- 하나의 고정된 메모리 모델을 여러 LLM과 함께 쓰는 구조를 제안한다.
- 작은 번역 모델이 메모리 모델과 선택한 LLM 사이의 를 맞춰 주는 방식이다.
- 번역 모델의 목표 크기는 수십 메가바이트 수준이다.
- 나 , 프롬프트 요령에 의존하지 않는 메모리 방식을 내세운다.
- 저장소를 공개해 현재 결과를 검증하고 오류를 찾아 달라고 요청한다.