3M 파라미터 모델, 학습 없이 추론 중 새 규칙을 '저장'하는 메모리 실험

한 독립 연구자가 개인 소유 RTX 3090 한 대로 진행한 연구에서, '패스트웨이트 메모리 뱅크'라는 새로운 메모리 구조를 제안했다. 이 방식은 모델이 자기 자신의 순전파(forward pass, 입력을 한 번 통과시켜 출력을 얻는 계산 과정) 과정에서 작은 벡터 저장 공간(뱅크)에 직접 값을 써넣고, 이후 이 값을 데이터가 아니라 모델 가중치처럼 읽어들이는 구조다. 각 저장 슬롯은 하이퍼네트워크(다른 신경망의 가중치를 생성하는 신경망)를 거쳐 저랭크 MLP 레이어로 확장되어 입력 토큰 흐름에 적용된다. 목표는 역전파(backward pass, 오차를 거꾸로 전달해 가중치를 수정하는 학습 과정) 없이, 즉 별도의 최적화 과정이나 가중치 복제, 문맥 길이 증가 없이 추론 도중 새로운 지식을 계속 익히는 것이다.

실험은 3.08M 파라미터짜리 De카시크 스타일의 작은 트랜스포머에 8개 슬롯 메모리 뱅크를 붙여 진행했다. 대화마다 2개의 키 토큰에 새로운 규칙을 연결하고, 그 규칙을 13개 토큰으로 딱 한 번만 보여준 뒤, 나중 대화 턴에서 처음 보는 기호로 질문하는 방식이다. 각 턴은 완전히 독립된 순전파라서, 규칙이 턴을 넘어 전달되려면 반드시 메모리 뱅크를 거쳐야 한다. 무작위로 맞힐 확률은 0.008에 불과했고, 메모리 뱅크를 제거하면 정확히 그 무작위 확률 수준으로 떨어지는 것을 대조군으로 확인했다.

핵심 결과는 이 방식이 실제로 작동하고 일반화된다는 것으로, 단 한 번의 13토큰 제시만으로 한 번도 학습된 적 없는 규칙을 0.79~1.00의 정확도로 처음 보는 질문에 적용할 수 있었다(두 개의 시드에서 재현). 또한 해당 규칙을 저장한 슬롯을 물리적으로 강제 삭제해도 규칙이 살아남는 현상이 확인됐다.