MemSifter: 결과 중심 프록시 추론을 통한 LLM 메모리 검색 오프로드
MemSifter는 대형 언어 모델(LLM)의 장기 기억 관리 문제를 해결하기 위해, 메모리 검색 작업을 작은 프록시 모델에 위임하는 새로운 프레임워크입니다.
기존 방식이 비용과 정확성 사이에서 어려움을 겪는 반면, MemSifter는 무거운 인덱싱 연산 없이도 효율적이고 빠른 추론을 가능하게 합니다.
이를 위해 강화학습 기반의 작업 성과 보상과 커리큘럼 학습, 모델 병합 같은 훈련 기법을 도입하여 프록시 모델의 성능을 최적화하였습니다.
여러 LLM 메모리 벤치마크에서 기존 최첨단 기법과 동등하거나 더 뛰어난 검색 정확도와 작업 완성도를 입증하였으며, 모델 가중치와 코드, 학습 데이터를 공개하여 연구 확장을 지원합니다.
