LLM을 위한 Y-컴비네이터: λ-계산법으로 긴 문맥 부패 해결하기
λ-RLM은 기존의 무한 재귀 코드 생성 방식을 λ-계산법(λ-calculus)에 기반한 타입이 지정된 함수형 런타임으로 대체하여, 긴 문맥을 다루는 추론 작업에서 형식적 보장과 효율성 향상을 제공합니다.
이 프레임워크는 미리 검증된 조합자(combinators) 라이브러리를 실행하며, 신경망 추론은 제한된 하위 문제에만 적용하여 재귀적 추론을 명확한 제어 흐름을 가진 함수형 프로그램으로 변환합니다.
실험 결과, λ-RLM은 여러 긴 문맥 추론 과제와 다양한 모델에서 기존 재귀 언어 모델보다 최대 21.9점의 정확도 향상과 4.1배의 지연 시간 감소를 달성하였으며, 8B 모델이 405B 모델을 능가하는 성과도 보였습니다.
이 접근법은 무작위적이고 예측 불가능한 코드 생성을 지양하고, 종료 보장, 비용 한계, 최적 분할 규칙 등 수학적 증명이 가능한 안정적인 AI 추론 환경을 제시합니다.
전체 구현은 오픈소스로 공개되어 있어, 개발자와 연구자가 신뢰성 높은 긴 문맥 추론 시스템 구축에 활용할 수 있습니다.
