dLLM: 간단한 확산 언어 모델링
dLLM은 확산 언어 모델(Diffusion Language Models, DLMs)의 핵심 구성 요소인 학습, 추론, 평가를 통합한 오픈소스 프레임워크입니다.
기존 DLM 연구가 분산되고 비표준화되어 재현과 확장이 어려운 문제를 해결하고자, 다양한 DLM 아키텍처와 학습 방식을 모듈화하여 쉽게 전환할 수 있도록 설계되었습니다.
특히, BERT 스타일 인코더나 자기회귀 언어모델을 DLM으로 변환하는 재현 가능한 레시피와 소형 DLM 체크포인트를 공개하여 연구 접근성을 높였으며, Fast-dLLM 통합으로 추론 속도 2~4배 향상을 달성하였습니다.
이 프레임워크는 DLM 연구 및 개발의 표준화와 가속화를 목표로 하며, 다양한 DLM 모델의 재현, 미세조정, 배포를 간편하게 지원하는 실용적 가치를 제공합니다.
