Helios: 진정한 실시간 장편 비디오 생성 모델
Helios는 140억 개의 파라미터를 가진 자기회귀 확산 모델로, 단일 NVIDIA H100 GPU에서 초당 약 19.5 프레임의 실시간 장시간 비디오 생성을 지원합니다.
기존의 장시간 비디오 드리프트 문제를 해결하기 위해 반복 동작을 제거하고 드리프트를 시뮬레이션하는 새로운 학습 전략을 도입하였으며, 별도의 가속 기법 없이도 고품질 영상을 생성합니다.
또한, 입력 통합 표현을 통해 텍스트-비디오, 이미지-비디오, 비디오-비디오 생성 작업을 모두 지원하며, 효율적인 컨텍스트 압축과 샘플링 단계 감소로 계산 비용을 크게 절감하였습니다.
이와 함께, 인프라 최적화를 통해 추론과 학습 속도를 높이고 메모리 사용량을 줄여, 80GB GPU 메모리 내에서 최대 4개의 14B 모델을 동시에 운용할 수 있습니다.
Helios는 기존 모델 대비 단기 및 장기 비디오 생성 성능에서 우수함을 입증했으며, 코드와 모델을 공개하여 커뮤니티의 추가 연구와 발전을 지원할 예정입니다.
