Lyra 2.0은 대규모 3D 장면 생성을 가능하게 하는 혁신적인 프레임워크입니다.

이 기술은 공간적 망각(spatial forgetting)​과 시간적 표류(temporal drifting) 문제를 해결하여 장시간의 3D 일관성 있는 비디오 생성이 가능합니다.

공간적 망각 문제를 완화하기 위해 각 프레임의 3D 기하 정보를 유지하며, 이를 통해 과거 프레임을 효과적으로 참조하고 밀집 대응(dense correspondences)을 구축합니다.

시간적 표류 문제는 모델이 스스로 생성한 열화된 출력을 학습하는 자기 증강 이력(self-augmented histories) 기법으로 극복합니다.

이러한 접근법 덕분에 Lyra 2.0은 긴 카메라 경로와 복잡한 시점 변화에도 높은 3D 일관성을 유지하는 비디오를 생성할 수 있습니다.

또한, 이 결과를 활용해 실시간 렌더링과 시뮬레이션에 적합한 고품질 3D 장면 복원 모델을 미세 조정할 수 있습니다.

Lyra 2.0은 3D 생성 및 시뮬레이션 분야에서 공간과 시간의 일관성을 동시에 확보하는 새로운 가능성을 제시합니다.