물리 시뮬레이터 인더루프 비디오 생성
PSIVG(Physical Simulator In-the-loop Video Generation)는 물리 시뮬레이터를 비디오 확산 과정에 통합하여, 중력, 관성, 충돌 등 기본적인 물리 법칙을 준수하는 물리적으로 일관된 영상 생성을 목표로 합니다.
기존 확산 기반 영상 생성 기술이 시각적 사실성은 높였으나, 물리적 동작의 불일치 문제를 해결하지 못한 한계를 극복하기 위해, PSIVG는 사전 학습된 확산 모델이 만든 템플릿 영상을 바탕으로 4D 장면과 객체 메쉬를 재구성하고, 이를 물리 시뮬레이터에 초기화하여 실제 물리 법칙에 맞는 궤적을 생성합니다.
또한, 객체 움직임 중 텍스처 일관성을 높이기 위해 Test-Time Texture Consistency Optimization(TTCO) 기법을 도입하여 픽셀 대응 정보를 활용해 텍스트 및 특징 임베딩을 최적화합니다.
종합 실험 결과, PSIVG는 물리적 일관성을 유지하면서도 시각적 품질과 다양성을 동시에 확보한 영상을 생성함으로써, AI 기반 영상 생성의 현실감과 신뢰도를 크게 향상시켰습니다.
