HSImul3R는 3D 인간-장면 상호작용을 시뮬레이션 준비 상태로 재구성하는 통합 프레임워크입니다.

기존 방법들이 시각적으로는 그럴듯하지만 물리적 제약을 위반해 시뮬레이션에서 불안정한 문제를 해결하기 위해, 물리 기반 양방향 최적화와 강화학습을 결합하여 인간 동작과 장면 기하학을 동시에 정제합니다.

전방향에서는 장면 목표 강화학습으로 동작의 정확성과 접촉 안정성을 보장하고, 역방향에서는 시뮬레이션 피드백을 활용해 장면의 중력 안정성과 상호작용 성공률을 개선합니다.

또한, 다양한 객체와 상호작용 시나리오를 포함한 HSIBench 벤치마크를 제시하며, 실험 결과 실제 휴머노이드 로봇에 바로 적용 가능한 안정적인 시뮬레이션 준비형 재구성을 최초로 달성하였습니다.