GenXD是一個專注於3D和4D場景生成的框架，它利用日常生活中常見的相機和物體運動來聯合研究一般的3D和4D生成。由於社區缺乏大規模的4D數據，GenXD首先提出了一個數據策劃流程，從視頻中獲取相機姿態和物體運動強度。基於此流程，GenXD引入了一個大規模的現實世界4D場景數據集：CamVid-30K。通過利用所有3D和4D數據，GenXD框架能夠生成任何3D或4D場景。它提出了多視圖-時間模塊，這些模塊分離相機和物體運動，無縫地從3D和4D數據中學習。此外，GenXD還採用了掩碼潛在條件，以支持多種條件視圖。GenXD能夠生成遵循相機軌跡的視頻以及可以提升到3D表示的一致3D視圖。它在各種現實世界和合成數據集上進行了廣泛的評估，展示了GenXD在3D和4D生成方面與以前方法相比的有效性和多功能性。