# 视频预测

Video Prediction Policy（VPP）是一种基于视频扩散模型（VDMs）的机器人策略，能够准确预测未来的图像序列，展现出对物理动力学的良好理解。VPP利用VDMs中的视觉表示来反映物理世界的演变，这种表示被称为预测性视觉表示。通过结合多样化的人类或机器人操控数据集，并采用统一的视频生成训练目标，VPP在两个模拟环境和两个真实世界基准测试中均优于现有方法。特别是在Calvin ABC-D基准测试中，相较于先前的最佳技术，VPP实现了28.1%的相对改进，并在复杂的真实世界灵巧手操控任务中提高了28.8%的成功率。

MCVD是一种用于视频生成、预测和插值的通用模型，使用基于分数的扩散损失函数生成新颖的帧，通过将高斯噪声注入当前帧并对过去和/或未来帧进行条件去噪，通过随机屏蔽过去和/或未来帧进行训练，实现无条件生成、未来预测、过去重建和插值四种情况的处理。该模型使用2D卷积U-Net，通过串联或时空自适应归一化对过去和未来帧进行条件处理，产生高质量和多样化的视频样本，使用1-4个GPU进行训练，能够扩展到更多通道。MCVD是一种简单的非递归2D卷积架构，能够生成任意长度的视频样本，具有SOTA的结果。