需求人群
VideoJAM 适用于需要高质量视频生成的场景,尤其是对运动连贯性要求较高的应用,如影视制作、动画设计、虚拟现实和增强现实等领域。它能够帮助创作者生成更逼真的视频内容,同时节省时间和成本。
使用场景
生成一个滑板运动员在空中翻转的视频。创建一个芭蕾舞者在湖面上旋转的视频。生成一个熊猫在霓虹灯巷子里跳街舞的视频。
产品特色
通过联合外观 - 运动表示提升视频生成的运动连贯性引入内指导机制,动态引导视频生成支持复杂运动类型的高质量生成无需修改训练数据或扩展模型规模即可应用显著提升视频生成的视觉质量和运动连贯性
使用教程
11. 准备一个支持 VideoJAM 的视频生成模型。22. 将 VideoJAM 框架集成到模型中,扩展训练目标以预测外观和运动。33. 在训练阶段,使用联合表示学习外观和运动。44. 在推理阶段,启用内指导机制,利用动态运动预测引导视频生成。