CausVid CausVid是一个先进的视频生成模型,它通过将预训练的双向扩散变换器适配为因果变换器,实现了即时视频帧的生成。这一技术的重要性在于它能够显著减少视频生成的延迟,使得视频生成能够以交互式帧率(9.4FPS)在单个GPU上进行流式生成。CausVid模型支持从文本到视频的生成,以及零样本图像到视频的生成,展现了视频生成技术的新高度。
On-device Sora On-device Sora 是一个开源项目,旨在通过线性比例跳跃(LPL)、时间维度标记合并(TDTM)和动态加载并发推理(CI-DL)等技术,实现在移动设备(如 iPhone 15 Pro)上高效的视频生成。该项目基于 Open-Sora 模型开发,能够根据文本输入生成高质量视频。其主要优点包括高效性、低功耗和对移动设备的优化。该技术适用于需要在移动设备上快速生成视频内容的场景,如短视频创作、广告制作等。项目目前开源,用户可以免费使用。
VidPanos VidPanos 是一个创新的视频处理技术,它能够将用户随意拍摄的平移视频转换成全景视频。这项技术通过空间时间外推的方式,生成与原视频长度相同的全景视频。VidPanos 利用生成视频模型,解决了在移动物体存在时,静态全景图无法捕捉场景动态的问题。它能够处理包括人、车辆、流水以及静态背景在内的各种野外场景,展现出强大的实用性和创新性。
GAIA-2 GAIA-2 是 Wayve 开发的先进视频生成模型,旨在为自动驾驶系统提供多样化和复杂的驾驶场景,以提高安全性和可靠性。该模型通过生成合成数据来解决依赖现实世界数据收集的限制,能够创建各种驾驶情境,包括常规和边缘案例。GAIA-2 支持多种地理和环境条件的模拟,帮助开发者在没有高昂成本的情况下快速测试和验证自动驾驶算法。
mochi-1-preview 这是一个先进的视频生成模型,采用 AsymmDiT 架构,可免费试用。它能生成高保真视频,缩小了开源与闭源视频生成系统的差距。模型需要至少 4 个 H100 GPU 运行。
genmoai genmoai/models 是一个开源的视频生成模型,代表了视频生成技术的最新进展。该模型名为 Mochi 1,是一个基于 Asymmetric Diffusion Transformer (AsymmDiT) 架构的10亿参数扩散模型,从零开始训练,是迄今为止公开发布的最大的视频生成模型。它具有高保真运动和强提示遵循性,显著缩小了封闭和开放视频生成系统之间的差距。该模型在 Apache 2.0 许可下发布,用户可以在 Genmo 的 playground 上免费试用此模型。