快手联合北大等开源新AI模型 可生成10秒24帧768P视频

摘要 【太平洋科技快讯】近日,快手科技携手北京大学和北京邮电大学的研究团队,共同推出了一款名为Pyramid Flow的开源文生视频AI模型。该模型...

【太平洋科技快讯】近日,快手科技携手北京大学和北京邮电大学的研究团队,共同推出了一款名为Pyramid Flow的开源文生视频AI模型。该模型旨在为开发者、艺术家和创作者提供一种更高效、更灵活的视频生成解决方案。

在视频生成速度方面,Pyramid Flow展现出卓越的性能。该模型能够在56秒内快速生成一段5秒、384p的视频,其速度在同类模型中颇具竞争力,甚至超越了部分全序列扩散模型。

此外,Pyramid Flow能够基于文本描述,生成最长10秒、1280x768分辨率、24fps的高质量视频。在视频质量、光影效果、运动动作一致性、文本语义还原和色彩搭配等方面,该模型均表现出色。

Pyramid Flow模型引入了一种新颖的“金字塔流匹配”技术,通过分阶段生成视频来降低计算成本。与传统模型相比,它在大多数阶段使用低分辨率,仅在最终阶段达到全分辨率,有效减少了所需的tokens数量,仅为传统扩散模型的四分之一。

目前,Pyramid Flow已正式在Hugging Face平台上线,并完全开源。这一创新技术的推出,不仅为视频生成领域带来了新的突破,也为处理和生成高维度视频数据提供了有效的解决方案。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时候联系我们修改或删除,多谢。