ExVideo技术助力视频生成模型扩展

ExVideo技术助力视频生成模型扩展
2024年06月24日 16:53 量子位
#扩展生成视频长度新方法##视频生成后调技术开源# 从AnimateDiff ,Stable Video Diffusion到SORA等模型,视频生成技术的潜力一直受到很多关注。然而,由于计算资源的限制,大多数现有的视频合成模型只能生成短视频片段。近期阿里和华东师范大学研究团队提出了一种可以增强视频生成模型能力的后期调优技术,称为ExVideo。这种方法可以帮助现有视频合成模型生成时间更长的内容,同时降低训练成本。研究团队分别设计了常见时态模型架构的扩展策略,包括三维卷积、时态关注和位置嵌入。在稳定视频扩散模型上进行的测试实验显示,模型生成的视频帧数达到原来的 5 倍,在包含 40k 视频的数据集上只需要 1.5k GPU 小时的训练。重要的是,视频长度的增加并没有影响模型生成视频的效果,模型仍旧可以生成各种不同风格和分辨率的视频,效果可以点击下方的视频查看:论文:项目:代码:

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部