杨净 发自 凹非寺
量子位 报道 | 公众号 QbitAI
只需一段语音，就能生成说话视频。
就像这样。
可以看到，表情、动作、神情全都在线，还有不同的穿搭。
就连发型、甚至发际线，都可以不同。（手动狗头）
视频里的主人公，是美国一著名主持人John Oliver，这是他主持的一档节目《Last Week Tonight with John Oliver 》。
而这样一个视频生成效果，在Reddit上热度达580+。
不少网友表示：那这样，是不是视频博主就从此省事了？！
别着急，先康康研究怎么说。
论文详情
能实现以上效果的，是一个NWT生成器，用表征学习来实现音视频生成。
它由两个模型组成。
一个用于离散潜在表示的视频自动编码器dVAE-Adv。另一个自回归先验模型，用来生成新视频。
此外，这一生成器可以控制生成的视频中的潜在属性，这些属性在数据中是没有标注的。
首先，自动编码器dVAE-Adv，将视频帧从256×224压缩到一个16×14的潜在空间。
生成的每个潜在网格元素称为Memcode，每个Memcode在像素域中携带了大约768个元素的信息。
而自回归模型则作为编解码器模型，能从离散分类分布中自动采样，将音频转化为视频。
研究人员采用的数据集，则是来自这位主持人的节目——《Last Week Tonight with John Oliver (LWT)》组成。
不过这些视频样本是经过处理的，研究人员将其分成了16127个视频片段，平均长度为7.46秒。
最终在主观评价测试中，这一方法都明显优于以往的唇语、脸部生成任务。
研究人员表示，这个研究是对话式人类视频合成技术上的一个新突破，展现了未来将普遍应用的潜力。
srds（虽然但是），目前这个模型还是有一定局限性。
比如，不能用其他人声音来生成。
对此作者回应道，尝试过，但唇语同步会有影响。
还有网友注意到，视频中人的手很奇怪。
作者则表示，跟GAN出现的问题不同，主要是由自回归生成过程中的错误分类造成的。
接下来，他们将进一步扩大数据集和模型，来处理不同个体。还有一个想法就是，给定一个框架或部分图像，模型能够模仿一个特定的情节。
论文地址：
https://arxiv.org/pdf/2106.04283.pdf
参考链接：
[1]https://next-week-tonight.github.io/NWT_blog/
[2]https://www.youtube.com/watch?v=HctArhfIGs4
