郭德纲英文说相声,泰勒中文聊专辑,这个深度模拟AI配音软件走红

郭德纲英文说相声,泰勒中文聊专辑,这个深度模拟AI配音软件走红
2023年11月02日 21:37 扬子晚报

你能想象郭德纲用流利的英语说相声,而美国女歌手泰勒·斯威夫特则操着一口标准普通话畅谈自己专辑创作的幕后故事吗?十月底,一大批没有翻译腔的“配音”视频在网上走红了,这不是哪个网友在玩明星配音,而是深度模拟AI的作品。

这一类视频中出现的名人不少,除了泰勒·斯威夫特,英国女演员艾玛·沃森、美国企业家马斯克、电影角色钢铁侠等等人物通通都说上了一口流利的普通话,而中国的名人们也没躲过恶搞,除了郭德纲、于谦、岳云鹏这些相声演员,网络红人罗翔、完颜慧德、马保国也能说八国语言,不仅是英语,韩语、法语通通不在话下。

这些视频还忽悠到了不少网友,在一条郭德纲的英语配音采访视频中,一名网友留言表示“啊?郭德纲老师英语原来这么好的?”也有识破了这是AI生成视频的网友发出了感叹,“郭德纲来了都得愣住。”会让网友感到如此迷惑的原因在于视频中的外语不仅是流利通畅,语句停顿自然,口型也完全一致,甚至声线都难辨真假,和原视频相对比,AI还模仿出来了人物说话时原本的停顿和重音。

制作这些视频的是一款名为heygen的AI视频软件,这是一款付费软件,价格还不低,使用起来很简单,创作者只需要上传视频并选择要翻译的语言,软件可以自动翻译、调整音色并匹配嘴型。不过,也有使用过这款软件的用户表示,heygen并不算很完美,声音克隆的效果仔细听的话还是会有点违和感,人物在说话时情感度稍有欠缺,此外,观看过用heygen生成的外国人说中文的网友中不少人表示,生成出来的中文语音似乎有点南方口音,不是标准的普通话,外国人在说英语时地方口音所形成的特有腔调也不易通过AI很自然地还原出来。

虽说heygen这款软件用的英文名称,但其实是个来自深圳的产品,背后的母公司为诗云科技,成立于2020年,“诗云”这个名称取自刘慈欣的科幻小说《诗云》。Heygen前身是一个AI视频翻译平台,对口型视频翻译功能最早上线于今年九月初,并在十月底在国内的社交平台走红,heygen很快推出了付费版并实现盈利,诗云科技联合创始人兼CEO徐卓曾向媒体透露,heygen产品在七个月内实现了100万美元的年度经常性收入,并保持9个月50%的月环比增长率。

在网友们拿着heygen玩梗名人的时候,对于这一软件的担忧之声也出现了,heygen产出的视频属于深度合成,而且迷惑性相当高,虽说是将一种语言翻译成另一种语言进行配音,但也有用户利用其在声音克隆方面的便捷,使用了自定义的文本进行配音,并通过软件生成对应的口型,若被滥用,其误导性之强不容小觑。记者就在某平台上刷到了一个AI泰勒,她用普通话向中国的歌迷们问好,还和大家闲聊中国的美食,看起来似乎是很自然的歌手和粉丝互动的视频AI转换成中文出来了,但仔细深究,人物口型替换了,背景也被替换了,发布者也没有给出视频来源,观众根本无从得知这段视频里的泰勒原本到底是在说什么、做什么,视频上是粉丝互动,但真实的视频也可能和粉丝互动全然没有关系。一些采访类的视频就更令人迷惑了,网友自制的某名人接受采访的视频被转换成英文后,因为没有拍摄到记者的样子,视频片段中也没有出现媒体的标识,没注意到这是AI生成的网友误以为该明星近期接受了外媒的采访,登上了国际舞台。从这一层面来说,类似heyen这样的深度虚拟的AI视频软件如果想要在国内市场被广泛的使用推广,监管将会是极为重要的一环。

AICG爆发式增长一年以来,各个平台、各家公司争先恐后推出了五花八门的AICG产品,文本、图像、声音全方位覆盖,在最初的新鲜劲过后,如何落地应用并实现盈利成为了这些AICG软件是否能继续在市场上存活的关键,包括文心一言在内的多个AI软件也陆续开启了专业版收费,个人用户的小规模使用是一部分,企业用户的大规模使用或许会成为AI落地市场的激烈竞争点。从这一层面上看,heygen这类在语言、视频、音频方面深度模拟的软件有着相当广阔的市场,尤其是在广告电商等领域,跨越语言障碍的沟通表达成为可能,对于普通观众而言,或许有一天,引进电影的译制腔就要成为过去时了。

扬子晚报/紫牛新闻记者 沈昭

校对 盛媛媛

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部