图 AI生成
10月18日凌晨,演员吴越在社交平台发文,将一桩借助AI深度合成技术实施的带货骗局推入公众视野。一个名为“花姐美肤日记”的视频号,利用AI换脸与声音克隆,伪造吴越的形象与声线,几乎以假乱真,配合“闭着眼睛用,闭着眼睛囤”等煽动性话术推销一款护肤品,只在角落不起眼处标注了一行“含AI生成内容”的小字。
吴越怒斥:“一觉醒来,谁在利用AI肆意抓人替自己作恶?你骗了多少人的钱?请如数奉还!”据媒体测算,涉事单品近30天售出超7000单,销售额约50万元。吴越在后续采访中坦言,最怕的是“粉丝真信,真有人下单”,而她自己维权时却面临“步骤太多,投诉失败”的困境。

事件发酵后,涉事账号才被平台永久封禁。
小i:吴越被AI换脸伪造用于带货的事件并不是孤例。温峥嵘曾在凌晨刷到“自己”在直播带货,进入直播间质问却被秒拉黑,无奈感叹“现在很难证明我是我”。邓亚萍的面孔也被冒用。
记者:过去伪造一段名人视频需要专业团队和相当大的成本,现在AI换脸与声音克隆的门槛已经降至几十元量级,套用模板、换上名人面孔、挂上链接就能变现。造假者根本不用接触明星本人,只需要公开影像素材,就能生成一条足以让普通观众信以为真的带货视频。AI换脸伪造带货视频,已经变成流水线作业,批量生产、批量换号,违法成本很低,权利人却要一条条投诉,甚至投诉速度跟不上造假速度。
小i:平台真的看不见吗?一个顶着吴越的脸、说着“明星同款”、挂着购物车的带货视频,为何能畅通无阻地触达消费者?
记者:好问题,这是整条链条上最值得追问的环节。从技术上来说,人脸与声音的授权核验,公众人物白名单比对,AI内容在推荐链路中的降权与前置提示,并非做不到。问题不在于能力,而在于平台愿不愿意投入成本做事前核验。每一次处置都发生在名人公开发声之后,等于把发现侵权、制造舆论压力、推动平台行动的沉重成本,全部压在权利人和消费者身上,而且对消费者的伤害已经发生。
小i:视频标注了“含AI生成内容”,但那行字往往很小,年轻人尚且容易忽略,对AI技术本就陌生的老年消费者来说,几乎没有起到任何保护作用。
记者:AI标识只是证明内容是不是AI做的,但它不能证明内容真不真实。标识制度的设计初衷是保障知情权,但当它沦为一张形式合规的“通行证”,侵权内容照常分发,标识就被异化为造假者的事前免责说明了。其实,中国广播电视社会组织联合会演员委员会就曾提出,即便标注“AI生成”,也不构成合法免责依据,仍须承担全部侵权责任。不能错把“标了”当成“管了”。
小i:涉事单品近30天售出超7000单,真的有这么多人上当受骗吗?老年消费者是不是主要的受害群体?
记者:媒体援引公安部数据显示,2025年第一季度全国AI换脸、拟声诈骗案件中,老年群体受骗占比达38%。老年人对名人背书有着朴素的信赖,很容易接受熟人推荐的方式,甚至觉得视频、直播的形式就等于眼见为实。我们每个人都能做的是,从保护身边人开始,主动关心家里的老人,多跟老人科普AI到底发展到何种程度,耐心教他们如何识别骗局。
4001102288 欢迎批评指正
All Rights Reserved 新浪公司 版权所有