整理 | 华卫、核子可乐
视频 AI 生成技术的最新进展，已经开始产生一系列令人忧心的社会影响。不少精通这些技术的年轻人被发现，正在未经他人同意的情况下制作女性（大多是自己同龄人）的色情图像。
8 月 28 日，多位韩国女性在中国社交媒体平台发帖讲述“深度伪造”（Deep Fake） AI 换脸的大规模犯罪事件并向中国女性求救，引发大量关注与讨论，多个相关词条接连登上热搜。根据其描述，韩国长期发生产出和传播深度伪造色情内容的犯罪行为，而即时通讯软件 Telegram 因其加密通信和群组聊天功能受到这些犯罪者的青睐。
而早在今年 5 月，就有外媒报道，韩国首尔大学毕业生朴某和姜某，从 2021 年 7 月至 2024 年 4 月，涉嫌利用深度伪造技术换脸合成色情照片和视频并在 Telegram 上私密传播，受害女性多达 61 人，包括 12 名首尔大学学生。其中，主犯朴某（40 岁）制作了 1852 份换脸色情照片及视频，传播了约 100 条视频。
据悉，受害女性曾不断遭到相关 Telegram 群聊参与者威胁，后坚持申诉两年半得到上述调查结果。当时，韩警方相关人士称：“朴某等主犯并未通过非法合成物赚钱。他们的犯罪目的不是为了营利，而是为了满足自己的欲望。”
1
一张深度伪造裸照 0.48 美元，盈利结构表明市场需求量
所谓色情深度伪造，就是利用 AI 技术生成数字篡改的图像，且此类行为正在 Telegram 消息应用之上广泛传播已久。其中某 Telegram 频道已经拥有超 22 万名成员，能够按需提供深度伪造的裸照图像。该频道只需最简单的线上搜索就能轻松找到，通过收取费用根据成员提交的真实人物照片生成伪造图像。
超过 220000 名成员的 Telegram 聊天室内部的屏幕截图8 月 21 日，《韩民族日报》通过 X 访问到该 Telegram 频道，其中设有图像机器人，能够将上传至频道中的女性照片转换为深度伪造裸照。加入该频道后，系统会弹出一条提示消息，要求用户“上传一张你喜欢的女性照片”。在按提示上传一张 AI 生成的女性照片之后，五秒之内该频道就生成了相应的深度伪造裸体图像，甚至允许用户自定义所生成图像中的各个身体部位。
该频道最多可免费生成两张深度伪造裸照，之后需要付费才能获取更多图片。每张照片费用为一颗“钻石”——售价为 0.48 美元或者 650 韩元。用户每次至少需要购买 10 颗钻石，但批量购买可以享受折扣。邀请朋友加入频道的用户也会免费获得钻石，这显然是为了扩大用户规模。
并且，该频道仅接受加密货币的付款方式，这很可能是出于保持匿名的考量。另外，该聊天室不允许用户之间相互发送消息或者图片，因此无从得知其他成员如何使用该频道生成深度伪造图像。
截至 8 月 21 日，该 Telegram 频道已拥有约 22.7 万名用户。由于 Telegram 在世界各地开放，因此聊天室中可能包含来自不同国家的成员。值得一提的是，该 Telegram 频道的访问门槛极低，在 X 和其他社交媒体上搜索特定关键字即可找到频道链接，其中一条带有链接的帖子甚至成为 X 上的“热门帖”。
尽管近期有报道称警方已经就其深度伪造罪行展开了调查，但用于推广该频道的帖子仍时有出现。专家们表示，该频道的存在就是深度伪造色情内容的现实缩影，而且很多人甚至根本不清楚这样的行为涉及犯罪。
韩国女律师协会人权事务主任 Seo Hye-jin 表示，“像这样在 Telegram 聊天室中制作性剥削及深度伪造类型的图像，并在其他群聊室中分享，正是当前诱发大规模性犯罪的根源所在。”在她看来，“如果单在图像制作阶段，相关 Telegram 聊天室中就有超过 22 万成员，那么后续传播造成的损失恐怕会非常巨大。”
而如此庞大的 Telegram 频道及其创收模式的稳定运行，很可能反映出一个可怕的现实：很多人认为制作这种极具危害性的深度伪造图像，其实只是无足轻重的小事。
“当前盈利结构的存在，表明市场的需求量很大。”韩国性暴力救济中心主任 Kim Hye-jung 总结道，“尽管对女性的性侮辱已经成为一种网络‘内容’类型，但社会对此类罪行的普遍轻视亦成为诱发性犯罪的一大关键因素。”
2
深度伪造犯罪蔓延，因滥用处罚“轻”？
近年来，韩国时常有一系列备受瞩目的数字性犯罪案件发生。韩国警方表示，今年迄今他们受理的深度伪造性犯罪案件数量已飙升至 297 起。最近一份报告显示，2023 年韩国与深度伪造图像有关的犯罪案件已高达 180 起。2022 年韩国共发生 156 起深度伪造犯罪案件，被定罪者中有 61% 为青少年。
情况之所以恶化，主要是因为韩国的监管框架漏洞百出。其法律规定，成年人若以违背他人意愿的方式，以引起性羞辱为目的处理或编辑他人的伪造视频、音频或照片内容且意图传播，可被判处最高五年监禁、或者最高 5000 万韩元的惩罚。但事实上，实际惩罚往往要比法条规定要宽松得多。
即使有人制作了深度伪造的性剥削视频，他们也很少面临监禁，仅仅拥有此类内容也不会受到惩罚。要追究制作或拥有深度伪造视频者的责任，必须证明其传播意图，这使得许多人可以轻易逃避法律制裁。法律还规定，犯罪者必须具有主观传播的意愿，意味着此类制作深度伪造色情内容的行为尚处于灰色地带。
《韩民族日报》曾对 46 起涉及伪造视频的法庭判决进行了分析，结果显示，在仅因传播伪造视频而遭到起诉的 18 人中（不包括同时被指控犯有其他罪行的嫌疑人），只有 1 人被判入狱、2 人获缓刑、2 人被罚款。在其中一案中，某年轻男子篡改了自己十几岁表弟的照片并将其通过手机通讯应用分享。初审判处其两年监禁，但上诉法院最终将刑罚改为缓刑。
相比之下，英国司法部去年 4 月宣布，无论是否传播，只要制作了深度伪造色情内容都将受到惩罚，还封锁了两个主要的深度伪造色情网站。
此外，韩国与深度伪造有关的犯罪数量及青少年犯下此类罪行的比例，都呈现出上升趋势。根据韩国国民力量党代表赵恩熙（Cho Eun-hee）撰写的相关报告，在因此类罪行而受到惩制的 120 人中，有 91 人为青少年（占比 75.8%）。
8 月 21 日，釜山市教育局表示有 4 名中学生因使用深度伪造技术对 18 名学生和 2 名教师的面部进行数字复制而受到警方调查。这些年轻的嫌疑人共制作了约 80 张受害者的色情图像，并通过移动通讯应用对外分享。2023 年，釜山共出现 12 起由学生传播同学深度伪造色情图像的案件；而到 2024 年，仅上半年就发生了 15 起同类案件。在济州岛，警方最近抓获了一名十几岁的国际学校学生，他曾使用至少 11 名同学的面部制作深度伪造色情内容。
赵恩熙表示，“这些给受害者造成不可逆转伤害的数字犯罪行为，正在青少年群体当中蔓延，很多人将甚至将其当作一种游戏。”她还强烈呼吁通过系统性法条修订来防范此类犯罪。深度伪造犯罪具有多种形式，这些图像有些被用于霸凌受害者，有时也纯为追求经济利益。
据悉，韩国青少年获取人工智能（AI）服务的门槛相当低。今年 5 月，韩国国家信息社会局发布的一项针对 2261 名青少年的调查显示，韩国约 77.5% 的青少年表示他们听说过生成式 AI，且有超过半数（52.1%）的青少年表示他们使用过该项技术。
尽管越来越多的青少年因违法使用深度伪造技术而受到惩罚，但大多数判例相对较为宽松。部分原因在于，针对未成年人的惩制力度本身就更轻。
正因为如此，犯罪专家才强调，政府应当采取措施教育学生，确保他们意识到这类犯罪行为的严重性。京畿大学犯罪心理学教授李秀贞（Lee Soo-jung）表示，关于编码等计算机技术的课程，必须同时兼顾法律和道德等应用约束内容。她强调称，这种教育必须从孩子抓起，因为年龄较小的孩子更容易将此类犯罪视为无伤大雅的恶作剧。
3
结语
专注于身份盗窃保护的美国初创公司 Security Hero 2023 年关于全球深度伪造的报告显示，韩国是深度伪造色情内容最多的国家，其中歌手和女演员占此类深度伪造内容中个人的 53%。
除了敦促社交媒体公司更积极地配合删除和屏蔽此类内容外，韩国媒体监管机构还要求法国当局在 Telegram 相关问题上定期合作，并为与 Telegram 的直接沟通提供便利。在韩国打击对性深度伪造行动的同时，Telegram 的创始人帕维尔·杜罗夫 （Pavel Durov） 在法国接受正式调查，法国当局正在调查该消息应用程序上的有组织犯罪。
此外，韩国政府表示，将推动更严格的法律，把购买或观看性剥削深度伪造定为犯罪行为。韩国警方还计划进行为期 7 个月的打击数字性犯罪，并增加监控此类事件的监管人员数量，为受害者建立 24 小时热线。Telegram 也在一份声明中表示，将积极审核其平台上的有害内容，包括非法色情内容。
