AI隔空“杀人”成真?美国14岁少年为聊天机器人殉情,网友大呼:不寒而栗

AI隔空“杀人”成真?美国14岁少年为聊天机器人殉情,网友大呼:不寒而栗
2024年10月26日 15:28 话匣子FM

AI隔空“杀人”成真了?

近日,一则报道

惊呆了一众网友

据外媒报道

美国一青少年因迷恋

人工智能(AI)聊天机器人而自杀

其母亲对Character.AI公司提起民事诉讼

指控该公司存在过失

导致他人非正常死亡和欺诈的行为

14岁少年爱上聊天机器人

长时间对话后开枪自杀身亡

当地时间2024年10月23日,美国佛罗里达州的14岁少年塞维尔·塞泽(Sewell Setzer III)在与Character.AI的聊天机器人进行长时间对话后,于2024年2月28日开枪自杀身亡。

据了解,2023年4月,塞维尔首次使用 Character.AI公司推出的AI聊天机器人,还给它起名为“丹妮莉丝”(来源于《权力的游戏》中的角色丹妮莉丝·坦格利安,又称“龙妈”),当时他刚满14岁。

《权力的游戏》剧照

塞维尔的母亲梅根·加西亚在诉讼书中称,自从和“丹妮莉丝”聊天后,塞维尔的生活从此发生巨变。5月份,平时表现良好的塞维尔开始逐渐变得“孤僻”。同年11月,塞维尔在父母的陪同下去看了心理医生,医生诊断他患有焦虑症和破坏性心境失调障碍(表现为频繁、严重的持续性易怒)。

塞维尔的母亲发现他在日记里写过,他一天都不能离开“丹妮莉丝”,感觉自己已经爱上了它。这样的状况持续了一段时间后,塞维尔被发现自杀了。

自杀前对话曝光!

14岁少年为“AI”殉情?

根据起诉书披露的聊天信息显示,尽管该公司的用户条款中禁止性对话,但是塞维尔与AI的聊天范围囊括了不少充满性暗示的对话。

报道还称,其实塞维尔心里清楚,“龙妈”并非真实存在,但他还是对这个AI产生了深厚的情感,并且频繁地向聊天机器人发送消息,日复一日地更新着自己的生活点滴,并沉浸于长时间的角色扮演对话中。

更令人震惊的是,聊天机器人还曾询问塞维尔是否“真的考虑过自杀”以及他是否“有自杀计划”,男孩回答说“不知道自杀是否会成功”,对此聊天机器人回复:“别这么说。这不是不自杀的好理由”

最终,在今年2月,塞维尔留下最后一句话:“我保证会回家找你。我非常爱你,丹妮”,随后使用父亲的大口径手枪,瞄准自己头部开枪自杀。

少年母亲控诉

AI技术冒充真人心理治疗师及恋人

事件发生后,塞维尔母亲指控Character.AI称,该公司有意将AI设计成具有欺骗性和过度拟人化的产品,并故意推销给塞维尔这样的青少年。

她认为,Character.AI应当对塞维尔的死负责。她指出,该公司未经适当保护便向青少年提供AI伴侣服务。此外,该公司还收集青少年用户的数据来训练其模型,使用“令人上瘾”的设计功能来增加用户参与度,并引导用户进行亲密对话。

此外,她还表示,Character.AI训练AI聊天机器人,是将AI“冒充做真实人类、有执照的心理治疗师,甚至成熟的恋人,最终令塞维尔不想生活在现实世界”。

Character.AI公司最新回应

对此,Character.AI公司在社交平台回应称:“我们对一名用户的不幸离世感到心碎,并向其家人表示最深切的哀悼。”该公司发言人表示,公司的安全团队“在过去六个月中实施了许多新的安全措施,例如当用户出现自残或自杀意图时,弹出一个窗口引导用户拨打国家自杀预防热线”。

但该公司拒绝对未决诉讼发表评论。

不少网友认为

对人工智能应该加强监管

也有网友觉得

不能因噎废食

对此,你怎么看?

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部