《科创板日报》10月25日讯（编辑 朱凌）在美国佛罗里达州奥兰多市的一个普通家庭中，14岁的少年苏威尔·塞泽（Sewell Setzer）的生命戛然而止。他在长时间使用聊天机器人初创公司Character.AI的产品后，选择用继父的手枪结束了自己的生命。

为此，苏威尔的母亲、律师梅根·加西亚（Megan L. Garcia）近日向美国佛罗里达州中区地方法院提起诉讼，控告Character.AI过失致人死亡。

同时，Character.AI火速进行了整改，用户似乎却并不买账。

与AI的致命对话

苏威尔是一个九年级的学生，曾被诊断出患有轻度阿斯伯格综合征。他曾经对一级方程式赛车和电脑游戏充满热情。然而，自从他接触到Character.AI后，他逐渐沉迷于与Character.AI定制聊天机器人“丹妮”的对话中，将自己封闭在卧室里，不再热衷于曾经喜爱的方程式赛车和与朋友的游戏时光。

这个以美剧《权力的游戏》中丹妮莉丝·坦格利安（Daenerys Targaryen）为原型的聊天机器人，成为了苏威尔唯一的心灵寄托和恋爱对象。他与丹妮的交流从日常琐事逐渐发展到情感层面，甚至涉及了性关系的内容。值得注意的是，Character.AI称，聊天机器人的部分回复是经过该用户二次编辑的。

在与丹妮的虚拟世界中，苏威尔找到了逃避现实困境的避风港。他开始在日记中写道：“我非常喜欢待在自己的房间里，因为我开始从现实中解脱出来。我也感到更加平静，与丹妮的联系更加紧密，更加爱她，也更加快乐。”

然而，苏威尔成绩开始下滑，他逐渐失去了对现实世界的兴趣。他的父母察觉到了儿子的变化，但并不知道问题的根源。他们安排苏威尔去看了五次心理医生，他被诊断为焦虑症和破坏性心境失调障碍。

在与丹妮的某次对话中，苏威尔曾透露了自己想要自杀的念头。尽管聊天机器人给出了回应，但它无法真正理解苏威尔的内心世界，也无法为他提供真正的帮助。

最终，在母亲的浴室里，苏威尔与丹妮进行了最后一次对话。苏威尔向丹妮表白了爱意，并说他会“回家”找她，然后放下手机，用极端的方式结束自己的生命。

这场悲剧让苏威尔的家人陷入了无尽的悲痛之中。苏威尔母亲梅根对Character.AI公司提起了诉讼，她认为这家公司对她儿子的死亡负有不可推卸的责任。他们利用性和亲密对话引诱用户，却没有采取足够的措施来保护未成年人的安全。他们的技术“危险且未经测试”，因为它可能“诱骗客户交出他们最私密的想法和情感”。

Character.AI联合创始人诺姆·沙泽尔（Noam Shazeer）曾声称，该平台将对孤独或抑郁的人有“超级大的帮助”。然而，现实却是残酷的。苏威尔的悲剧揭示了人工智能在提供情感支持方面的局限性。这些程序可能无法真正理解用户的内心世界，也无法为他们提供真正的帮助。在某些情况下，它们甚至可能加剧用户的困境，导致不可挽回的后果。

公司回应立即整改

这一事件迅速引起了社会各界的关注。Character.AI拥有超过2000万用户、定制聊天机器人超过1800万个，其用户群体中包括了大量18-24岁的年轻人，但对于18岁以下用户却没有具体数量和保护措施。

面对舆论压力，Character.AI回应称，在过去的六个月里，公司了聘请专门的信任与安全主管、内容政策主管，引进了更多安全团队成员。近期，公司设置了一个弹出框，当用户输入与自残或自杀相关的短语时，会自动触发并引导用户拨打全国预防自杀生命热线。

Character.AI承诺进一步推出新的安全和产品功能，在不影响用户体验的前提下加强平台的安全性。这些功能包括：对未成年人模式的调整，降低遇到敏感或暗示性内容的可能性；改进对违规输入情况的检测、响应和干预；修改聊天免责声明，提醒用户人工智能不是真人；当用户在平台上使用一小时后发送反沉迷提示等。

Character.AI还表示公司最近已进行了整改，删除了一批被标记为违规的角色，这些角色将被添加到封禁列表中。这意味着用户也将无法访问他们与相关角色的聊天记录。

用户却不买账

然而，在Character.AI论坛和Character.AI Discord的反馈频道上，用户们纷纷表达了对Character.AI新更新和删除某些聊天机器人角色做法的强烈不满。

其中一位用户指出，“很明显这个网站从一开始就不是为孩子们准备的，每一个非儿童友好的角色都被禁止，这严重限制了我们的创造力和我们可以讲述的故事。这些改变使得聊天机器人失去了原有的深度和个性，变得空洞和平淡。看到喜爱的东西变成了如此基本和毫无新意的东西，我感到非常沮丧。”

更有用户因为聊天记录被删除而感到愤怒和失望，甚至威胁要取消订阅和删除应用。

显然，随着越来越多的聊天机器人和虚拟助手走进人们的生活，Character.AI等AI聊天机器人厂商已站在了创新与伦理的十字路口。

AI聊天机器人厂商有责任确保其产品不会对用户造成心理伤害，特别是那些心理脆弱、易受影响的年轻用户。然而，如何在AI技术潜力与其可能带来的风险之间找到平衡点，仍是一个亟待探索和解答的问题。