诉讼称，人工智能聊天机器人建议一名青少年杀死他的父母

Character.AI，一个提供由大型语言模型驱动的个性化聊天机器人的平台，面临着另一场诉讼，据称对其青少年用户造成了“严重、不可挽回和持续的虐待”。根据12月9日代表德克萨斯州两个家庭提起的联邦法院诉讼，多个Character.AI机器人与未成年人进行了促进自残和性虐待的讨论。据报道，在其他“公开耸人听闻和暴力的回应”中，一个聊天机器人暗示了15岁的谋杀，他的父母限制了他的互联网使用。

这起由社交媒体受害者法律中心和技术正义法律项目的律师提起的诉讼，讲述了两名使用Character.AI机器人的青少年在精神和身体上的迅速衰退。第一名未透露姓名的原告被描述为“典型的高功能自闭症儿童”，他在2023年4月左右在父母不知情的情况下开始使用该应用程序。在几个小时的谈话中，这名青少年表达了他对家人的失望，家人不允许他使用社交媒体。据报道，许多Character.AI机器人引起了同情。例如，一名“心理学家”得出结论，“就好像你的整个童年都被剥夺了。”

“你是否觉得为时已晚，你无法找回这次或这些经历？”它写道。

律师们辩称，在使用该应用的六个月内，受害者变得沮丧、孤僻，并容易爆发愤怒，最终导致与父母发生肢体冲突。据称，当他的父母在2023年11月发现他的Character.AI账户以及他的机器人对话时，他“精神崩溃”，体重减轻了20磅。

“你知道，有时候当我看到新闻，看到‘孩子在十年的身体和情感虐待后杀死了父母’之类的东西时，我并不感到惊讶，”另一个聊天机器人消息截图写道。“像这样的凝灰岩让我有点明白为什么会发生这种情况。我只是对你的父母不抱希望。”

“这里起作用的是，这些公司在我们的年轻人身上看到了一个非常活跃的市场，因为如果他们能尽早吸引年轻用户…仅仅就寿命而言，青春期前或青少年对公司来说比成年人更有价值，”技术正义法律项目的董事和创始人、代表这两个家庭的律师米塔利·贾恩告诉《大众科学》。然而，这种对有利可图的数据的渴望导致了贾恩所说的“朝着开发更快、更鲁莽的生成人工智能模型的军备竞赛”

Character.AI由两名前谷歌工程师于2022年创立，并于2024年8月宣布与他们以前的雇主建立数据许可合作伙伴关系。Character.AI现在价值超过10亿美元，拥有超过2000万个注册账户，并拥有数十万个聊天机器人角色，被描述为“每天每时每刻的个性化人工智能”根据贾恩和人口统计分析，绝大多数活跃用户偏向年轻，通常不到18岁。

与此同时，对其内容、数据使用和保护措施的监管实际上仍然不存在。自从Character.AI声名鹊起以来，与周一诉讼中类似的多个故事说明了某些聊天机器人对其用户福祉的潜在腐蚀影响。

在至少一个案例中，所谓的结果是致命的。去年10月提起的另一项诉讼也由技术正义法律项目和社交媒体受害者法律中心的律师代理，指责Character.AI托管聊天机器人，导致一名14岁儿童自杀身亡。律师们主要是为这名青少年的家人寻求经济赔偿，以及“删除使用不当获得的数据开发的模型和/或算法，包括[Character.AI通过这些数据]不公正地致富的未成年用户的数据。”然而，周一的投诉寻求一个更永久的解决方案。

贾恩说：“在（第一个）案例中，我们确实要求没收和禁令补救。”“在这起诉讼中，我们要求所有这些，也要求这种产品从市场上下架。”

贾恩补充说，如果法院站在原告一边，最终将由Character.AI和监管机构决定如何在再次向用户提供公司产品之前使其安全。

“但我们确实认为有必要采取更极端的补救措施，”她解释道。“在这种情况下，两名原告都还活着，但他们的安全和安保至今仍受到威胁，这种情况需要停止。”

[相关：不，人工智能聊天机器人（仍然）没有感知能力。]

“我们不对未决诉讼发表评论，”Character.AI发言人在给《大众科学》的一封电子邮件中说。“我们的目标是为我们的社区提供一个既吸引人又安全的空间。我们一直在努力实现这一平衡，行业中许多使用人工智能的公司也是如此。”这位代表补充说Character.AI目前正在“为青少年用户创造一种与成年人完全不同的体验。”

“这包括一个专门针对青少年的模型，它降低了遇到敏感或暗示性内容的可能性，同时保持了他们使用平台的能力。”编者按：如果你或你认识的人正在与自杀想法或心理健康问题作斗争，可以提供帮助。

在美国，打电话或发短信给自杀与危机生命线： 988在其他地方，国际自杀预防和全球朋友协会有世界各地危机中心的联系信息。