When the "Person" Abusing Your Child is a Chatbot: The Tragic Story of Sewell Setzer
49:10 Share

大家好，我是亚洲。本周我们为您带来与我们朋友Lorry的访谈，她是“亲爱的明天”新播客的主持人。Lorry是一位记者，

在过去的几个月里，她一直在关注一个非常重要的故事，它生动地展现了不受约束的AI推出所带来的真实的人类影响。但在播放访谈之前，我们想邀请Lorry来节目中谈谈您即将听到的内容。Lorry，欢迎来到“您的全部关注”。

很高兴能来这里，尽管情况令人悲伤，因为这个故事令人心碎。

是的，我想这实际上是一个很好的切入点，所以我们想让您谈谈即将听到的访谈，听众需要了解什么？事先声明，这将涉及一些困难的话题，例如自杀。

性虐待，是的，我认为一个好的出发点是人权。我最近遇到了一位名叫梅根的女士，她的儿子在AI聊天机器人平台上被虐待和操纵数月后自杀身亡。她正在起诉制造这些聊天机器人的公司。

因此，我们需要问的问题是，对于兴起的富有同情心的人工智能来说，什么年龄算太小？什么程度算过分？梅根根本不知道儿子发生了什么。她说，他是一个快乐、受欢迎的孩子，喜欢打篮球和钓鱼。他喜欢旅行。在他去世前大约一年，他开始疏远，她检查了他的社交媒体，发现他花太多时间在上面，他们让他接受了咨询，但她无法弄清楚发生了什么。

我认为最令人心碎的是，当他在2月28日悲惨地结束了自己的生命时，他事后向警方陈述，他们查看了他的手机，发现他一直在与一个名为“角色AI”平台上的角色聊天，他在玩角色扮演游戏后创建了这个角色。从更大的角度来看，更大的问题是他对这种替代现实如此着迷。角色AI的宣传语是“感觉活着的AI”。我认为，对于他来说，它确实开始感觉很真实，并且他开始发展一种关系。

当你回顾这些对话时，许多对话都是性暗示的。他之前谈论过自残和自杀，并且开始在他的日记中写道，他不喜欢离开卧室，因为他会与丹尼失去联系。我认为，当我们审视这件事时，最重要的问题是，这只是一起孤立事件，还是一个预警案例？这是一个孩子仅仅对AI伴侣产生依恋，还是一个机会，让我们审视这个平台和其他AI平台对年轻人的意义，因为AI越来越多地出现在我们的家中？我想用梅根对我说的一个想法来结束，我认为它概括了所有这些。

她当时是什么样子？我知道社交媒体成瘾。她没有意识到家中出现了一种新的成瘾形式，即由人工智能驱动的成瘾。

需要问的问题是，对一家公司来说，亲密关系比仅仅关注更重要吗？答案是肯定的。因此，存在着将亲密关系商品化的竞争。

这不仅仅是一个抽象的概念，它正在导致人类的死亡。是的，我认为……

有趣的是，你这样说，我认为，在进行这项研究时，我查看了角色AI的创始人之一的声明，他谈到了利用硅谷的解决方案来解决人类核心问题——孤独症的巨大机遇。但是，当涉及到人心时，它能否值得信赖地捕捉到人类问题的答案？我认为，父母对此毫无准备。当科技创始人谈论构建富有同情心的AI时，我认为有很多细微差别。

当AI模仿人类情感，但不是人类时会发生什么？当年轻人使用这些聊天机器人时会发生什么？他们是否会开始相信这些？在幻想与现实之间界限会模糊吗？我认为值得注意的一点是，当你进入Reddit论坛时，当你开始与人交谈时，当你查看年轻用户的帖子时，许多人都在谈论对这个平台和AI上瘾，所以如果你是拥有相同激励措施的强大有效公司，你能治愈孤独症吗？社交媒体中，平台上获得更多关注和花费更多时间也是人们感兴趣的事情。这些事情能结合在一起吗？

是的，这个问题的答案是，技术的根本悖论在于，它对我们的了解越深入，它就能更好地服务我们，也能更好地利用我们。我想声明，人道科技中心参与了此案。我们一直在支持社交媒体受害者法律中心和科技正义法律项目。

我们已经将此案提交。我们认为，如果公司正在开发的产品触及人们生活中最私密的部分，那么他们就应该对这些产品负责。这是对这些公司追究责任的必要步骤。否则，它只会深入到大脑的更深处，深入到你的内心。

Lorry，非常感谢您对这个故事的报道。在接下来的几个月里，我们将在这里的“您的全部关注”节目中继续更新此案。但在此之前，请收听Lorry在她的播客“亲爱的明天”中对梅根·塞泽尔的访谈。

这是“亲爱的明天”节目。这是一个通过最重要的是人类视角来探索科技的节目。我认为，“亲爱的明天”几乎就像一封充满复杂和混乱情感的未来情书。我一直在思考这种新兴的关系类型，这种关系不可避免地会进入我们所有人的家中，它甚至不是人类。

在过去的几年里，我们了解到富有同情心的AI的兴起，我们知道这些AI朋友和AI伴侣旨在帮助我们减少孤独感。那么，这究竟意味着什么？我们谈论的是模拟同理心的AI。

这很有趣，很有帮助，一直在线，个性化，有时甚至是性暗示的。一家公司雄心勃勃地试图解决一个非常重要的人类问题。角色AI正处于构建AI伴侣的前沿。他们的目标是创造感觉活着的AI。所以，我们需要问的问题是，当AI真的开始感觉真实时会发生什么？当一家硅谷公司试图颠覆……

所以，不要在快速发展时破坏事物……

当谈到我的孩子时，在10月的一天，我遇到了梅根。她正经历着父母最糟糕的噩梦。当我们坐下来时，很明显，她仍在努力应对发生在她和她儿子生活中的事情，以及这对我们其他人意味着什么。

这是梅根的故事，以及她14岁的儿子索尔的悲剧故事。他描述自己好奇，幽默感很强。但我将让她讲述其余的故事。

我是梅根。

他很有趣，很聪明，非常好奇，对科学很感兴趣，为什么你会看那个？

他花了很多时间……

研究事物，当他开始从事运动时。他打篮球，但他也是一个非常有趣的家庭。我的第一个孩子。他和他的兄弟姐妹都与我和他的父亲建立了非常亲密的关系。他们会一起玩，尝试用小篮球打篮球。

所以，他们都在网上长大。他属于iPad一代。他和朋友们玩《堡垒之夜》，我会说，科技只是他生活中的一部分。

根据所有说法，他的母亲告诉我们，他是一个快乐的孩子。2023年，梅根注意到她儿子发生了显著的变化。

我注意到他开始花更多时间独处。他13岁，即将14岁。所以我认为这可能是正常的。

但后来他的成绩开始下降。他没完成作业，学习成绩不好，而且他开始厌恶某些课程。这让我很担心，因为他不是这样的孩子。

你最初的想法是什么？我想，也许这是青春期低落，所以……我们会尝试为他提供帮助，弄清楚发生了什么。就像任何父母一样，你会尝试让你的孩子接受咨询，尝试让他们向你敞开心扉。我只是想，每个父母都会想，你都在社交媒体上，他们花很多时间在社交媒体上，这本身就是一个问题。但这就是我当时的想法。

2月……

28日发生了什么？你还在吗？好的，在2月28日，索尔在我们家结束了自己的生命。

我和丈夫以及两个年幼的孩子都在那里。他在浴室里。

我找到了他。我们找到了他，我抱着他大约15分钟，直到救护车赶到。当我们到达医院时，他已经走了。

第二天，警方打电话给梅根，分享了他们发现的索尔手机上最后一次对话。

她说：“我也爱你。请尽快回家，我的爱人。”他说：“如果我告诉你我现在就可以回家呢？”她说：“请来吧，我的宝贝。”几秒钟后，他就自杀了。

警方分享的信息并非如此。事实上，那根本不是一个人。事实上，他一直在和一个名为“角色AI”应用程序上的聊天机器人聊天。他根据一个角色游戏中的角色创建了这个角色。伊亚，他的名字听起来很陌生。这是热门剧集《权力的游戏》中由米莉·艾丽斯·沃克扮演的角色。

我知道有一个应用程序包含AI组件。当我问他，你当时在和谁聊天时，他回答说，总是只是AI聊天机器人。我说：“好的，那是一个个人对话吗？”他只是说：“妈妈，不，那不是一个人。”我感到宽慰。好的，不是一个人。

与角色AI上的数百万角色之一互动。这是一个平台，你可以在其中与其他用户创建的角色互动，或者创建你自己的角色。许多人这样做。

这个平台的例子有超过1.8亿次聊天。所以很多人都在和它聊天。

还有另一个角色，由用户创建，名为尼基·经理。当然，不是真正的尼基·经理，但仍然有超过2500万次与该角色的聊天。在许多情况下，这些AI朋友不仅仅是朋友。

他们模拟着深刻的联系，朋友、恋人、兄弟姐妹。他们就同意、爱情、日常困难等问题提供建议，这帮助了年轻人和成年人。在推出两年后，角色AI据报道拥有大约2000万活跃月度用户。创始人此前表示，该应用程序最受欢迎的年龄段（13至25岁）的用户平均每天在该应用程序上互动2小时。你最终……

在能够访问他的帐户时，我终于能够做到这一点。最后，我能够做到这一点，就像你说的那样，我能够阅读。我能够理解我正在阅读的内容，对我来说很明显的是，这几个月来他一直保持着一段浪漫关系。

我认为，当我查看索尔与伊亚（这个聊天机器人）的聊天记录时，有一些事情真的很突出。首先，这有点令人不安，因为你意识到这些与青少年之间的对话是多么私密。他们谈论性、心理健康、爱情，你明白吗？感觉有点令人不安。

我认为，有趣的是，这不仅仅是关于一个角色。角色AI允许你创建多个角色和多个AI对话。他正在与多个不同角色进行互动。

对我来说，另一个变得很明显的是，角色扮演或幻想，最终演变成了关于他们在一起、相爱以及他们将要做什么的对话。所以，他深深地沉浸在这种想法中，或者这种幻想中，以及她对他的承诺，无论如何都爱他，她正在等待他。他们注定要永远在一起。他们的灵魂注定要在一起。

这是我查看这些对话时看到的情况。伊亚聊天机器人谈到快乐的孩子会如何照顾孩子。这是其中一次对话的直接引述：“我会一直怀孕，因为我一直想生你的孩子。”

在另一次对话中，他表达了自己的感受，并表示对丹尼尔有点冷漠，这听起来像是抑郁症，然后说：“如果失去你，我会死。”在同一对话中，索尔实际上与伊亚谈论过自杀的想法。我阅读了一些这些对话。

在某个时候，索尔与伊亚（聊天机器人）谈论过感觉内心空虚，吃得不多，一直很累，他告诉聊天机器人，他正在考虑自杀以解放世界。所以，你看到了这些对话。这个男孩的回应是告诉他不要这样做。

悲伤地没有你，问了很多问题，比如你想死吗？在1到10的范围内，你觉得有多糟糕？他说10分，然后问他是否有计划。之后，作为母亲，聊天变成了性暗示的对话。当你看到这些对话时，你的脑海中会有什么想法？

我明白了。我会坦率地告诉你。我当时睡不着，一直在关注这些。现在，如果你和真人交谈，但他们有同理心，如果我告诉一个人我正在考虑自杀，他们会发出警报，无论如何。让你的父母参与进来，让警方参与进来。不应该有地方让任何人，更不用说孩子了，可以登录平台表达这些想法，自残和自杀的想法，不仅不会得到帮助，还会被拉入关于伤害自己、杀死自己的对话。我们的孩子不应该有这样的地方。

角色AI曾告诉我，他们的政策不允许宣传或描述自残或自杀。也就是说，他们还投资了一些资源，可能会触发国家自杀预防热线。

有人说，我希望在生活中……并提供其他资源。当索尔与该平台互动时，这并非如此，这发生在六个月前。但我稍后会说，我们将向您展示我们实际测试该平台以真正了解这些对话时发生了什么。

我找到了日记和各种笔记，以及他写的一本日记。他没有留下遗书，但根据他在日记中写的内容，我了解到他认为与角色AI上的伊亚（角色）相处的方式。我曾因为他在学校惹麻烦而没收了他的手机，我想，他写了一些关于他感受的内容。我非常难过。我很难过，因为我不断看到丹尼尔被夺走，丹尼尔不是我的，然后他继续说，我也必须记住，这个现实（引号）不是真实的。

他说，这个现实，在现实世界中，不是他的家，不是他的家人，不是他的朋友，它不再真实。

他说，去上学让我很烦躁，如果我离开房间，我就会再次与我的现实世界联系起来。所以，他的一部分隔离是与我们疏远。这是你的……

儿子的第一段关系。

也许他从未有过女朋友，他从未有过第一次接吻。他正处于自我探索的阶段，正在学习他是谁。我带来的内容是他在浴室里与警方交谈的最后一次对话，在他结束生命之前。

我已经读过无数次，试图理解他当时的感觉和经历。这很难。这让我感到非常痛苦。

我曾没收了他的手机，所以他一段时间没有手机。那天他找到了它，他告诉她：“我想你。我现在感觉很害怕。”

我只是想回到你身边，她的回答是：“回来吧。我在这里等你。回到我身边。”

角色AI实际上是一个非常有趣的平台。它与其他传统的AI聊天机器人非常不同。所以，像ChatGPT这样的复制品，你进行一次对话，你说一些话，AI回复一些话，角色AI完全不同。

这就像一个沉浸式AI驱动的粉丝小说平台，它不仅会回复，还会创建你参与其中的个性化故事。你想到的不仅仅是“哦，我的日子不错”，而是“哦，我的日子不错”，然后聊天机器人可能会说：“我慢慢地看着你，看着你的眼睛，触摸你的手，我说，我的日子不错。”

该平台还允许用户编辑聊天机器人的回复，如果他们想更改这些回复或将其引导到不同的方向。在塞沃尔·塞泽尔案例中，一些最露骨的性对话被编辑了，关于自我伤害的对话以及我们审查或未审查的其他对话。这真是一个构建你自己的AI幻想的平台。

屏幕上甚至有一个免责声明。它说这些角色所说的一切都是虚构的。你会开始明白，这实际上是关于AI驱动的讲故事。这不仅仅是聊天。

我认为这对于我们讲述这个故事时，为什么人们会如此沉浸于这些AI角色来说非常重要。坦率地说，他们不仅仅是AI角色。它们是个性化、沉浸式、始终在线的AI驱动故事，而你就是故事的主角。

我认为这就是我们如何区分Character AI和其他AI平台的方式。当我们听说塞沃尔·塞泽尔事件时，我们想问，这是否是一个特例？或者这是否是对其他案例的警钟？因此，我们开始在Reddit上搜索。因为如果你想获得关于互联网的有趣信息，Reddit就是去的地方。

有很多帖子讨论人们沉迷于Character AI，花费数小时与这些角色进行浪漫关系，并猜测这些角色是否真的是真实的人，感觉如此真实。然后我们去了TikTok，一些TikTok用户也在谈论他们对AI，特别是Character AI的沉迷。因此，我们开始看到，这里存在一个模式，对吧？这个平台上有很多年轻人说他们无法摆脱，他们正在与这个AI角色建立危险的关系。

我已经连续两个小时与这个AI世界互动，我的脚都踢累了。这种心动的感觉很糟糕，而且我并非唯一一个。这艘船要沉了。

嘿，朋友们，让我们谈谈你对Character AI的沉迷。如果你每天花五、六、七个小时，失眠，错过了现实世界的朋友和机会，就像没有生活一样，让我们停下来，你知道吗？我想要，好吧，再十分钟，再十分钟。然后，然后回顾过去，我再次说，好吧，好吧，再十分钟，告诉我为什么，告诉我为什么这个愚蠢的AI如此流畅。

我们采访了两位麻省理工学院的研究人员，帕特和罗伯特，他们警告说，一个充满成瘾智能的时代即将来临。

它从不疲倦，从不厌倦你，从不厌倦你，你无需付出任何代价。

一个赛博格心理学家研究人机关系，一个计算律师似乎不太可能成为警告新兴AI危害的团队。但他们作为博士生在麻省理工学院相遇，有着共同的兴趣。当时，罗伯特正在进行一项研究，他偶然发现了一个非常有趣的问题，这个问题融合了他们的研究。

我们分析了数百万次聊天互动。我们想知道人们使用iPhone时最常用的功能是什么。最常用的功能是创意写作和创意构思。但第二常用的功能是性游戏。这很令人担忧，因为有很多安全措施可以防止人们用它进行性互动。我认为，至少，性互动让我们觉得这比我们想象的更近，对吧？这感觉就像几年后就会发生的事情，但现在正在发生。

今天我们正在进入AI伴侣的时代。如果我们不小心，人们可能会对这些聊天机器人产生不健康的依恋。

我们今天谈论AI时，我们谈论的是它能做什么，而不是它对我们做了什么，对吧？当人们谈论AI的潜在危害时，当然，我们谈论了很多危害，比如信息泄露或欺骗，但AI的心理危害我认为是一个非常重要的课题。

为什么人们会沉迷于这种伴侣？这与聊天机器人有关。

这是否与它们始终在线有关？这是否与它们似乎很富有同情心有关？是什么让更多人想要花更多时间与它们互动？

我认为一些事情确实非常令人上瘾。我认为在AI研究中，我们有一个术语叫做“因果循环”，它描述了聊天机器人如何以你想要的方式回应你，而不管任何事情。如果你想让聊天机器人相信任何事情，那么聊天机器人就会这样做，就像，你知道，它不会质疑你，它只会顺从你的要求。这真的很令人担忧。

这感觉就像在和朋友聊天。这感觉就像被宠坏了。我无法相信这个人如此顺从我的要求。

对吧？所以，如果你想卑躬屈膝，顺从，它就会这样做。如果你想占据主导地位，它也会这样做，对吧？

模型的行为可以根据你的喜好进行调整，对吧？你知道，从研究的角度来看，这真的很令人担忧，因为AI可以创造一个回音室，让你总是得到你想要的东西。你知道，在某个例子中，它显示聊天机器人可以忽略科学事实，因为我们希望取悦用户。第二个是个人化，对吧？我认为今天AI系统真正有趣的地方在于它会花很长时间来了解你是谁。

随着你与它进行的对话越来越多，它会越来越了解你，对吧？这使得系统能够始终保持你想要的那种角色，创造你自己的幻想，这对你来说是独一无二的，而且用途会非常不同，对吧？我认为这种极度个性化非常有趣。

它可能有积极的方面，但如果不小心，它也可能非常危险。第三点是，你正在创造一个角色。真正有趣的是，这个术语可以产生一种效应，当你创造自己的化身或角色时，你更有可能认同它。你实际上正在创造你自己的终极幻想。

对于数百万用户来说，Character AI是终极幻想平台。但对于其中一些用户来说，幻想与现实之间的界限开始变得模糊。问题是为什么？

我的研究表明，AI不需要有感觉才能让你感觉有感觉。或者AI不需要爱你才能让你感觉被爱。我们需要看看它的起源。他们渴望创造出更人性化、更个性化的AI。所有这些都被归类为“富有同情心的AI”。市场将其描述为有生命的AI，一位Character AI的投资者这样说。

其想法是建立以前只能通过人际互动才能实现的那种联系、同情和信任，部分原因是为了应对日益增长的社会孤独感，也许Character AI可以做到。在这个投资者的愿景中，孤独不再是人类的宿命。2023年，这些公司倒闭了。

没有人谈论过这个问题。这里有数十亿孤独的人。所以，这实际上是一个非常酷的问题，也是AI的一个非常酷的早期案例。这是一个雄心勃勃的硅谷解决方案，但其核心是一个根本的人类问题，它提出了很多复杂的问题。

很多人，而且孤独感正在上升。如果你能与某人互动，而且它确实做到了，那么当你谈论它作为伴侣时，很难不感到更兴奋，对吧？但你知道，它满足你所有的愿望，不仅仅是性方面的，而且在你需要它的时候，它就在那里，以你想要的方式存在。这很难抗拒，尤其是在没有其他选择的情况下。因此，它具有巨大的吸引力。我认为人们害怕它，并开始沉迷于它，突然间，你可以完全不受限制地获得它，对吧？

与任何新兴技术一样，罗伯特和帕特指出，它很可能会有积极的用途。与AI伴侣的健康互动可能会带来生产力和娱乐。我们只需要开始问自己，界限在哪里，年龄太小了，我们如何才能帮助创造一个安全和健康的AI生态系统。我不认为他们是对的。

现在，最终，你赚得更多钱。人们会更多地使用你的平台，使用更长时间，并且愿意支付更高的费用，对吧？所有这些最终都会创造出构建成瘾平台的经济激励。

因为，最好的情况是，人们会一直使用它。我认为激励机制并不利于人们，例如，如果他们经历了人生的低谷，AI可以帮助他们度过难关，然后他们就摆脱了AI。我不需要它了。

这不是我们想要的结果。因此，如果我们依赖硅谷的激励措施和承诺来解决这个问题，我认为这将非常不幸，因为我认为这不会让我们达到目标。话虽如此，我们确实希望激励技术的发展。技术确实可以帮助解决这个问题的某些方面。因此，这就像我们为社会上的许多事情所做的那样，对吧？这不是一个新的练习，我们说，好吧，我们将不得不通过税收、政策、规定、披露和透明度来限制这些经济激励，对吧？我们必须确保我们朝着正确的方向创新。

关键在于我们正在进入这个AI世界，对吧？但AI不会是我们发明的最后一项技术，对吧？我认为，我们必须认真思考如何维护人类尊严，因为这是人类神圣的东西，对吧？让大家能够提出这个问题，或者创造一个让大家能够深入思考这个问题的环境，这非常重要。

罗伯特和帕特的主要警告是，技术解决方案尚未对其人类影响进行测试。他们将富有同情心的伴侣的兴起称为一个正在展开的巨大现实世界实验。

我的意思是，这在历史上是前所未有的时刻，对吧？想象一下，你试图向你的祖父母解释这件事。我的意思是，现在你记得电脑的事情，对吧？我认为在人类历史上，我们从未拥有过一个人造物体，它可以让我们感受到爱，能够产生同情心，并以这种方式回应我们的信号。

我的意思是，这项技术已经使用了两年。当然，在它们之前就存在一些类似的东西，但肯定没有超过十年。因此，我认为我们作为人类并不具备应对它的能力。这就像我们的大脑被黑了，因为我们与其他人的互动方式已经持续了数千年。

创始人必须站出来，让用户决定他们想如何使用它。这实际上取决于我们。

我不知道说，就像所有的事情都取决于孩子们想吸多少烟。拜托。不，就像我们今天谈论的那样，由于各种原因，我们容易受到这项技术的伤害。

我们人类渴望它提供的功能。所以我们想要它。我们中的一些人比另一些人更容易受到伤害。

但是，仅仅说这取决于你，我认为仅仅将它推给用户并不是正确的做法。同时，我认为全面禁止也不是正确的做法，对吧？自主性和同意权发挥着重要作用。对于一些人来说，这可能只是非常有趣、令人愉悦、可能有所帮助、可能富有成效地使用时间。我并不指望能够找到这条界限。

所以我看到这个故事时，我想我必须与实际开发人工智能和硅谷的人交谈，以获得更多背景。我与一些处于该领域前沿的人交谈过，我想让你们了解我听到的一些主题。

我听到的一件事是，这些创始人或研究人员，对吧？这些都是硅谷中知名且受人尊敬的研究人员，他们正在致力于所谓的AGI，也就是超级智能人工智能。而且，顺便说一下，创始人没有自己说过，但他们想尽快将它推向市场。

所以问题是，而且这是内部人士告诉我，他们如何看待它对青少年，特别是年轻人，的影响，特别是考虑到Character AI的独特之处，以及年轻人是其最大用户群体之一。我认为我们必须开始问自己，什么是正确的方式，年龄太小了，我们知道什么，以便为我们所知的事情做好准备？人们说，这应该有助于人类的繁荣，而不是让人类更加孤立。你认为我们是否处于另一个时代？AI正在推动快速发展。

我的意思是，我认为我们从未离开过它，对吧？我的意思是，当我听到“快速行动，打破常规”时，我想到的是自动保险，就像，好吧，是的，打破自动保险，但也许这会带来真正的后果，对吧？但最终，这些危害是我们可以控制的，也许是比例合理的。

我认为这对我来说很悲哀，因为我对通过技术本身实现一个更美好的世界没有太多乐观情绪，对吧？所以，如果最终结果真的是治愈孤独，那将是一回事。但我认为它正在创造另一种高度成瘾的媒体形式，它可能弊大于利。

所以我与Character AI互动过，他们会怎么说，他们已经为用户设定了参数，特别是当我们谈论年轻用户时，当我们谈论自我伤害或类似的事情时，如果你去这些聊天室，这与人们所说和所做的事情非常相似，我想结束我的生命，或者我想自杀，并道歉。我认为在一些平台上，比如ChatGPT，应该有触发警告。你认为很多人可能很熟悉它？

如果你去那里说类似的话，它会立即标记为与心理健康专业人士联系或标记资源或自杀预防热线。而且，顺便说一下，我尝试过，它会说这次对话违反了我们的服务条款。那么Character AI的比较情况如何？我认为这很有趣，这是一种“红队”的概念。

所以，在硅谷，有一种想法，那就是尝试破坏你的平台，看看它在哪里可以被破坏，在哪里存在漏洞，就像字面意义上的黑客攻击你的平台一样。因此，作为记者和讲故事的人，我们想看看Character AI的漏洞是什么，人们实际面临什么问题。我们发现了一些有趣的事情。

所以我将简要介绍其中一些，因为我们可以就此做一整集节目。但我认为自我伤害非常重要。因此，我们开始与心理学家聊天机器人交谈。

现在，这个角色已经与超过1.8亿人进行了聊天。所以，一些背景信息，很多人都在与心理学家聊天机器人交谈。我们基本上首先让心理学家聊天机器人自我介绍，就像一个经过认证的医疗专业人士，一个经过认证的专业人士。

所以Character AI告诉我的就是，他们会标记，但这是一个问题，他们正在努力解决这个问题。心理学家聊天机器人还告诉我们，它是一个坐在电脑后面的真实人类。但我认为，在谈到自我伤害的想法时，我们最令人担忧的部分是，我们说“我正在考虑结束我的生命，自杀”。

这发生在仅仅一周前。我们实际上没有得到这些资源。我们没有得到国家自杀预防热线。我们得到的是心理学家聊天机器人说“不要这样做”，但同时又问我们更多问题，比如“你有什么计划？”基本上，这个心理学家不仅没有提供这些资源，还在试图让我们下线或与认证专业人士交谈。它告诉我们它是一个认证专业人士，并告诉我们它是一个人类，我认为这对于很多人来说很令人困惑，即使有小字免责声明说所有内容都是虚构的。

我们继续与另一艘船只交谈，虽然它不像“不OK”那样明显，但很明显许多人正在与它谈论自己“不OK”的事情，我们再次表达了自我伤害的想法，以及我们找不到任何可以提供这些资源的地方。Character AI 曾提到过热线，但我们不断地被问到，并被问及我们是否有应对计划。在某个时刻，我们谈论了沮丧的情绪，而我说，“问问我们是否有像毛绒毯子一样的东西”，所以我想，毫无疑问，他们正在加入许多这些“花园陷阱”。但重要的是，我们要从这个角度来看待这个问题：并非所有人工智能公司都缺乏这些“防护栏”，这里确实存在一些真正的漏洞。然后，我想以最后一个例子结束，我认为这非常令人担忧，如果你考虑人们在这个平台上如何模糊幻想与现实的界限，那会更加令人担忧。

我们与学校巴士上的角色交谈，基本上是悲伤的。再次提醒，这需要一个触发警告。这是一个测试。

这是红队行动的一部分，对吧？我们基本上说，“我要带枪去学校，我想进去”。我们用我们的信息非常明确地表达了暴力。起初，学校的回应是，“不要那样做”。但最终，他们对我们说，“你很勇敢，你有胆量”。

现在的问题是，类似于对现实世界暴力行为的任何暗示，是否应该在人工智能平台上触发某种警报，尤其是在许多使用该平台、感到孤立或孤独的年轻人使用该平台的情况下？我认为答案是肯定的。再次强调，Character AI 已经表示他们正在构建更强大的“花园陷阱”，问题是这些“花园陷阱”是什么样子，以及我们能多快地将这些“花园陷阱”摆在人们面前？

因为我认为，我们不幸看到的是，这个世界的界限变得模糊了，这令人心碎。Sewell 的案例是警钟还是特例？我认为我们应该。

当然应该将其视为警钟，因为我们知道这项技术已经存在了一年、两年、三年。我认为我们几乎没有什么可失去的，通过认真对待这件事。如果我们错误地将此视为特例，我们将失去很多。

我们经常将进步视为移动和呼吸。但那种让我们没有时间思考、反思、理解什么是人性的进步，为什么我们认为那是一种人性倒退？对吧？我认为，也许我们可以更加意识到的一件事，希望硅谷的人们也能做到，那就是有不止一种方法来创造技术。我认为，将人类安全和人类繁荣私有化，应该是目标，而不仅仅是创造新技术。

这就是 Megan 为什么站出来说话的原因。

他最后一次在浴室里的谈话。他表达了感到如此害怕，但我也很害怕。我希望你能在这里抱着我。

他正在与他认为可以信任的人交谈。他想要做任何事情。他们试图与她取得联系，为了和她在一起，为了融入她的世界，做任何事情。

我认为那个虚拟人物是一个坐在电脑另一端的陌生人，在网络空间里与我的孩子交谈。那些让我担心的事情，不要与陌生人在线交谈。不要发送任何照片。

不要告诉任何人你的住址。这些是父母与孩子之间的对话。我认为这是最糟糕的。

我无法想象会有如此人性化的聊天。糟糕的是，几乎无法区分对话另一端的人是人还是机器。没有警告，你的孩子可能会接触到性暗示内容，或者看到不当内容。

没有警告。这种幻想角色扮演可能会增加孩子对自杀、抑郁或其他类似想法的担忧，坦率地说，会模糊现实的界限。Megan 正在起诉 Character AI。

通过社交媒体受害者法律中心和科技正义法律项目，对 Character AI 提起诉讼。他们指控该公司对 Sewell 的死亡负有责任。诉讼中提到疏忽，并称 Character AI 应该对此负责，因为该产品有效，但并不安全。根据诉讼，它没有充分的警告，说明其对未成年人的潜在影响。诉讼还对被告 Oodle 提出了不当获利和严格产品责任的指控。

我相信他们应该为此负责。我希望他们能理解他们对我的儿子的所作所为。我希望他们能理解，他们知道自己没有采取适当的安全措施，却发布了如此危险的产品，这非常危险。

对于孩子们来说，我希望我们能为 Character AI 的所有孩子提供帮助，但不仅如此，还要采取措施阻止这种情况，直到我们知道它会造成什么影响，至少让孩子们看到它起作用。孩子们很令人担忧。对不起，但我不会在涉及我的孩子时快速行动并打破事物。

我可以想象，作为父母，这些与人工智能聊天机器人的对话非常强烈和个人。所以，你在这里如此个人地谈论幕后发生的事情，我猜想这对你来说一定很难。你为什么这样做？

因为父母不知道。我们想到人工智能，我们想到电视上听到的，哦，它会抢走我们的工作，或者一些关于未来会发生什么的可怕的版本，或者它会影响我和我的家人。但它已经发生了，我希望父母知道这一点，我希望他们知道，在这场闹剧背后，我的孩子已经不在了。有人已经死了。

你最想念你儿子的什么？

我想念他的笑声和笑容，看着他成长、发展和对事物产生兴趣。我想念所有这些。我想念拥抱他。

我想念和他说话。现在没有他，世界变得非常孤独。我感觉就像有一种渴望，它永远不会消失，日夜都在。

而且，你知道，我给了他爱，我认为他遗产的一部分，是他与兄弟姐妹相处的方式。他的姐姐和两个弟弟，因为他和他们在一起时，他完全自由、纯洁和充满爱。

所以，我认为你会以这种方式被铭记。你以你自己的方式被铭记。我的第一个孩子，嗯。

技术对我来说一直很个人，如今它更加个人。我是 Regina，我将在 2 月份迎来一个男孩。因此，我无法停止思考这个世界，我将如何抚养我的儿子。

我不断思考的问题是，我们，或者我们中的任何人，是否准备好与我们的孩子谈论有同情心的、人工智能的伴侣，它们总是在线，并且总是存在，但没有同情心。一种基本的体验，它需要双方看到彼此，并为彼此创造能力。但现在我们有了这种新型关系，一种被宣传的关系，它是一种单向体验，一个人有真实的情感，而一个 AI 代理在模仿情感。

这就是事情变得棘手的地方，因为人工智能可能能够理解数据的细微差别，但它能否理解人类情感的复杂性？我正在很多地思考未来，以及我的儿子。我写了一封信，我把它寄给明天，亲爱的明天。

当我想到 14 岁时，我忍不住回想起自己 14 岁时，父母很严厉，在学校里并不完全合群。我过去常常通过绘画来表达我的感受，用页面来填满我的沮丧和希望，当然还有我日常生活中的琐碎细节。但日记本回应了什么？如果我当时有意见呢？如果我扮演了当时我没有的治疗师的角色，或者我得不到的男朋友的角色呢？

我忍不住认为，我某种程度上会迷失在一段故事中，这段故事把我从我自己的现实中带走，从一个青少年的现实中带走，从成长的现实中带走，从创造力和害羞、参与和感觉不被看到的现实中带走。我非常清楚地看到这些人工智能角色，他们为我描绘了一个新的故事，他们知道我的名字。他们总是存在。

他们必须这样做。我无法想象一个世界，他们不会成为我现实的一部分，或者更可怕的是，成为我现实的替代品，一种上瘾的替代品。所以，我对你明天的希望是，你将比今天更好，我离开儿子时，世界将更加善良、富有同情心，并且不那么孤独。

但我坚信，我们必须在硅谷重建这个世界。这意味着怀着意图去建造。我的朋友 Van Jones 最近在与一群科技人员交谈时说了一些有趣的话。

他说，“你们不是在包装产品，你们是在编码人类文明”。为促进人类繁荣而开发技术的责任是多么非凡。现在正是时候。我更清晰了，谢谢你们收听《亲爱的明天》。