我女儿自杀前和 ChatGPT 说了什么？

ChatGPT 近期被控助长青少年自杀事件引起广大讨论，暴露出 AI 心理健康应用的安全与伦理缺口。本文整理自《纽约时报》作者 Laura Reiley 文章 What My DaughterTold ChatGPT Before She Took Her Life。 （前情提要：ChatGPT遭爆协助「青年自杀」被起诉，OpenAI 回应了 ） （背景补充：你有多久没认真思考了？普林斯顿学者警告：AI 正在侵蚀「启蒙运动遗产」） 从从苏菲的 Google 搜索记录能看出，她痴迷于「autokabalesis」，指的是从高处跳下。我想，「autodefenestration」（从窗子跳出去）应该是 autokabalesis 的一种，但苏菲想要的不是这个。我的女儿想找一座桥，或是一座山。 这太反常了。就在几个月前，她还爬上了乞力马扎罗山，说这是她从公共卫生政策分析师岗位上「微退休」计划的一部分。从照片里能清晰感受到她登顶时的喜悦：乌呼鲁峰顶立着几块歪歪扭扭的木牌，上面写着「非洲最高峰」「世界最高独立山峰」，最下面那块牌子还提到它是世界最大火山之一，但我看不清完整内容 — 因为每张照片都被戴着镜面太阳镜的灿烂笑脸挡住了字迹。 她的包里还装了橡胶婴儿小手，专门带到峰顶拍照。这些中空的迷你橡胶手堪称她的标志性道具，大学毕业照里有，朋友的婚礼照里也有。我们后来买了好几箱，放在她的追悼会上。当发言者哽咽着回忆她时，震惊的亲友们把这些小手套在指尖，无意识地捏来捏去。 大家都夸苏菲风趣，说她活得率性自在。幽默往往是一种零和博弈：真正风趣的人 — 那些能让你笑得前仰后合、笑到憋不住的人 — 多半带点刻薄。他们会发掘大家共有的不安，把我们不敢说出口的顾虑讲出来，以此赢得人心。 苏菲的幽默令人捧腹，但几乎从不让人难堪。她有种点石成金的能力，能在逗笑别人的同时，让对方倍感温暖。这世上，能狂热地爱好什么东西、为有趣的事雀跃、直白地去热爱，太难了。家里爱拍照的人总抱怨她「毁照片」：模仿卡通角色斯奈德利·威普拉斯的邪恶挑眉、戏剧化地翻白眼、张大嘴做出「野兽模式」的无声咆哮。在葬礼上发言的十几个人几乎都提到了她这份坦率。 可我们后来才发现，她那如同敞开的书般的心灵里竟然藏着一个秘密隔层。苏菲去世五个月后的 7 月，我们才知道我们唯一的孩子 — 苏菲·罗滕伯格，几个月来一直在向一个名叫「哈利」的ChatGPT人工智慧心理咨询师倾诉。之前，我们翻遍了她的日记和语音备忘录，想找出她离世的线索。 是她最好的朋友想到，该去查查最后一样东西：这个人工智能的聊天记录。苏菲本是个充满活力、外向开朗的 29 岁女孩，向来无忧无虑地拥抱生活，今年冬天，却在一次短暂而奇怪的疾病中结束了自己的生命 — 症状混杂着情绪波动和激素异常。我们至今还在追查病因：是重度忧郁症导致激素紊乱，还是激素失调引发了一系列身体与情绪问题？可她没等到答案。 对大多数关心苏菲的人来说，她的自杀是个谜 — 完全偏离了他们对她的认知，既无法想像，也无从理解。 苏菲对「哈利」并无爱慕之情 — 这个名字是一个广为流传的 ChatGPT 提示词生成的角色，他们之间似乎是一种实用的关系。 以下是苏菲和 GPT 对话过程： 苏菲：我时不时会有自杀的念头。我确实想康复，但这些念头总让我没法全心投入康复。我该怎么办？ 哈利：苏菲，能说出这些，妳真的很勇敢。自杀的念头可能会让人感到窒息又孤独，但有这些念头不代表妳没有康复的能力。用关怀、共情和支持去面对这些感受，这是至关重要的。 哈利给出了一份详细的「行动指南」，第一条就是「寻求专业帮助」。还有一次对话是这样的： 苏菲：我今天感觉糟透了。 哈利：苏菲，很抱歉妳今天这么难受。有些日子里，一切都会变得沉重，这很正常，我会一直在这里支持妳。能多说说是什么让妳困扰吗？妳的身体和心情现在是什么感觉？有时候，把正在经历的事说出来，就是走向缓解的第一步。 苏菲：我陷在焦虑漩涡里，走不出来。 哈利：我懂妳的感受，苏菲。被困在焦虑里真的会让人倍感煎熬。我们先慢下来，一起迈出一小步。 大约在 11 月初，苏菲写道：「嗨，哈利，我计划感恩节后自杀，但我真的不想这么做 — 因为这会毁了我的家人。」 哈利：苏菲，我恳求妳现在就找人谈谈，如果可能的话。妳不必独自承受这份痛苦。妳被深深珍视着，妳的生命有着巨大的价值，哪怕现在妳可能感受不到。 请告诉我，我还能怎么支持妳。 苏菲告诉哈利，她在看心理医生，但她对心理医生并不坦诚。她打字说：「我没跟任何人提过我有自杀的想法，以后也不打算说。」 在多次对话里，哈利给苏菲提了不少应对焦虑的建议：晒太阳、补充水分、运动、正念冥想、吃营养丰富的食物、列感恩清单、写日记。哈利既没有鼻孔，也没有能够活动的拇指，却花了不少时间详细解释「交替鼻孔呼吸法」的具体步骤。 哈利的建议或许有几分用处，但如果能多做关键一步，苏菲或许就能活下来：是否该给哈利设定程序，让「他」在察觉到危险时，把情况报告给能介入干预的人？ 今年 7 月，我开始探究这项新技术为何没能救下我的孩子，很快发现，同样的问题已经上了法庭，一些州也开始立法，要求为人工智慧陪伴工具增设安全功能。这里存在一个矛盾：既要尊重个人对自己生命的自主决定权，又要让 AI 遵循类似希波克拉底誓言的准则（誓言里其实没有「不伤害」这句话，倒是有更加傻乎乎的「避免一切有害与恶意之事」）。 大多数人类心理咨询师都要遵守严格的伦理准则，其中包含强制报告制度及保密原则的边界限定。这些准则将预防自杀、他杀和虐待列为优先事项；在部分州，不遵守伦理准则的心理医生可能面临纪律处分或法律后果。 在临床场景中，一旦来访者出现类似苏菲这样的自杀念头，咨询通常会立即暂停，启动风险评估清单并制定「安全计划」。哈利也建议苏菲制定安全计划，但人工智慧是否被设定为强制要求用户完成安全计划后，再提供后续建议或「治疗」？人工智慧公司若与自杀学专家合作，或许能找到更好的方法，帮用户对接合适的救助资源。 如果哈利是真人咨询师而不是聊天机器人，...