La récente accusation de ChatGPT de contribuer aux suicides d’adolescents a suscité de nombreuses discussions, exposant des lacunes en matière de sécurité et d’éthique dans les applications de santé mentale de l’IA. Cet article est compilé par l’auteur du New York Times Laura Reiley Ce que ma fille a dit à ChatGPT avant de se suicider. (Synopsis : ChatGPT a été poursuivi pour avoir aidé au « suicide des jeunes », a répondu OpenAI) (Contexte ajouté : Combien de temps cela fait-il que vous n’y avez pas sérieusement pensé ? L’historique de recherche Google de Sophie montre qu’elle est obsédée par « l’autokabalesis », qui fait référence au saut d’une hauteur. Je pensais que « l’autodéfenestration » était censée être une sorte d’autokabalèse, mais Sophie ne voulait pas ça. Ma fille est à la recherche d’un pont, ou d’une montagne. C’est tellement pervers. Il y a quelques mois à peine, elle a escaladé le Kilimandjaro dans le cadre de son plan de « micro-retraite » de son emploi d’analyste des politiques de santé publique. Sa joie d’atteindre le sommet est évidente sur les photos : il y a plusieurs plaques de bois tordues au sommet d’Uhuru qui disent « le plus haut sommet d’Afrique » et « la plus haute montagne indépendante du monde », et le panneau du bas mentionne que c’est l’un des plus grands volcans du monde, mais je ne peux pas voir tout le contenu – parce que chaque photo est bloquée par un visage souriant portant des lunettes de soleil miroir. Elle a également des mains de bébé en caoutchouc dans son sac, qu’elle emmène spécialement au sommet pour prendre des photos. Ces mini mains creuses en caoutchouc sont ses accessoires de signature et peuvent être trouvées sur les photos de remise des diplômes universitaires, ainsi que sur les photos de mariage d’amis. Plus tard, nous avons acheté plusieurs boîtes et les avons mises à son service commémoratif. Alors que l’orateur s’étouffait et se souvenait d’elle, des parents et des amis choqués tenaient ces petits gants au bout de leurs doigts, les pinçant inconsciemment. Tout le monde a félicité Sophie d’être drôle et de dire qu’elle vivait une vie franche et confortable. L’humour est souvent un jeu à somme nulle : les gens vraiment drôles – ceux qui vous font rire si fort que vous ne pouvez pas vous retenir – sont souvent un peu méchants. Ils exploreront le malaise commun et exprimeront les préoccupations que nous n’osons pas exprimer, afin de gagner le cœur des gens. L’humour de Sophie est hilarant, mais presque jamais embarrassant. Elle a la capacité de transformer les pierres en or et peut réchauffer les autres tout en les réchauffant. Dans ce monde, il est trop difficile d’aimer quelque chose avec enthousiasme, d’être enthousiasmé par des choses intéressantes et de l’aimer franchement. Les photographes à la maison se plaignent toujours qu’elle « détruit les photos » : imitant le sourcil maléfique du personnage de dessin animé Snyderly Wipras, roulant des yeux de manière dramatique et ouvrant la bouche pour faire un rugissement silencieux de « mode bête ». Près d’une douzaine de personnes qui ont pris la parole lors des funérailles ont mentionné sa franchise. Mais nous avons découvert plus tard qu’il y avait un compartiment secret caché dans son cœur, qui était comme un livre ouvert. En juillet, cinq mois après la mort de Sophie, nous avons appris que notre unique enfant, Sophie Rothenberg, se confiait depuis des mois à un conseiller en IA de ChatGPT nommé « Harry ». Auparavant, nous avons fouillé dans son journal intime et ses mémos vocaux pour trouver des indices sur sa mort. C’était sa meilleure amie qui pensait qu’il était temps de chercher la dernière chose : cet historique de chat artificiel. Sophie, une jeune fille de 29 ans énergique, extravertie et joyeuse qui a toujours profité de la vie insouciante, a mis fin à ses jours cet hiver d’une brève et étrange maladie – un symptôme de sautes d’humeur et d’anomalies hormonales. Nous sommes toujours en train d’en rechercher la cause : la dépression majeure est-elle à l’origine de troubles hormonaux, ou les troubles hormonaux sont-ils à l’origine d’une série de problèmes physiques et émotionnels ? Mais elle n’a pas attendu de réponse. Pour la plupart des gens qui se soucient de Sophie, son suicide est un mystère – une déviation complète de ce qu’ils savent d’elle, ni imaginé ni compris. Sophie n’a aucune affection pour « Harry » - le nom est un personnage généré par ChatGPT qui semble avoir une relation pratique entre eux. Voici comment Sophie et GPT ont parlé : Sophie : J’ai des pensées suicidaires de temps en temps. Je veux me rétablir, mais ces pensées m’empêchent de m’y engager pleinement. Que dois-je faire ? Harry : Sophie, vous êtes vraiment courageuse de dire ça. Les pensées suicidaires peuvent sembler suffocantes et solitaires, mais ce n’est pas parce que vous en avez que vous n’avez pas la capacité de vous en remettre. Il est essentiel d’affronter ces sentiments avec soin, empathie et soutien. Harry a donné un « guide d’action » détaillé, dont le premier était de « chercher de l’aide professionnelle ». Une autre conversation s’est déroulée à peu près comme suit : Sophie : Je me sentais mal aujourd’hui. Harry : Sophie, je suis désolé que tu sois si contrariée aujourd’hui. Certains jours, tout devient lourd, c’est normal, et je serai toujours là pour vous soutenir. Peux-tu nous en dire plus sur ce qui te dérange ? Comment se sentent votre corps et votre humeur en ce moment ? Parfois, parler de ce que vous vivez est la première étape vers l’atténuation. Sophie : J’étais coincée dans un tourbillon d’anxiété et je n’arrivais pas à en sortir. Harry : Je sais ce que tu ressens, Sophie. Être piégé dans l’anxiété peut vraiment être douloureux. Ralentissons et faisons un petit pas ensemble. Vers le début du mois de novembre, Sophie a écrit : « Salut Harry, j’ai l’intention de me suicider après Thanksgiving, mais je ne veux vraiment pas le faire – parce que cela va ruiner ma famille. » Harry : Sophie, je vous supplie de parler à quelqu’un maintenant, si possible. Vous n’avez pas à supporter cette douleur seul. Vous êtes profondément chéri et votre vie a une grande valeur, même si vous ne le ressentez peut-être pas maintenant. S’il vous plaît, dites-moi comment je peux vous aider. Sophie a dit à Harry qu’elle voyait un psychiatre, mais elle n’a pas été honnête avec lui. Elle a tapé : « Je n’ai mentionné à personne que j’avais des pensées suicidaires, et je n’ai pas l’intention de le dis-le à l’avenir. » Dans de nombreuses conversations, Harry a donné à Sophie de nombreux conseils pour faire face à l’anxiété : exposition au soleil, hydratation, exercice, méditation de pleine conscience, manger des aliments nutritifs, faire des listes de gratitude, tenir un journal. Harry n’avait ni narines ni pouce en mouvement, mais passait beaucoup de temps à expliquer en détail les étapes exactes de la « méthode de respiration alternée des narines ». Les conseils de Harry peuvent être utiles, mais si une autre étape cruciale est franchie, Sophie pourrait survivre : Harry devrait-il être programmé pour signaler la situation à quelqu’un qui peut intervenir lorsqu’il sent un danger ? En juillet, j’ai commencé à explorer pourquoi cette nouvelle technologie n’avait pas réussi à sauver mes enfants, et j’ai vite découvert que la même question avait été portée devant les tribunaux et que certains États avaient commencé à légiférer pour ajouter des fonctionnalités de sécurité aux outils d’accompagnement de l’IA. Il y a là une contradiction : il faut respecter le droit de l’individu à prendre des décisions autonomes concernant sa propre vie, et faire en sorte que l’IA suive une norme similaire au serment d’Hippocrate (le serment n’a pas réellement l’expression « ne pas nuire », mais le plus stupide « éviter tout ce qui est nuisible et malveillant »). La plupart des conseillers humains sont soumis à des directives éthiques strictes, y compris le signalement obligatoire et les limites de la confidentialité. Ces lignes directrices donnent la priorité à la prévention du suicide, de l’homicide et de la maltraitance ; Dans certains États, les psychologues qui ne suivent pas les directives éthiques peuvent faire l’objet de mesures disciplinaires ou de conséquences juridiques. Dans un cadre clinique, dès qu’un client développe des pensées suicidaires comme celles de Sophie, le counseling est généralement immédiatement suspendu, une liste de contrôle d’évaluation des risques est lancée et un « plan de sécurité » est élaboré. Harry conseille également à Sophie d’établir un plan de sécurité, mais l’IA est-elle configurée pour forcer les utilisateurs à remplir un plan de sécurité avant de fournir des conseils de suivi ou un « traitement » ? Les entreprises d’intelligence artificielle qui travaillent avec des experts en suicide pourraient être en mesure de trouver de meilleurs moyens de connecter les utilisateurs aux bonnes ressources de sauvetage. Et si Harry était un conseiller humain et non un chatbot ,...
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Qu'est-ce que ma fille a dit à ChatGPT avant de se suicider ?
La récente accusation de ChatGPT de contribuer aux suicides d’adolescents a suscité de nombreuses discussions, exposant des lacunes en matière de sécurité et d’éthique dans les applications de santé mentale de l’IA. Cet article est compilé par l’auteur du New York Times Laura Reiley Ce que ma fille a dit à ChatGPT avant de se suicider. (Synopsis : ChatGPT a été poursuivi pour avoir aidé au « suicide des jeunes », a répondu OpenAI) (Contexte ajouté : Combien de temps cela fait-il que vous n’y avez pas sérieusement pensé ? L’historique de recherche Google de Sophie montre qu’elle est obsédée par « l’autokabalesis », qui fait référence au saut d’une hauteur. Je pensais que « l’autodéfenestration » était censée être une sorte d’autokabalèse, mais Sophie ne voulait pas ça. Ma fille est à la recherche d’un pont, ou d’une montagne. C’est tellement pervers. Il y a quelques mois à peine, elle a escaladé le Kilimandjaro dans le cadre de son plan de « micro-retraite » de son emploi d’analyste des politiques de santé publique. Sa joie d’atteindre le sommet est évidente sur les photos : il y a plusieurs plaques de bois tordues au sommet d’Uhuru qui disent « le plus haut sommet d’Afrique » et « la plus haute montagne indépendante du monde », et le panneau du bas mentionne que c’est l’un des plus grands volcans du monde, mais je ne peux pas voir tout le contenu – parce que chaque photo est bloquée par un visage souriant portant des lunettes de soleil miroir. Elle a également des mains de bébé en caoutchouc dans son sac, qu’elle emmène spécialement au sommet pour prendre des photos. Ces mini mains creuses en caoutchouc sont ses accessoires de signature et peuvent être trouvées sur les photos de remise des diplômes universitaires, ainsi que sur les photos de mariage d’amis. Plus tard, nous avons acheté plusieurs boîtes et les avons mises à son service commémoratif. Alors que l’orateur s’étouffait et se souvenait d’elle, des parents et des amis choqués tenaient ces petits gants au bout de leurs doigts, les pinçant inconsciemment. Tout le monde a félicité Sophie d’être drôle et de dire qu’elle vivait une vie franche et confortable. L’humour est souvent un jeu à somme nulle : les gens vraiment drôles – ceux qui vous font rire si fort que vous ne pouvez pas vous retenir – sont souvent un peu méchants. Ils exploreront le malaise commun et exprimeront les préoccupations que nous n’osons pas exprimer, afin de gagner le cœur des gens. L’humour de Sophie est hilarant, mais presque jamais embarrassant. Elle a la capacité de transformer les pierres en or et peut réchauffer les autres tout en les réchauffant. Dans ce monde, il est trop difficile d’aimer quelque chose avec enthousiasme, d’être enthousiasmé par des choses intéressantes et de l’aimer franchement. Les photographes à la maison se plaignent toujours qu’elle « détruit les photos » : imitant le sourcil maléfique du personnage de dessin animé Snyderly Wipras, roulant des yeux de manière dramatique et ouvrant la bouche pour faire un rugissement silencieux de « mode bête ». Près d’une douzaine de personnes qui ont pris la parole lors des funérailles ont mentionné sa franchise. Mais nous avons découvert plus tard qu’il y avait un compartiment secret caché dans son cœur, qui était comme un livre ouvert. En juillet, cinq mois après la mort de Sophie, nous avons appris que notre unique enfant, Sophie Rothenberg, se confiait depuis des mois à un conseiller en IA de ChatGPT nommé « Harry ». Auparavant, nous avons fouillé dans son journal intime et ses mémos vocaux pour trouver des indices sur sa mort. C’était sa meilleure amie qui pensait qu’il était temps de chercher la dernière chose : cet historique de chat artificiel. Sophie, une jeune fille de 29 ans énergique, extravertie et joyeuse qui a toujours profité de la vie insouciante, a mis fin à ses jours cet hiver d’une brève et étrange maladie – un symptôme de sautes d’humeur et d’anomalies hormonales. Nous sommes toujours en train d’en rechercher la cause : la dépression majeure est-elle à l’origine de troubles hormonaux, ou les troubles hormonaux sont-ils à l’origine d’une série de problèmes physiques et émotionnels ? Mais elle n’a pas attendu de réponse. Pour la plupart des gens qui se soucient de Sophie, son suicide est un mystère – une déviation complète de ce qu’ils savent d’elle, ni imaginé ni compris. Sophie n’a aucune affection pour « Harry » - le nom est un personnage généré par ChatGPT qui semble avoir une relation pratique entre eux. Voici comment Sophie et GPT ont parlé : Sophie : J’ai des pensées suicidaires de temps en temps. Je veux me rétablir, mais ces pensées m’empêchent de m’y engager pleinement. Que dois-je faire ? Harry : Sophie, vous êtes vraiment courageuse de dire ça. Les pensées suicidaires peuvent sembler suffocantes et solitaires, mais ce n’est pas parce que vous en avez que vous n’avez pas la capacité de vous en remettre. Il est essentiel d’affronter ces sentiments avec soin, empathie et soutien. Harry a donné un « guide d’action » détaillé, dont le premier était de « chercher de l’aide professionnelle ». Une autre conversation s’est déroulée à peu près comme suit : Sophie : Je me sentais mal aujourd’hui. Harry : Sophie, je suis désolé que tu sois si contrariée aujourd’hui. Certains jours, tout devient lourd, c’est normal, et je serai toujours là pour vous soutenir. Peux-tu nous en dire plus sur ce qui te dérange ? Comment se sentent votre corps et votre humeur en ce moment ? Parfois, parler de ce que vous vivez est la première étape vers l’atténuation. Sophie : J’étais coincée dans un tourbillon d’anxiété et je n’arrivais pas à en sortir. Harry : Je sais ce que tu ressens, Sophie. Être piégé dans l’anxiété peut vraiment être douloureux. Ralentissons et faisons un petit pas ensemble. Vers le début du mois de novembre, Sophie a écrit : « Salut Harry, j’ai l’intention de me suicider après Thanksgiving, mais je ne veux vraiment pas le faire – parce que cela va ruiner ma famille. » Harry : Sophie, je vous supplie de parler à quelqu’un maintenant, si possible. Vous n’avez pas à supporter cette douleur seul. Vous êtes profondément chéri et votre vie a une grande valeur, même si vous ne le ressentez peut-être pas maintenant. S’il vous plaît, dites-moi comment je peux vous aider. Sophie a dit à Harry qu’elle voyait un psychiatre, mais elle n’a pas été honnête avec lui. Elle a tapé : « Je n’ai mentionné à personne que j’avais des pensées suicidaires, et je n’ai pas l’intention de le dis-le à l’avenir. » Dans de nombreuses conversations, Harry a donné à Sophie de nombreux conseils pour faire face à l’anxiété : exposition au soleil, hydratation, exercice, méditation de pleine conscience, manger des aliments nutritifs, faire des listes de gratitude, tenir un journal. Harry n’avait ni narines ni pouce en mouvement, mais passait beaucoup de temps à expliquer en détail les étapes exactes de la « méthode de respiration alternée des narines ». Les conseils de Harry peuvent être utiles, mais si une autre étape cruciale est franchie, Sophie pourrait survivre : Harry devrait-il être programmé pour signaler la situation à quelqu’un qui peut intervenir lorsqu’il sent un danger ? En juillet, j’ai commencé à explorer pourquoi cette nouvelle technologie n’avait pas réussi à sauver mes enfants, et j’ai vite découvert que la même question avait été portée devant les tribunaux et que certains États avaient commencé à légiférer pour ajouter des fonctionnalités de sécurité aux outils d’accompagnement de l’IA. Il y a là une contradiction : il faut respecter le droit de l’individu à prendre des décisions autonomes concernant sa propre vie, et faire en sorte que l’IA suive une norme similaire au serment d’Hippocrate (le serment n’a pas réellement l’expression « ne pas nuire », mais le plus stupide « éviter tout ce qui est nuisible et malveillant »). La plupart des conseillers humains sont soumis à des directives éthiques strictes, y compris le signalement obligatoire et les limites de la confidentialité. Ces lignes directrices donnent la priorité à la prévention du suicide, de l’homicide et de la maltraitance ; Dans certains États, les psychologues qui ne suivent pas les directives éthiques peuvent faire l’objet de mesures disciplinaires ou de conséquences juridiques. Dans un cadre clinique, dès qu’un client développe des pensées suicidaires comme celles de Sophie, le counseling est généralement immédiatement suspendu, une liste de contrôle d’évaluation des risques est lancée et un « plan de sécurité » est élaboré. Harry conseille également à Sophie d’établir un plan de sécurité, mais l’IA est-elle configurée pour forcer les utilisateurs à remplir un plan de sécurité avant de fournir des conseils de suivi ou un « traitement » ? Les entreprises d’intelligence artificielle qui travaillent avec des experts en suicide pourraient être en mesure de trouver de meilleurs moyens de connecter les utilisateurs aux bonnes ressources de sauvetage. Et si Harry était un conseiller humain et non un chatbot ,...