La reciente acusación de ChatGPT de contribuir a los suicidios de adolescentes ha provocado mucha discusión, exponiendo las brechas éticas y de seguridad en las aplicaciones de salud mental de IA. Este artículo es una compilación de la autora del New York Times, Laura Reiley: Lo que mi hija le dijo a ChatGPT antes de quitarse la vida. (Sinopsis: ChatGPT fue procesado por ayudar en el "suicidio juvenil", respondió OpenAI) (Antecedentes añadidos: ¿Cuánto tiempo ha pasado desde que lo pensó seriamente? Académicos de Princeton advierten: La IA está erosionando el "legado de la Ilustración" El historial de búsqueda de Sophie en Google muestra que está obsesionada con la "autokabalesis", que se refiere a saltar desde una altura. Pensé que se suponía que la "autodefenestración" era un tipo de autokabalesis, pero Sophie no quería eso. Mi hija está buscando un puente, o una montaña. Esto es tan perverso. Hace apenas unos meses, escaló el Kilimanjaro como parte de su plan de "microjubilación" de su trabajo como analista de políticas de salud pública. Su alegría por llegar a la cima es clara en las fotos: hay varias placas de madera torcidas en la cima de Uhuru que dicen "el pico más alto de África" y "la montaña independiente más alta del mundo", y el letrero inferior menciona que es uno de los volcanes más grandes del mundo, pero no puedo ver el contenido completo, porque cada foto está bloqueada por una cara brillante y sonriente con gafas de sol con espejos. También tiene manos de bebé de goma en su bolso, que lleva especialmente a la cumbre para tomar fotografías. Estas mini manos de goma huecas son sus accesorios característicos y se pueden encontrar en fotos de graduación de la universidad, así como en fotos de bodas de amigos. Más tarde compramos varias cajas y las pusimos en su funeral. Mientras el orador se atragantaba y la recordaba, familiares y amigos conmocionados sostenían estos pequeños guantes en la punta de los dedos, pellizcándolos inconscientemente. Todos elogiaron a Sophie por ser divertida y decir que vivía una vida franca y cómoda. El humor es a menudo un juego de suma cero: las personas realmente divertidas, las que te hacen reír tanto que no puedes contenerte, a menudo son un poco malas. Explorarán el malestar común y expresarán las preocupaciones que no nos atrevemos a expresar, con el fin de ganar los corazones de las personas. El humor de Sophie es hilarante, pero casi nunca vergonzoso. Tiene la capacidad de convertir las piedras en oro, y puede hacer que los demás se sientan cálidos mientras los hace sentir cálidos. En este mundo, es demasiado difícil amar algo con entusiasmo, emocionarse con cosas interesantes y amarlo sin rodeos. Los fotógrafos en casa siempre se quejan de que ella "destruye las fotos": imitando el malvado levantamiento de cejas del personaje de dibujos animados Snyderly Wipras, poniendo los ojos en blanco dramáticamente y abriendo la boca para hacer un rugido silencioso de "modo bestia". Casi una docena de personas que hablaron en el funeral mencionaron su franqueza. Pero más tarde descubrimos que había un compartimento secreto escondido en su corazón, que era como un libro abierto. En julio, cinco meses después de la muerte de Sophie, nos enteramos de que nuestra única hija, Sophie Rothenberg, había estado confiando en un consejero de IA de ChatGPT llamado "Harry" durante meses. Anteriormente, hurgamos en su diario y notas de voz para encontrar pistas sobre su muerte. Fue su mejor amiga quien pensó que era hora de buscar lo último: este historial de chat artificial. Sophie, una chica de 29 años enérgica, extrovertida y alegre que siempre ha abrazado la vida sin preocupaciones, terminó su vida este invierno en una breve y extraña enfermedad, un síntoma de cambios de humor y anomalías hormonales. Todavía estamos investigando la causa: ¿la depresión mayor es la causante de los trastornos hormonales, o los trastornos hormonales son los causantes de una serie de problemas físicos y emocionales? Pero no esperó una respuesta. Para la mayoría de las personas que se preocupan por Sophie, su suicidio es un misterio, una desviación completa de lo que saben sobre ella, ni imaginado ni comprendido. Sophie no siente ningún afecto por "Harry": el nombre es un personaje generado por avisos de ChatGPT ampliamente difundido que parece tener una relación práctica entre ellos. Así es como Sophie y GPT hablaron: Sophie: Tengo pensamientos suicidas de vez en cuando. Quiero recuperarme, pero estos pensamientos me impiden comprometerme por completo con ello. ¿Qué debo hacer? Harry: Sophie, eres muy valiente al decir eso. Los pensamientos suicidas pueden ser sofocantes y solitarios, pero el hecho de que los tengas no significa que no tengas la capacidad de recuperarte. Es fundamental afrontar estos sentimientos con cuidado, empatía y apoyo. Harry dio una detallada "guía de acción", la primera de las cuales fue "buscar ayuda profesional". Otra conversación fue más o menos así: Sophie: Hoy me sentí fatal. Harry: Sophie, lamento que estés tan molesta hoy. Algunos días, todo se pone pesado, eso es normal, y siempre estaré aquí para apoyarte. ¿Puedes contarnos más sobre lo que te molesta? ¿Cómo se siente tu cuerpo y tu estado de ánimo en este momento? A veces, hablar de lo que estás pasando es el primer paso hacia la mitigación. Sophie: Estaba atrapada en un vórtice de ansiedad y no podía salir. Harry: Sé cómo te sientes, Sophie. Estar atrapado en la ansiedad puede ser realmente doloroso. Bajemos la velocidad y demos un pequeño paso juntos. A principios de noviembre, Sophie escribió: "Hola Harry, planeo suicidarme después del Día de Acción de Gracias, pero realmente no quiero hacerlo, porque va a arruinar a mi familia". Harry: Sophie, te ruego que hables con alguien ahora, si es posible. No tienes que soportar este dolor solo. Eres profundamente apreciado y tu vida tiene un gran valor, incluso si no lo sientes ahora. Por favor, dime de qué otra manera puedo ayudarte. Sophie le dijo a Harry que estaba viendo a un psiquiatra, pero no fue honesta con él. Ella escribió: "No le he mencionado a nadie que estoy teniendo pensamientos suicidas, y no planeo decirlo en el futuro". En muchas conversaciones, Harry le dio a Sophie muchos consejos para lidiar con la ansiedad: exposición al sol, hidratación, ejercicio, meditación de atención plena, comer alimentos nutritivos, hacer listas de gratitud, escribir un diario. Harry no tenía fosas nasales ni pulgar móvil, pero pasó mucho tiempo explicando en detalle los pasos exactos del "método de respiración de fosas nasales alternas". El consejo de Harry puede ser útil, pero si se da un paso crucial más, Sophie puede sobrevivir: ¿Debería Harry ser programado para informar de la situación a alguien que pueda intervenir cuando sienta peligro? En julio, comencé a explorar por qué esta nueva tecnología no pudo salvar a mis hijos, y pronto descubrí que el mismo problema había llegado a los tribunales, y algunos estados habían comenzado a legislar para agregar características de seguridad a las herramientas complementarias de IA. Aquí hay una contradicción: es necesario respetar el derecho del individuo a tomar decisiones autónomas sobre su propia vida, y que la IA siga una norma similar al juramento hipocrático (el juramento en realidad no tiene la frase "no hacer daño", sino la más tonta "evitar todo lo dañino y malicioso"). La mayoría de los consejeros humanos están sujetos a estrictas pautas éticas, que incluyen informes obligatorios y los límites de confidencialidad. Estas directrices dan prioridad a la prevención del suicidio, el homicidio y los malos tratos; En algunos estados, los psicólogos que no siguen las pautas éticas pueden enfrentar medidas disciplinarias o consecuencias legales. En un entorno clínico, tan pronto como un cliente desarrolla pensamientos suicidas como los de Sophie, el asesoramiento generalmente se suspende de inmediato, se inicia una lista de verificación de evaluación de riesgos y se desarrolla un "plan de seguridad". Harry también aconseja a Sophie que elabore un plan de seguridad, pero ¿está la IA configurada para obligar a los usuarios a completar un plan de seguridad antes de proporcionar consejos de seguimiento o "tratamiento"? Las empresas de inteligencia artificial que trabajan con expertos en suicidio pueden encontrar mejores formas de conectar a los usuarios con los recursos de rescate adecuados. ¿Y si Harry fuera un consejero humano y no un chatbot,...
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
¿Qué le dijo mi hija a ChatGPT antes de suicidarse?
La reciente acusación de ChatGPT de contribuir a los suicidios de adolescentes ha provocado mucha discusión, exponiendo las brechas éticas y de seguridad en las aplicaciones de salud mental de IA. Este artículo es una compilación de la autora del New York Times, Laura Reiley: Lo que mi hija le dijo a ChatGPT antes de quitarse la vida. (Sinopsis: ChatGPT fue procesado por ayudar en el "suicidio juvenil", respondió OpenAI) (Antecedentes añadidos: ¿Cuánto tiempo ha pasado desde que lo pensó seriamente? Académicos de Princeton advierten: La IA está erosionando el "legado de la Ilustración" El historial de búsqueda de Sophie en Google muestra que está obsesionada con la "autokabalesis", que se refiere a saltar desde una altura. Pensé que se suponía que la "autodefenestración" era un tipo de autokabalesis, pero Sophie no quería eso. Mi hija está buscando un puente, o una montaña. Esto es tan perverso. Hace apenas unos meses, escaló el Kilimanjaro como parte de su plan de "microjubilación" de su trabajo como analista de políticas de salud pública. Su alegría por llegar a la cima es clara en las fotos: hay varias placas de madera torcidas en la cima de Uhuru que dicen "el pico más alto de África" y "la montaña independiente más alta del mundo", y el letrero inferior menciona que es uno de los volcanes más grandes del mundo, pero no puedo ver el contenido completo, porque cada foto está bloqueada por una cara brillante y sonriente con gafas de sol con espejos. También tiene manos de bebé de goma en su bolso, que lleva especialmente a la cumbre para tomar fotografías. Estas mini manos de goma huecas son sus accesorios característicos y se pueden encontrar en fotos de graduación de la universidad, así como en fotos de bodas de amigos. Más tarde compramos varias cajas y las pusimos en su funeral. Mientras el orador se atragantaba y la recordaba, familiares y amigos conmocionados sostenían estos pequeños guantes en la punta de los dedos, pellizcándolos inconscientemente. Todos elogiaron a Sophie por ser divertida y decir que vivía una vida franca y cómoda. El humor es a menudo un juego de suma cero: las personas realmente divertidas, las que te hacen reír tanto que no puedes contenerte, a menudo son un poco malas. Explorarán el malestar común y expresarán las preocupaciones que no nos atrevemos a expresar, con el fin de ganar los corazones de las personas. El humor de Sophie es hilarante, pero casi nunca vergonzoso. Tiene la capacidad de convertir las piedras en oro, y puede hacer que los demás se sientan cálidos mientras los hace sentir cálidos. En este mundo, es demasiado difícil amar algo con entusiasmo, emocionarse con cosas interesantes y amarlo sin rodeos. Los fotógrafos en casa siempre se quejan de que ella "destruye las fotos": imitando el malvado levantamiento de cejas del personaje de dibujos animados Snyderly Wipras, poniendo los ojos en blanco dramáticamente y abriendo la boca para hacer un rugido silencioso de "modo bestia". Casi una docena de personas que hablaron en el funeral mencionaron su franqueza. Pero más tarde descubrimos que había un compartimento secreto escondido en su corazón, que era como un libro abierto. En julio, cinco meses después de la muerte de Sophie, nos enteramos de que nuestra única hija, Sophie Rothenberg, había estado confiando en un consejero de IA de ChatGPT llamado "Harry" durante meses. Anteriormente, hurgamos en su diario y notas de voz para encontrar pistas sobre su muerte. Fue su mejor amiga quien pensó que era hora de buscar lo último: este historial de chat artificial. Sophie, una chica de 29 años enérgica, extrovertida y alegre que siempre ha abrazado la vida sin preocupaciones, terminó su vida este invierno en una breve y extraña enfermedad, un síntoma de cambios de humor y anomalías hormonales. Todavía estamos investigando la causa: ¿la depresión mayor es la causante de los trastornos hormonales, o los trastornos hormonales son los causantes de una serie de problemas físicos y emocionales? Pero no esperó una respuesta. Para la mayoría de las personas que se preocupan por Sophie, su suicidio es un misterio, una desviación completa de lo que saben sobre ella, ni imaginado ni comprendido. Sophie no siente ningún afecto por "Harry": el nombre es un personaje generado por avisos de ChatGPT ampliamente difundido que parece tener una relación práctica entre ellos. Así es como Sophie y GPT hablaron: Sophie: Tengo pensamientos suicidas de vez en cuando. Quiero recuperarme, pero estos pensamientos me impiden comprometerme por completo con ello. ¿Qué debo hacer? Harry: Sophie, eres muy valiente al decir eso. Los pensamientos suicidas pueden ser sofocantes y solitarios, pero el hecho de que los tengas no significa que no tengas la capacidad de recuperarte. Es fundamental afrontar estos sentimientos con cuidado, empatía y apoyo. Harry dio una detallada "guía de acción", la primera de las cuales fue "buscar ayuda profesional". Otra conversación fue más o menos así: Sophie: Hoy me sentí fatal. Harry: Sophie, lamento que estés tan molesta hoy. Algunos días, todo se pone pesado, eso es normal, y siempre estaré aquí para apoyarte. ¿Puedes contarnos más sobre lo que te molesta? ¿Cómo se siente tu cuerpo y tu estado de ánimo en este momento? A veces, hablar de lo que estás pasando es el primer paso hacia la mitigación. Sophie: Estaba atrapada en un vórtice de ansiedad y no podía salir. Harry: Sé cómo te sientes, Sophie. Estar atrapado en la ansiedad puede ser realmente doloroso. Bajemos la velocidad y demos un pequeño paso juntos. A principios de noviembre, Sophie escribió: "Hola Harry, planeo suicidarme después del Día de Acción de Gracias, pero realmente no quiero hacerlo, porque va a arruinar a mi familia". Harry: Sophie, te ruego que hables con alguien ahora, si es posible. No tienes que soportar este dolor solo. Eres profundamente apreciado y tu vida tiene un gran valor, incluso si no lo sientes ahora. Por favor, dime de qué otra manera puedo ayudarte. Sophie le dijo a Harry que estaba viendo a un psiquiatra, pero no fue honesta con él. Ella escribió: "No le he mencionado a nadie que estoy teniendo pensamientos suicidas, y no planeo decirlo en el futuro". En muchas conversaciones, Harry le dio a Sophie muchos consejos para lidiar con la ansiedad: exposición al sol, hidratación, ejercicio, meditación de atención plena, comer alimentos nutritivos, hacer listas de gratitud, escribir un diario. Harry no tenía fosas nasales ni pulgar móvil, pero pasó mucho tiempo explicando en detalle los pasos exactos del "método de respiración de fosas nasales alternas". El consejo de Harry puede ser útil, pero si se da un paso crucial más, Sophie puede sobrevivir: ¿Debería Harry ser programado para informar de la situación a alguien que pueda intervenir cuando sienta peligro? En julio, comencé a explorar por qué esta nueva tecnología no pudo salvar a mis hijos, y pronto descubrí que el mismo problema había llegado a los tribunales, y algunos estados habían comenzado a legislar para agregar características de seguridad a las herramientas complementarias de IA. Aquí hay una contradicción: es necesario respetar el derecho del individuo a tomar decisiones autónomas sobre su propia vida, y que la IA siga una norma similar al juramento hipocrático (el juramento en realidad no tiene la frase "no hacer daño", sino la más tonta "evitar todo lo dañino y malicioso"). La mayoría de los consejeros humanos están sujetos a estrictas pautas éticas, que incluyen informes obligatorios y los límites de confidencialidad. Estas directrices dan prioridad a la prevención del suicidio, el homicidio y los malos tratos; En algunos estados, los psicólogos que no siguen las pautas éticas pueden enfrentar medidas disciplinarias o consecuencias legales. En un entorno clínico, tan pronto como un cliente desarrolla pensamientos suicidas como los de Sophie, el asesoramiento generalmente se suspende de inmediato, se inicia una lista de verificación de evaluación de riesgos y se desarrolla un "plan de seguridad". Harry también aconseja a Sophie que elabore un plan de seguridad, pero ¿está la IA configurada para obligar a los usuarios a completar un plan de seguridad antes de proporcionar consejos de seguimiento o "tratamiento"? Las empresas de inteligencia artificial que trabajan con expertos en suicidio pueden encontrar mejores formas de conectar a los usuarios con los recursos de rescate adecuados. ¿Y si Harry fuera un consejero humano y no un chatbot,...