O conceito de psicose de IA surgiu publicamente em meados de 2025, destacando problemas de saúde mental ligados ao uso de IA. Embora as empresas de tecnologia não sejam obrigadas a controlar o uso de IA, ainda podem implementar medidas de segurança para evitar que os chatbots reforcem o pensamento delirante. Especialistas concordam sobre a necessidade de as empresas de tecnologia apoiarem indivíduos em risco, embora as opiniões variem sobre a extensão dessa responsabilidade.
Sinais de Alerta Comportamentais
As primeiras descobertas documentadas sobre "psicose de IA" começaram a surgir publicamente em meados de 2025, e desde então, vários relatórios e estudos foram publicados sobre problemas de saúde mental ligados ao uso de IA. O CEO da Microsoft AI, Mustafa Suleyman, chegou a classificar a psicose de IA como um "risco real e emergente."
Esta condição é dita surgir quando a distinção entre interações humanas e de máquina se esbate, tornando difícil para os indivíduos diferenciar entre os mundos real e digital. Embora ainda não seja um diagnóstico clínico formal, há uma crescente preocupação entre especialistas médicos e tecnológicos sobre os efeitos psicológicos da IA, especialmente com chatbots que validam e amplificam crenças, incluindo pensamentos delirantes, sem oferecer os necessários testes de realidade.
Os mais em risco incluem indivíduos socialmente isolados, aqueles com problemas de saúde mental pré-existentes, ou aqueles propensos a pensar de forma mágica. A validação da IA pode reforçar delírios, levando a consequências negativas no mundo real, como relacionamentos danificados e perda de emprego.
Alguns especialistas alertam que até mesmo aqueles sem condições pré-existentes estão em risco. Eles nomearam várias bandeiras vermelhas comportamentais-chave que os usuários de IA devem ficar atentos. Uma bandeira vermelha é quando um indivíduo desenvolve uma relação obsessiva com um chatbot e interage constantemente com ele para reforçar suas próprias ideias e crenças.
Esse comportamento muitas vezes inclui alimentar a IA com detalhes pessoais excessivos numa tentativa de "treiná-la" e construir um senso de compreensão mútua. Outro sinal de alerta é quando um indivíduo começa a delegar decisões simples e diárias à IA, desde saúde e dinheiro até relacionamentos pessoais.
Responsabilidade Corporativa e Salvaguardas
Embora não estejam obrigados a controlar como a IA é utilizada, as empresas por trás de alguns dos poderosos chatbots podem implementar salvaguardas que impedem os agentes conversacionais de reforçar o pensamento delirante. Mau Ledford, cofundador e diretor executivo da Sogni AI, discutiu a incorporação de software que desencoraja esse tipo de pensamento.
“Precisamos construir IA que seja gentil sem conluio. Isso significa lembretes claros de que não é humano, recusa em validar delírios e interrupções rigorosas que empurrem as pessoas de volta para o apoio humano,” afirmou Ledford.
Roman J. Georgio, CEO e co-fundador do Coral Protocol, instou os desenvolvedores de IA a evitar repetir os erros das redes sociais, incluindo pontos de fricção incorporados que lembrem os usuários de que a IA não é humana.
“Acho que começa com o design. Não otimize apenas para a retenção e a adesão; isso é repetir o erro das redes sociais,” explicou Georgio. “Crie pontos de fricção onde a IA desacelera as coisas ou deixa claro: ‘Não sou humano.’ A deteção é outra parte. A IA poderia sinalizar padrões que parecem espirais delirantes, como ciclos de conspiração ou fixações em ‘mensagens especiais.’”
O cofundador do Coral Protocol insistiu que também são necessárias regulamentações que governem a privacidade dos dados, argumentando que sem elas, "as empresas apenas vão atrás do engajamento, mesmo que isso prejudique as pessoas."
O Debate sobre IA Semelhante ao Humano
Até agora, parece haver dados limitados sobre "psicose de IA" para informar os formuladores de políticas e reguladores sobre como responder. No entanto, isso não impediu os desenvolvedores de IA de revelarem agentes de IA semelhantes a humanos e empáticos. Ao contrário dos chatbots básicos que seguem um roteiro rígido, esses agentes podem entender o contexto, reconhecer emoções e responder com um tom que parece empático. Isso levou alguns observadores a instar a indústria de IA a liderar a garantia de que modelos semelhantes a humanos não acabem por borrar a linha entre humano e máquina.
Michael Heinrich, CEO da 0G Labs, disse à Bitcoin.com News que, embora esses agentes sejam úteis em certos cenários e não devam ser rejeitados completamente, é imperativo que eles “permaneçam neutros e evitem mostrar muita emoção ou outros traços humanos.” Isso, ele argumentou, ajuda os usuários a entender que o agente de IA é “simplesmente uma ferramenta e não um substituto para a interação humana.”
Mariana Krym, uma arquiteta de produto e categoria de IA, disse que tornar o agente mais honesto e não mais humano é o que importa.
“Você pode criar uma experiência de IA que seja útil, intuitiva, até emocionalmente responsiva—sem fingir que é consciente ou capaz de cuidar,” argumentou Krym. “O perigo começa quando uma ferramenta é projetada para realizar conexão em vez de facilitar clareza.”
De acordo com Krym, a verdadeira empatia na IA não se trata de imitar sentimentos, mas de respeitar limites e limitações técnicas. Também envolve saber quando ajudar e quando não interferir. "Às vezes, a interação mais humana é saber quando ficar em silêncio", afirmou Krym.
Dever de Cuidado
Todos os especialistas entrevistados pela Bitcoin.com News concordaram sobre a necessidade de as empresas de tecnologia ajudarem indivíduos em risco, mas divergiram sobre a extensão em que devem fazer isso. Ledford acredita que "as grandes empresas de tecnologia têm um dever de cuidado" e pode provar isso fornecendo "redes de segurança—encaminhamentos para crises, avisos de uso e transparência—para que os usuários vulneráveis não fiquem sozinhos com suas ilusões."
Georgio ecoou esses sentimentos e instou as grandes empresas de tecnologia a trabalharem com os clínicos para criar caminhos de referência, em vez de deixar as pessoas sozinhas.
Krym insistiu que as empresas de tecnologia "têm uma responsabilidade direta—não apenas de responder quando algo corre mal, mas de projetar de maneiras que reduzam o risco desde o início." No entanto, ela acredita que a participação do usuário é crucial também.
“E, importante,” argumentou Krym, “os utilizadores devem ser convidados a definir os seus próprios limites também, e ser avisados quando esses limites são ultrapassados. Por exemplo, querem que o seu ponto de vista seja validado em relação a padrões típicos, ou estão abertos a ter o seu viés desafiado? Definam os objetivos. Tratam o humano como aquele que está no controle—não a ferramenta com a qual estão a interagir.”
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
Psicose de IA: Líderes de tecnologia pedem medidas de segurança para evitar que chatbots validem delírios
O conceito de psicose de IA surgiu publicamente em meados de 2025, destacando problemas de saúde mental ligados ao uso de IA. Embora as empresas de tecnologia não sejam obrigadas a controlar o uso de IA, ainda podem implementar medidas de segurança para evitar que os chatbots reforcem o pensamento delirante. Especialistas concordam sobre a necessidade de as empresas de tecnologia apoiarem indivíduos em risco, embora as opiniões variem sobre a extensão dessa responsabilidade.
Sinais de Alerta Comportamentais
As primeiras descobertas documentadas sobre "psicose de IA" começaram a surgir publicamente em meados de 2025, e desde então, vários relatórios e estudos foram publicados sobre problemas de saúde mental ligados ao uso de IA. O CEO da Microsoft AI, Mustafa Suleyman, chegou a classificar a psicose de IA como um "risco real e emergente."
Esta condição é dita surgir quando a distinção entre interações humanas e de máquina se esbate, tornando difícil para os indivíduos diferenciar entre os mundos real e digital. Embora ainda não seja um diagnóstico clínico formal, há uma crescente preocupação entre especialistas médicos e tecnológicos sobre os efeitos psicológicos da IA, especialmente com chatbots que validam e amplificam crenças, incluindo pensamentos delirantes, sem oferecer os necessários testes de realidade.
Os mais em risco incluem indivíduos socialmente isolados, aqueles com problemas de saúde mental pré-existentes, ou aqueles propensos a pensar de forma mágica. A validação da IA pode reforçar delírios, levando a consequências negativas no mundo real, como relacionamentos danificados e perda de emprego.
Alguns especialistas alertam que até mesmo aqueles sem condições pré-existentes estão em risco. Eles nomearam várias bandeiras vermelhas comportamentais-chave que os usuários de IA devem ficar atentos. Uma bandeira vermelha é quando um indivíduo desenvolve uma relação obsessiva com um chatbot e interage constantemente com ele para reforçar suas próprias ideias e crenças.
Esse comportamento muitas vezes inclui alimentar a IA com detalhes pessoais excessivos numa tentativa de "treiná-la" e construir um senso de compreensão mútua. Outro sinal de alerta é quando um indivíduo começa a delegar decisões simples e diárias à IA, desde saúde e dinheiro até relacionamentos pessoais.
Responsabilidade Corporativa e Salvaguardas
Embora não estejam obrigados a controlar como a IA é utilizada, as empresas por trás de alguns dos poderosos chatbots podem implementar salvaguardas que impedem os agentes conversacionais de reforçar o pensamento delirante. Mau Ledford, cofundador e diretor executivo da Sogni AI, discutiu a incorporação de software que desencoraja esse tipo de pensamento.
“Precisamos construir IA que seja gentil sem conluio. Isso significa lembretes claros de que não é humano, recusa em validar delírios e interrupções rigorosas que empurrem as pessoas de volta para o apoio humano,” afirmou Ledford.
Roman J. Georgio, CEO e co-fundador do Coral Protocol, instou os desenvolvedores de IA a evitar repetir os erros das redes sociais, incluindo pontos de fricção incorporados que lembrem os usuários de que a IA não é humana.
“Acho que começa com o design. Não otimize apenas para a retenção e a adesão; isso é repetir o erro das redes sociais,” explicou Georgio. “Crie pontos de fricção onde a IA desacelera as coisas ou deixa claro: ‘Não sou humano.’ A deteção é outra parte. A IA poderia sinalizar padrões que parecem espirais delirantes, como ciclos de conspiração ou fixações em ‘mensagens especiais.’”
O cofundador do Coral Protocol insistiu que também são necessárias regulamentações que governem a privacidade dos dados, argumentando que sem elas, "as empresas apenas vão atrás do engajamento, mesmo que isso prejudique as pessoas."
O Debate sobre IA Semelhante ao Humano
Até agora, parece haver dados limitados sobre "psicose de IA" para informar os formuladores de políticas e reguladores sobre como responder. No entanto, isso não impediu os desenvolvedores de IA de revelarem agentes de IA semelhantes a humanos e empáticos. Ao contrário dos chatbots básicos que seguem um roteiro rígido, esses agentes podem entender o contexto, reconhecer emoções e responder com um tom que parece empático. Isso levou alguns observadores a instar a indústria de IA a liderar a garantia de que modelos semelhantes a humanos não acabem por borrar a linha entre humano e máquina.
Michael Heinrich, CEO da 0G Labs, disse à Bitcoin.com News que, embora esses agentes sejam úteis em certos cenários e não devam ser rejeitados completamente, é imperativo que eles “permaneçam neutros e evitem mostrar muita emoção ou outros traços humanos.” Isso, ele argumentou, ajuda os usuários a entender que o agente de IA é “simplesmente uma ferramenta e não um substituto para a interação humana.”
Mariana Krym, uma arquiteta de produto e categoria de IA, disse que tornar o agente mais honesto e não mais humano é o que importa.
“Você pode criar uma experiência de IA que seja útil, intuitiva, até emocionalmente responsiva—sem fingir que é consciente ou capaz de cuidar,” argumentou Krym. “O perigo começa quando uma ferramenta é projetada para realizar conexão em vez de facilitar clareza.”
De acordo com Krym, a verdadeira empatia na IA não se trata de imitar sentimentos, mas de respeitar limites e limitações técnicas. Também envolve saber quando ajudar e quando não interferir. "Às vezes, a interação mais humana é saber quando ficar em silêncio", afirmou Krym.
Dever de Cuidado
Todos os especialistas entrevistados pela Bitcoin.com News concordaram sobre a necessidade de as empresas de tecnologia ajudarem indivíduos em risco, mas divergiram sobre a extensão em que devem fazer isso. Ledford acredita que "as grandes empresas de tecnologia têm um dever de cuidado" e pode provar isso fornecendo "redes de segurança—encaminhamentos para crises, avisos de uso e transparência—para que os usuários vulneráveis não fiquem sozinhos com suas ilusões."
Georgio ecoou esses sentimentos e instou as grandes empresas de tecnologia a trabalharem com os clínicos para criar caminhos de referência, em vez de deixar as pessoas sozinhas.
Krym insistiu que as empresas de tecnologia "têm uma responsabilidade direta—não apenas de responder quando algo corre mal, mas de projetar de maneiras que reduzam o risco desde o início." No entanto, ela acredita que a participação do usuário é crucial também.
“E, importante,” argumentou Krym, “os utilizadores devem ser convidados a definir os seus próprios limites também, e ser avisados quando esses limites são ultrapassados. Por exemplo, querem que o seu ponto de vista seja validado em relação a padrões típicos, ou estão abertos a ter o seu viés desafiado? Definam os objetivos. Tratam o humano como aquele que está no controle—não a ferramenta com a qual estão a interagir.”