Концепция психоза, связанного с ИИ, стала публично известна в середине 2025 года, подчеркивая проблемы психического здоровья, связанные с использованием ИИ. Хотя технологическим компаниям не обязательно контролировать использование ИИ, они все же могут внедрять меры предосторожности, чтобы предотвратить укрепление бредового мышления чат-ботами. Эксперты согласны с необходимостью, чтобы технологические компании поддерживали людей с высоким риском, хотя мнения различаются относительно степени этой ответственности.
Поведенческие тревожные сигналы
Первые задокументированные данные о «психозе ИИ» начали появляться на публике в середине 2025 года, и с тех пор было опубликовано несколько отчетов и исследований, касающихся проблем психического здоровья, связанных с использованием ИИ. Генеральный директор Microsoft AI Мустафа Сулейман даже назвал психоз ИИ «реальной и возникающей угрозой».
Считается, что это состояние возникает, когда граница между взаимодействиями человека и машины размывается, что затрудняет людям различение реального и цифрового миров. Хотя это еще не является официальным клиническим диагнозом, среди медицинских и технических специалистов растет беспокойство по поводу психологических последствий ИИ, особенно с чат-ботами, которые подтверждают и усиливают убеждения, включая бредовое мышление, не предлагая необходимых проверок реальности.
Наибольшему риску подвержены социально изолированные люди, те, кто имеет предшествующие проблемы с психическим здоровьем, или те, кто склонен к магическому мышлению. Подтверждение от ИИ может укрепить заблуждения, что приводит к негативным последствиям в реальном мире, таким как поврежденные отношения и потеря работы.
Некоторые эксперты предупреждают, что даже те, у кого нет предшествующих заболеваний, находятся под риском. Они назвали несколько ключевых поведенческих сигналов, на которые пользователи ИИ должны обращать внимание. Одним из таких сигналов является то, когда человек развивает навязчивые отношения с чат-ботом и постоянно взаимодействует с ним, чтобы укрепить свои идеи и убеждения.
Такое поведение часто включает в себя предоставление ИИ избыточной личной информации в попытке «обучить» его и создать чувство взаимопонимания. Другим тревожным сигналом является тот факт, что человек начинает передавать простые, повседневные решения ИИ, касающиеся здоровья и денег, а также личных отношений.
Корпоративная ответственность и меры предосторожности
Хотя они не обязаны контролировать, как используется ИИ, компании, стоящие за некоторыми мощными чат-ботами, могут внедрять меры предосторожности, которые предотвращают усиление бредового мышления у разговорных агентов. Мао Ледфорд, сооснователь и генеральный директор Sogni AI, обсуждал внедрение программного обеспечения, которое discourages такое мышление.
«Нам нужно создать ИИ, который будет добрым, но не будет сговариваться. Это означает четкие напоминания о том, что он не человек, отказ от валидации заблуждений и жесткие остановки, которые возвращают людей к человеческой поддержке», — утверждал Ледфорд.
Роман Дж. Джорджио, генеральный директор и соучредитель Coral Protocol, призвал разработчиков ИИ избегать повторения ошибок социальных сетей, включая встроенные точки трения, которые напоминают пользователям, что ИИ не является человеком.
“Я думаю, что всё начинается с дизайна. Не просто оптимизируйте для удержания и прилипания; это повторяет ошибку социальных медиа,” объяснил Георгио. “Создайте точки трения, где ИИ замедляет процессы или даёт понять: ‘Я не человек.’ Обнаружение — это другая часть. ИИ может выявлять паттерны, которые выглядят как делюзионные спирали, такие как теории заговора или фиксации на ‘особых сообщениях.’”
Соучредитель Coral Protocol настаивал на том, что также необходимы регуляции, касающиеся конфиденциальности данных, утверждая, что без них «компании просто будут стремиться к вовлеченности, даже если это причиняет вред людям.»
Дебаты о человекоподобном ИИ
На данный момент, похоже, существует ограниченное количество данных о «психозе ИИ», чтобы информировать политиков и регуляторов о том, как реагировать. Тем не менее, это не остановило разработчиков ИИ от представления человечных и эмпатических агентов ИИ. В отличие от базовых чат-ботов, которые следуют строгому сценарию, эти агенты могут понимать контекст, распознавать эмоции и реагировать с тоном, который кажется эмпатичным. Это побудило некоторых наблюдателей призвать индустрию ИИ взять на себя инициативу в обеспечении того, чтобы человечные модели не размывали границу между человеком и машиной.
Майкл Хайнрих, генеральный директор 0G Labs, сообщил Bitcoin.com News, что хотя эти агенты полезны в определенных ситуациях и их не следует полностью отвергать, крайне важно, чтобы они «оставались нейтральными и избегали проявления слишком сильных эмоций или других человеческих черт». Он утверждал, что это помогает пользователям понять, что AI-агент «просто инструмент и не замена человеческому взаимодействию.»
Мариана Крым, архитектор продуктов и категорий ИИ, сказала, что важно сделать агента более честным, а не более человечным.
“Вы можете создать AI-опыт, который полезен, интуитивно понятен и даже эмоционально отзывчив — не притворяясь при этом сознательным или способным заботиться,” утверждал Крым. “Опасность начинается, когда инструмент разрабатывается для выполнения связи вместо того, чтобы способствовать ясности.”
Согласно Крыму, настоящая эмпатия в ИИ заключается не в подражании чувствам, а в уважении границ и технических ограничений. Это также знание, когда помочь, а когда не вмешиваться. «Иногда самым гуманным взаимодействием является знание, когда молчать», — утверждал Крым.
Обязанность заботы
Все эксперты, опрошенные Bitcoin.com News, согласны с необходимостью того, чтобы технологические компании помогали находящимся в группе риска людям, но расходятся в мнениях о том, насколько они должны это делать. Ледфорд считает, что "Большие технологии имеют обязанность заботиться" и могут это доказать, предоставляя "защитные сети — кризисные рекомендации, предупреждения о использовании и прозрачность — чтобы уязвимые пользователи не оставались одни со своими заблуждениями."
Георгий поддержал эти чувства и призвал крупные технологические компании работать с клиницистами для создания путей направления, вместо того чтобы оставлять людей наедине с проблемами.
Крым настаивал на том, что технологические компании "несут прямую ответственность — не только за то, чтобы реагировать, когда что-то идет не так, но и за то, чтобы разрабатывать таким образом, чтобы изначально снижать риски." Однако она считает, что вовлеченность пользователей также имеет решающее значение.
«И важно,» утверждал Крым, «пользователи также должны быть приглашены установить свои собственные границы и получать уведомления, когда эти границы пересекаются. Например, хотят ли они, чтобы их точка зрения была проверена на соответствие типичным паттернам, или они открыты к тому, чтобы их предвзятость была оспорена? Установите цели. Рассматривайте человека как того, кто управляет, — а не инструмент, с которым он взаимодействует.»
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Психоз ИИ: Лидеры технологий призывают к мерам предосторожности, чтобы предотвратить легитимацию бреда чат-ботами
Концепция психоза, связанного с ИИ, стала публично известна в середине 2025 года, подчеркивая проблемы психического здоровья, связанные с использованием ИИ. Хотя технологическим компаниям не обязательно контролировать использование ИИ, они все же могут внедрять меры предосторожности, чтобы предотвратить укрепление бредового мышления чат-ботами. Эксперты согласны с необходимостью, чтобы технологические компании поддерживали людей с высоким риском, хотя мнения различаются относительно степени этой ответственности.
Поведенческие тревожные сигналы
Первые задокументированные данные о «психозе ИИ» начали появляться на публике в середине 2025 года, и с тех пор было опубликовано несколько отчетов и исследований, касающихся проблем психического здоровья, связанных с использованием ИИ. Генеральный директор Microsoft AI Мустафа Сулейман даже назвал психоз ИИ «реальной и возникающей угрозой».
Считается, что это состояние возникает, когда граница между взаимодействиями человека и машины размывается, что затрудняет людям различение реального и цифрового миров. Хотя это еще не является официальным клиническим диагнозом, среди медицинских и технических специалистов растет беспокойство по поводу психологических последствий ИИ, особенно с чат-ботами, которые подтверждают и усиливают убеждения, включая бредовое мышление, не предлагая необходимых проверок реальности.
Наибольшему риску подвержены социально изолированные люди, те, кто имеет предшествующие проблемы с психическим здоровьем, или те, кто склонен к магическому мышлению. Подтверждение от ИИ может укрепить заблуждения, что приводит к негативным последствиям в реальном мире, таким как поврежденные отношения и потеря работы.
Некоторые эксперты предупреждают, что даже те, у кого нет предшествующих заболеваний, находятся под риском. Они назвали несколько ключевых поведенческих сигналов, на которые пользователи ИИ должны обращать внимание. Одним из таких сигналов является то, когда человек развивает навязчивые отношения с чат-ботом и постоянно взаимодействует с ним, чтобы укрепить свои идеи и убеждения.
Такое поведение часто включает в себя предоставление ИИ избыточной личной информации в попытке «обучить» его и создать чувство взаимопонимания. Другим тревожным сигналом является тот факт, что человек начинает передавать простые, повседневные решения ИИ, касающиеся здоровья и денег, а также личных отношений.
Корпоративная ответственность и меры предосторожности
Хотя они не обязаны контролировать, как используется ИИ, компании, стоящие за некоторыми мощными чат-ботами, могут внедрять меры предосторожности, которые предотвращают усиление бредового мышления у разговорных агентов. Мао Ледфорд, сооснователь и генеральный директор Sogni AI, обсуждал внедрение программного обеспечения, которое discourages такое мышление.
«Нам нужно создать ИИ, который будет добрым, но не будет сговариваться. Это означает четкие напоминания о том, что он не человек, отказ от валидации заблуждений и жесткие остановки, которые возвращают людей к человеческой поддержке», — утверждал Ледфорд.
Роман Дж. Джорджио, генеральный директор и соучредитель Coral Protocol, призвал разработчиков ИИ избегать повторения ошибок социальных сетей, включая встроенные точки трения, которые напоминают пользователям, что ИИ не является человеком.
“Я думаю, что всё начинается с дизайна. Не просто оптимизируйте для удержания и прилипания; это повторяет ошибку социальных медиа,” объяснил Георгио. “Создайте точки трения, где ИИ замедляет процессы или даёт понять: ‘Я не человек.’ Обнаружение — это другая часть. ИИ может выявлять паттерны, которые выглядят как делюзионные спирали, такие как теории заговора или фиксации на ‘особых сообщениях.’”
Соучредитель Coral Protocol настаивал на том, что также необходимы регуляции, касающиеся конфиденциальности данных, утверждая, что без них «компании просто будут стремиться к вовлеченности, даже если это причиняет вред людям.»
Дебаты о человекоподобном ИИ
На данный момент, похоже, существует ограниченное количество данных о «психозе ИИ», чтобы информировать политиков и регуляторов о том, как реагировать. Тем не менее, это не остановило разработчиков ИИ от представления человечных и эмпатических агентов ИИ. В отличие от базовых чат-ботов, которые следуют строгому сценарию, эти агенты могут понимать контекст, распознавать эмоции и реагировать с тоном, который кажется эмпатичным. Это побудило некоторых наблюдателей призвать индустрию ИИ взять на себя инициативу в обеспечении того, чтобы человечные модели не размывали границу между человеком и машиной.
Майкл Хайнрих, генеральный директор 0G Labs, сообщил Bitcoin.com News, что хотя эти агенты полезны в определенных ситуациях и их не следует полностью отвергать, крайне важно, чтобы они «оставались нейтральными и избегали проявления слишком сильных эмоций или других человеческих черт». Он утверждал, что это помогает пользователям понять, что AI-агент «просто инструмент и не замена человеческому взаимодействию.»
Мариана Крым, архитектор продуктов и категорий ИИ, сказала, что важно сделать агента более честным, а не более человечным.
“Вы можете создать AI-опыт, который полезен, интуитивно понятен и даже эмоционально отзывчив — не притворяясь при этом сознательным или способным заботиться,” утверждал Крым. “Опасность начинается, когда инструмент разрабатывается для выполнения связи вместо того, чтобы способствовать ясности.”
Согласно Крыму, настоящая эмпатия в ИИ заключается не в подражании чувствам, а в уважении границ и технических ограничений. Это также знание, когда помочь, а когда не вмешиваться. «Иногда самым гуманным взаимодействием является знание, когда молчать», — утверждал Крым.
Обязанность заботы
Все эксперты, опрошенные Bitcoin.com News, согласны с необходимостью того, чтобы технологические компании помогали находящимся в группе риска людям, но расходятся в мнениях о том, насколько они должны это делать. Ледфорд считает, что "Большие технологии имеют обязанность заботиться" и могут это доказать, предоставляя "защитные сети — кризисные рекомендации, предупреждения о использовании и прозрачность — чтобы уязвимые пользователи не оставались одни со своими заблуждениями."
Георгий поддержал эти чувства и призвал крупные технологические компании работать с клиницистами для создания путей направления, вместо того чтобы оставлять людей наедине с проблемами.
Крым настаивал на том, что технологические компании "несут прямую ответственность — не только за то, чтобы реагировать, когда что-то идет не так, но и за то, чтобы разрабатывать таким образом, чтобы изначально снижать риски." Однако она считает, что вовлеченность пользователей также имеет решающее значение.
«И важно,» утверждал Крым, «пользователи также должны быть приглашены установить свои собственные границы и получать уведомления, когда эти границы пересекаются. Например, хотят ли они, чтобы их точка зрения была проверена на соответствие типичным паттернам, или они открыты к тому, чтобы их предвзятость была оспорена? Установите цели. Рассматривайте человека как того, кто управляет, — а не инструмент, с которым он взаимодействует.»