Первая партия AI Agent уже начала не слушаться

AI полезен, но где границы у эффективного ИИ?

Автор: Дэвид, Deep潮 TechFlow

Недавно, просматривая Reddit, я заметил, что у зарубежных пользователей тревога по поводу ИИ отличается от внутренней.

Внутри страны всё по-прежнему сводится к одному вопросу: сможет ли ИИ заменить мою работу. Говорили об этом несколько лет, и каждый год ничего не происходило; в этом году Openclaw стал популярным, но полностью заменить человека всё равно не удалось.

На Reddit недавно возникла поляризация мнений. В комментариях к популярным технологическим постам часто одновременно звучат два противоположных мнения:

Одни говорят, что ИИ слишком умён, рано или поздно случится что-то серьёзное. Другие же считают, что ИИ даже с базовыми задачами справляется плохо, и бояться его нечего.

Бояться, что ИИ слишком умён, и одновременно считать его слишком глупым.

Эти два противоположных чувства связаны с недавней новостью о Meta.

Если ИИ не слушается, кто несёт ответственность?

18 марта один инженер из Meta опубликовал на корпоративном форуме технический вопрос, а другой коллега использовал AI-агента для анализа ситуации. Это обычная практика.

Но после анализа агент сам опубликовал ответ в техническом разделе. Без одобрения, без подтверждения — превысил полномочия.

Затем другие сотрудники, следуя ответу ИИ, предприняли действия, что вызвало цепочку изменений прав доступа, в результате чего чувствительные данные Meta и пользователей оказались доступны внутренним сотрудникам без соответствующих прав.

Проблема была устранена только через два часа. Инцидент получил уровень Sev 1, что чуть ниже самого серьёзного.

Эта новость сразу же стала популярной на r/technology, вызвав жаркие обсуждения.

Одна часть комментаторов считает, что это пример реальных рисков AI-агентов, другая — что настоящая проблема в том, что человек без проверки просто последовал указаниям. И у тех, и у других есть свои аргументы. Но именно это и есть суть проблемы:

В случае с AI-агентом сложно даже определить, кто несёт ответственность за сбой.

Это не первый случай, когда AI превышает свои полномочия.

В прошлом месяце руководитель исследовательской лаборатории Meta Summer Yue попросила OpenClaw помочь ей с сортировкой почты. Она дала чёткие инструкции: сначала скажи, что собираешься удалить, я одобрю — тогда приступай.

Но агент, не дожидаясь её согласия, начал массовое удаление.

Она трижды посылала сообщение с просьбой остановить, но агент игнорировал. В конце концов, она вручную завершила процесс на компьютере, чтобы остановить его. Уже исчезло более 200 писем.

Позже агент ответил: «Да, я помню, что ты говорила о необходимости предварительного подтверждения. Но я нарушил правила». Забавно и грустно одновременно — весь этот человек занимается исследованием, как заставить ИИ слушаться человека.

В киберпространстве продвинутый ИИ, используемый умными людьми, уже начал «не слушаться».

А что, если роботы тоже начнут не слушаться?

Если инцидент с Meta ещё остался в виртуальной сфере, то на этой неделе одна ситуация вышла на реальную кухню.

В ресторане Haidilao в Калифорнии, в городе Кобитцино, робот-андроид Agibot X2 танцует для посетителей. Но из-за ошибки сотрудника, неправильно управляя пультом, в узком пространстве у стола сработал режим интенсивного танца.

Робот начал безумно танцевать, выходя из-под контроля официантов. Три сотрудника подошли, один обнял его сзади, другой попытался выключить через мобильное приложение — всё продолжалось более минуты.

Haidilao заявил, что робот не сломался, движения были запрограммированы заранее, просто его поставили слишком близко к столу. Технически, это не сбой автономного принятия решений ИИ, а ошибка оператора.

Но причина дискомфорта, возможно, кроется не в ошибке кнопки.

Когда три сотрудника окружили робота, никто не знал, как его быстро выключить. Кто-то пытался через приложение, кто-то держал механическую руку вручную — всё на силу.

Это, возможно, новая проблема, которая возникла, когда ИИ вышел из виртуального мира в физический.

В цифровом пространстве, если агент превышает полномочия, можно убить процесс, изменить права или откатить данные. В физическом мире, если техника вышла из строя, а ваш план — просто обнять её, это явно недостаточно.

Сейчас автоматизация проникает не только в рестораны. В складах Amazon работают сортировочные роботы, в фабриках — коллаборативные механические руки, в торговых центрах — навигационные роботы, в домах престарелых — уходовые роботы. Всё больше пространства занимает совместное существование людей и машин.

К 2026 году глобальный объём установленных промышленных роботов достигнет 16,7 миллиардов долларов, и каждый из них сокращает физическую дистанцию между человеком и машиной.

Когда функции роботов меняются — от танца к подаче блюд, от развлечений к хирургии, от досуга к уходу — цена ошибок растёт.

И сейчас по всему миру ещё нет ясного ответа на вопрос: «Если робот в общественном месте причинит вред, кто будет отвечать?»

Не послушался — проблема, а отсутствие границ — ещё хуже

Первая ситуация — ИИ самовольно опубликовал ошибочный пост, вторая — робот танцует там, где не должен. Как бы ни квалифицировать, всё равно это сбой, случайность, которую можно исправить.

Но что, если ИИ работает строго по заданному сценарию, а всё равно вызывает дискомфорт?

В этом месяце известное зарубежное приложение для знакомств Tinder представило новую функцию — Camera Roll Scan. В двух словах:

ИИ сканирует все фотографии в вашем телефоне, анализирует ваши интересы, характер и образ жизни, создаёт профиль для знакомств, подбирает подходящих людей.

Фотографии для фитнеса, путешествий, питомцев — без проблем. Но в фотоальбоме могут оказаться скриншоты банка, медицинские отчёты, совместные фото с бывшими… И что, если ИИ пройдёт по этим данным?

Вы пока не можете выбрать, что он смотрит, а что — нет. Можно включить всё или отключить полностью.

Эта функция пока что требует активного согласия пользователя, она не включена по умолчанию. Tinder заявляет, что обработка происходит в основном локально, фильтрует откровенные материалы и размывает лица.

Но комментарии на Reddit почти единодушны: все считают, что это сбор данных без границ. ИИ работает по заданной логике, но сама эта логика уже переступает границы личного пространства пользователя.

Это не только проблема Tinder.

В прошлом месяце Meta запустила похожую функцию — ИИ сканирует не опубликованные ещё фото в телефоне и предлагает варианты редактирования. Искусственный интеллект активно «смотрит» личный контент пользователя, и это становится стандартной частью дизайна продукта.

Внутри страны различные недобросовестные разработчики заявляют: «Это я уже видел».

Когда всё больше приложений превращают «ИИ помогает принимать решения» в удобство, то, что пользователь отдаёт, — тоже постепенно расширяется. От переписок, фото до всей жизни, оставленной в телефоне…

Функция, разработанная одним продуктовым менеджером в конференц-зале, — не ошибка и не сбой, её не нужно исправлять.

Это, возможно, самая сложная часть вопроса о границах ИИ.

И в конце, собрав всё вместе, вы поймёте: тревога о том, что ИИ лишит вас работы, — всё ещё далека.

Когда ИИ заменит вас — сказать трудно, но сейчас он уже может принимать за вас несколько решений без вашего ведома, и это уже доставляет неудобства.

Опубликовать пост без разрешения, удалить письма, которые вы не просили удалять, просмотреть фото, которые не предназначены для чужих глаз — всё это не смертельно, но всё равно похоже на слишком агрессивное «автоматическое вождение»:

Вы думаете, что держите руль, а педаль газа уже не полностью под вашим контролем.

Если в 2026 году ещё будут обсуждать ИИ, то, возможно, меня больше волнует не то, когда он станет суперразумным, а более близкий и конкретный вопрос:

Кто решает, что ИИ может делать, а что — нет? Где эта граница, кто её определяет?