Искусственный интеллект сталкивается с угрозой инъекции подсказок: риск остается высоким даже после обновления защиты

【токен界】Некоторая ведущая AI-компания недавно раскрыла неудобный факт: их продукт - интеллектуальный браузер - сталкивается с неотъемлемой проблемой безопасности - атакой через инъекцию подсказок. Проще говоря, это означает, что Хакеры могут скрытно манипулировать AI-агентом для выполнения вредоносных действий через команды, спрятанные на веб-страницах или в электронных письмах. Это не новость, но компания также признала, что такие атаки в принципе невозможно полностью искоренить.

Чтобы справиться с этой проблемой, они активировали автоматизированную защитную систему, основанную на крупных языковых моделях. Эта система защиты была обучена с помощью обучения с подкреплением и может постоянно моделировать новые типы атак, которые могут использовать хакеры, что позволяет заранее выявлять и устранять уязвимости. Результаты все же есть — недавно была успешно идентифицирована и остановлена вредоносная рассылка писем, пытающихся обманом заставить агентов отправить письма с увольнением.

Но здесь есть ключевая проблема: такие умные браузеры по своей сути обладают определенной способностью к самостоятельному принятию решений и могут получать доступ к чувствительным данным пользователей. В условиях такого сочетания прав и автономии уровень рисков безопасности может еще не достигнуть уровня, который бы успокаивал пользователей для повседневного использования. Проще говоря, прогресс в защитных способностях не успевает за ростом рисков.