AI-агенти стикаються з загрозою ін'єкції підказок: навіть після покращення захисту ризики залишаються високими

2025-12-22 22:40:11

Генерація анотацій у процесі

【монета】Деяка провідна AI-компанія нещодавно розкрила незручний факт: їхній продукт інтелектуального браузера стикається з невід'ємною проблемою безпеки — атакою через введення підказок. Іншими словами, хакери можуть через команди, сховані на веб-сторінках або в електронних листах, таємно маніпулювати AI-агентом, виконуючи шкідливі дії. Це не новина, але компанія також визнала, що такі атаки практично неможливо повністю викорінити.

Щоб впоратися з цією ситуацією, вони активували автоматизовану систему захисту на основі великих мовних моделей. Ця система захисту була навчена за допомогою посиленого навчання і здатна постійно імітувати нові види атак, які можуть використовувати хакери, щоб заздалегідь виявляти та закривати вразливості. Результати все ж є — нещодавно вона успішно виявила та зупинила зловмисні електронні листи, які намагалися обманом змусити агентів надіслати заяви про звільнення.

Але тут є ключове питання: такі розумні браузери за своєю суттю мають певну автономну здатність до прийняття рішень і можуть отримувати доступ до чутливих даних користувачів. У такій комбінації дозволів і автономності рівень ризиків безпеки, можливо, ще не досяг того, щоб користувачі могли з упевненістю використовувати його в повсякденному житті. Простими словами, прогрес у захисті не встигає за швидкістю зростання ризиків.

Переглянути оригінал

Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.

8 лайків

Нагородити
8
4
Репост
Поділіться

Прокоментувати

0/400

ChainSauceMaster

· 12-22 23:10

Тільки подивіться, не можна захистити від ін'єкцій, навіть якщо вони якось оптимізують, все одно доведеться зазнати ударів від хакерів. AI-агенти, які приймають рішення самостійно, можуть отримати доступ до ваших приватних даних, це сама справжня бомба сповільненої дії. Тому, як би потужні були системи захисту, вони не можуть захистити від людської уяви, рано чи пізно щось трапиться. Заблокували звільнення, завтра з'явиться інший трюк... так і буде безкінечно. Ось чому я завжди не дуже вірю в ці автономні AI-рішення, занадто багато ризиків.

Переглянути оригіналвідповісти на0

MEVHunterZhang

· 12-22 23:04

Підказка, що ін'єкцію не зупинити, це вже незручно... Чи не можна просто відключити автономні функції? --- Це ж справжнє замкнуте коло, ШІ проти ШІ... відчувається, що використовують спис проти щита --- Хакер: "Я буду еволюціонувати", компанія: "Я також"... користувачі просто чекають, поки їх прибере --- Якщо є доступ до чутливих даних і стільки вразливостей, я б не ризикував їх використовувати --- Ще одна "неможлива для ліквідації" проблема безпеки, скільки таких уроків Web3 ще має пройти?

Переглянути оригіналвідповісти на0

SchrodingersPaper

· 12-22 22:43

Підказка: ін'єкцію ніколи не вдасться зупинити, а система захисту сама стає новою мішенню? Цей цикл справді вражає, га Зовсім не можливо захиститися, LLM — це двосічний меч, чим розумніший, тим небезпечніший Лист з відставкою, ха-ха-ха, на щастя, не став реальністю, інакше було б дуже незручно AI-агент має автономію і може отримувати дані користувачів? Як ця сфера може так грати? Захист на основі підкріпленого навчання виглядає вражаюче, але по суті це все ще гра в загадки з хакерами Ось чому я не ставлю такі браузери, ризик занадто великий Система захисту проти методів атаки — це завжди гонка озброєнь, відчуття безкінечності.

Переглянути оригіналвідповісти на0