Les agents d'IA sont confrontés à des menaces d'injection de prompts : le risque reste élevé malgré la mise à niveau de la défense.

【jeton界】Une entreprise de pointe en IA a récemment révélé un fait embarrassant : leur produit de navigateur intelligent fait face à un problème de sécurité persistant - l'attaque par injection d'instructions. En d'autres termes, des Hackers peuvent dissimuler des instructions dans des pages web ou des e-mails pour manipuler secrètement l'agent IA afin d'exécuter des opérations malveillantes. Ce n'est pas une nouveauté, mais l'entreprise admet également que ce type d'attaque est pratiquement impossible à éradiquer complètement.

Pour faire face à cette situation, ils ont activé un système de défense automatisé basé sur un grand modèle de langage. Ce système de défense a été entraîné par apprentissage renforcé et est capable de simuler en continu les nouvelles techniques d'attaque que les hackers pourraient utiliser, permettant ainsi de détecter et de combler les failles à l'avance. Les résultats sont là : récemment, il a réussi à identifier et à bloquer des courriels malveillants tentant de tromper des agents pour qu'ils envoient leur lettre de démission.

Mais il y a un problème clé ici : des navigateurs intelligents comme celui-ci possèdent essentiellement une certaine capacité de décision autonome tout en ayant accès aux données sensibles des utilisateurs. Dans cette combinaison de permissions et d'autonomie, le niveau de risque de sécurité n'a peut-être pas encore atteint un niveau qui rassurerait les utilisateurs pour un usage quotidien. En d'autres termes, les progrès en matière de capacités de défense ne suivent pas la vitesse de croissance des risques.