La inteligencia artificial se enfrenta a amenazas de inyección de indicaciones: el riesgo sigue siendo alto a pesar de la actualización de las defensas.

【moneda】Una empresa líder en IA ha revelado un hecho embarazoso recientemente: su producto de navegador inteligente enfrenta un problema de seguridad persistente: los ataques de inyección de mensajes. En palabras simples, los hackers pueden manipular en secreto al agente de IA para ejecutar operaciones maliciosas a través de instrucciones ocultas en páginas web o correos electrónicos. No es nada nuevo, pero la empresa también admite que este tipo de ataques es prácticamente imposible de erradicar por completo.

Para hacer frente a esta situación, habilitaron un sistema de defensa automatizado basado en modelos de lenguaje grandes. Este sistema de defensa ha sido entrenado mediante aprendizaje reforzado y puede simular continuamente las nuevas técnicas de ataque que los hackers podrían utilizar, lo que permite detectar y bloquear vulnerabilidades de antemano. Los resultados han sido positivos: recientemente se identificaron y bloquearon con éxito correos electrónicos maliciosos que intentaban engañar a los agentes para que enviaran cartas de renuncia.

Pero aquí hay un problema clave: navegadores inteligentes como este, en esencia, tienen cierta capacidad de toma de decisiones autónomas y pueden acceder a los datos sensibles de los usuarios. Con esta combinación de permisos y autonomía, el nivel de riesgo de seguridad puede no haber alcanzado un nivel que permita a los usuarios sentirse seguros en su uso diario. En términos simples, el avance en la capacidad de defensa no sigue el ritmo del crecimiento del riesgo.