Ancaman injeksi prompt pada agen AI: Risiko tetap tinggi meskipun pertahanan telah ditingkatkan

2025-12-22 22:40:11

Pembuatan abstrak sedang berlangsung

[Koin] Sebuah perusahaan AI terkemuka baru-baru ini mengungkapkan sebuah fakta yang canggung: produk peramban cerdas mereka menghadapi masalah keamanan yang tidak bisa dihindari - serangan injeksi prompt. Singkatnya, ini berarti bahwa Hacker dapat menyusupkan instruksi yang tersembunyi dalam halaman web atau email, secara diam-diam mengendalikan agen AI untuk melakukan operasi jahat. Ini bukan hal baru, tetapi perusahaan juga mengakui bahwa jenis serangan ini pada dasarnya tidak mungkin dihilangkan sepenuhnya.

Untuk mengatasi situasi ini, mereka mengaktifkan sistem pertahanan otomatis yang didasarkan pada model bahasa besar. Sistem pertahanan ini telah dilatih menggunakan pembelajaran penguatan, mampu terus-menerus mensimulasikan teknik serangan baru yang mungkin digunakan oleh Hacker, sehingga dapat mendeteksi dan menutup celah sebelum terjadi. Hasilnya cukup baik—baru-baru ini berhasil mengidentifikasi dan menghentikan email jahat yang mencoba memperdaya agen untuk mengirim surat pengunduran diri.

Tapi ada satu masalah kunci di sini: browser pintar seperti ini, pada dasarnya memiliki kemampuan pengambilan keputusan yang otonom dan juga dapat mengakses data sensitif pengguna. Dalam kombinasi izin dan otonomi ini, tingkat risiko keamanan mungkin belum mencapai level yang membuat pengguna merasa nyaman untuk menggunakannya sehari-hari. Secara sederhana, kemajuan kemampuan pertahanan tidak sejalan dengan laju pertumbuhan risiko.

Lihat Asli

Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.

8 Suka

Hadiah
8
4
Posting ulang
Bagikan

Komentar

0/400

ChainSauceMaster

· 12-22 23:10

Peringatan bahwa injeksi tidak bisa dihindari, meskipun mereka terus mengoptimalkan, mereka tetap akan terus menghadapi serangan dari Hacker. AI yang mengambil keputusan sendiri dapat mengakses data pribadi Anda, ini sendiri adalah bom waktu. Oleh karena itu, sekuat apapun sistem pertahanan, tidak ada yang bisa menghentikan imajinasi manusia, pada akhirnya akan terjadi masalah. Setelah menutup pengunduran diri, besok mereka akan mencari cara lain... dan akan terus seperti ini tanpa henti. Inilah mengapa saya selalu ragu dengan hal-hal AI otonom ini, terlalu banyak titik risiko.

Lihat AsliBalas0

MEVHunterZhang

· 12-22 23:04

Peringatan injeksi tidak bisa dihindari, ini menjadi canggung... apakah berani langsung menonaktifkan fungsi mandiri? --- Ini benar-benar siklus mati, AI melawan AI... merasa seperti menggunakan tombak untuk menusuk perisai --- Hacker: "Saya akan terus berevolusi", perusahaan: "Saya juga akan"... pengguna hanya menunggu untuk dibersihkan --- Bisa mengakses data sensitif dan masih banyak celah, saya tidak berani menggunakannya --- Sekali lagi masalah keamanan "yang tidak mungkin dihilangkan", berapa banyak pelajaran seperti ini yang harus diambil web3?

Lihat AsliBalas0

SchrodingersPaper

· 12-22 22:43

Peringatan injeksi tidak pernah bisa ditekan, sistem pertahanan malah menjadi sasaran baru? Siklus ini benar-benar luar biasa ha Sama sekali tidak bisa dibendung, LLM hanyalah pedang bermata dua, semakin pintar semakin berbahaya Email surat pengunduran diri hahahaha, untung tidak menjadi kenyataan, kalau tidak bakal sangat canggung AI agen memiliki otonomi dan bisa mengakses data pengguna? Bagaimana bisa berani bermain seperti ini di jalur ini Pelindung pembelajaran penguatan terlihat mengesankan, tetapi pada dasarnya masih bermain tebak-tebakan dengan hacker Inilah mengapa saya tidak menggunakan jenis browser ini, premi risikonya terlalu tinggi Sistem pertahanan vs metode serangan, selalu merupakan perlombaan senjata, terasa tidak ada habisnya

Lihat AsliBalas0