Cisco baru saja membongkar kelemahan besar dalam pengujian keamanan AI yang selama ini menjadi standar industri. Lewat riset yang dipresentasikan di ajang VB Transform 2026, perusahaan keamanan itu menemukan bahwa serangan multi-turn berhasil menembus model AI terkemuka hingga 88,3% dari total percobaan.
Riset yang digawangi Amy Chang, kepala intelijen ancaman AI Cisco, menguji 15 model flagship dari OpenAI, Anthropic, Google, dan xAI dengan 6.986 serangan multi-turn. Hasilnya kontras dengan uji single-turn yang selama ini diandalkan. Chang menyebut metode satu putaran hanya menggunakan satu prompt jahat, padahal interaksi nyata dengan agen AI bersifat percakapan berkelanjutan.
Celakanya, peringkat kerentanan antar model pun berubah total saat diuji multi-turn dibanding single-turn. Artinya, model yang dianggap aman dalam tes singkat bisa sangat rapuh dalam percakapan panjang. Temuan ini menjadi alarm bagi perusahaan yang sudah atau berencana mengadopsi agen AI.
Survei Pulse VentureBeat terhadap 107 responden memperkuat urgensi ini. Lebih dari setengahnya, 54%, mengaku pernah mengalami insiden keamanan agen, baik yang berhasil dicegah maupun yang sempat menimbulkan kerugian. Namun, hanya 32% yang memberikan identitas terkelola khusus untuk setiap agen, dan hanya 30% yang mengisolasi agen berisiko tinggi di sandbox.
Respon industri pun sudah terlihat. Palo Alto Networks menuntaskan akuisisi CyberArk senilai US$25 miliar, CrowdStrike membeli SGNL US$740 juta, dan Cisco mengakuisisi Astrix Security sekitar US$400 juta. Semua pergerakan ini berfokus pada identitas dan isolasi agen, lapisan yang masih belum jadi prioritas mayoritas perusahaan.
Bagi Indonesia, temuan ini harus menjadi bahan introspeksi. Adopsi AI di dalam negeri terus melesat, terutama di sektor fintech, e-commerce, dan layanan publik. Namun, kesadaran akan keamanan AI masih tertinggal. Banyak perusahaan lokal yang belum memiliki program red-teaming berkelanjutan, apalagi yang mensimulasikan serangan multi-turn.
Padahal, model AI yang digunakan di Indonesia pada dasarnya sama dengan yang diuji Cisco. Adaptasi lokal tidak mengubah arsitektur dasar kerentanan. Jika model global saja rentan, produk-produk buatan startup dan perusahaan Indonesia pun menghadapi risiko serupa.
Heather Ceylan, CISO Box, menekankan pentingnya pengujian realistis. "Anda harus menguji tekanan pada agen Anda karena jika tidak, Anda tidak akan tahu apakah kontrol eksekusi berjalan seperti yang Anda inginkan," ujarnya di panel yang sama. Box sendiri mensimulasikan musuh multi-turn dengan agen yang bisa berpikir seperti peretas dan mengulang upaya hingga berhasil.
Ceylan juga membahas soal kepercayaan terhadap agen. Setahun lalu Box menyebarkan agen di pusat operasi keamanan dengan persetujuan manusia untuk setiap tindakan. Kepercayaan tim analis tumbuh pesat hingga mereka beralih ke mode monitoring. Namun satu kesalahan saja sudah cukup menghancurkan semuanya. "Mereka harus mulai dari awal lagi," katanya.
Pendekatan Box menggunakan tiga lapisan: permissioning yang membatasi akses agen sesuai hak pengguna, sandbox ephemeral yang membatasi dampak jika agen dibajak, dan kontrol runtime yang membatasi panggilan tool hanya sesuai tugas. Untuk tindakan tidak sensitif tidak perlu persetujuan manusia, tapi tetap dipantau.
Ke depan, Chang menawarkan framework Integrated AI Security and Safety milik Cisco sebagai panduan. Framework ini mencakup seluruh siklus hidup AI dan mendorong tim keamanan bekerja mundur dari insiden nyata untuk membangun strategi mitigasi yang tepat.
Tren keamanan agen AI akan bergerak ke arah identitas terkelola dan isolasi ketat. Perusahaan di Indonesia perlu segera berbenah, tidak bisa hanya mengandalkan kontrol bawaan dari penyedia cloud. Regulasi seperti UU PDP bisa menjadi fondasi, tapi standar keamanan khusus AI harus segera dirumuskan agar adopsi AI tidak berjalan tanpa pagar.