Keamanan berbasis identitas dan izin tidak lagi cukup untuk mengatur perilaku agen AI di lingkungan korporat. Menurut Heather Ceylan, Chief Information Security Officer (CISO) Box, kontrol tradisional hanya mengatur apa yang bisa diakses oleh sebuah agen, bukan bagaimana agen bertindak setelah diizinkan bekerja secara mandiri. Hal ini menciptakan celah keamanan yang bisa dieksploitasi dalam hitungan detik.
Agen AI yang beroperasi secara otonom dapat mengubah akses yang sah menjadi tindakan yang tidak disengaja dengan cepat. Diferensiasi antara akses dan eksekusi menjadi krusial karena agen tidak seperti manusia yang ragu-ragu atau lupa. Mereka akan menjelajahi seluruh izin yang dimiliki dan beroperasi pada skala yang jauh melebihi kemampuan manusia.
Latar belakang masalah ini muncul ketika perusahaan mulai memberikan izin luas kepada agen AI untuk mendukung berbagai alur kerja. Sebuah agen mungkin perlu mengakses lima puluh alat berbeda dan melakukan dua puluh aksi berbeda selama satu tugas. Memberikan semua akses sekaligus meningkatkan risiko kerusakan data jika satu langkah gagal.
Pendekatan yang lebih kuat melibatkan pemberian izin hanya saat dibutuhkan. Ceylan menjelaskan bahwa izin harus disesuaikan dengan tugas spesifik yang sedang dikerjakan agen. Jika sebuah langkah hanya membutuhkan dua alat, maka agen harus dicakup hanya untuk alat-alat tersebut. Pendekatan ini mengurangi jumlah cara agen bisa membuat kesalahan.
Keamanan yang efektif tidak lagi hanya bergantung pada apakah sebuah agen memiliki akses ke data tertentu, tetapi pada apakah agen seharusnya mengambil tindakan tertentu pada langkah tertentu. Ini adalah perbedaan antara akses tetap dan akses terbatas. Sebuah agen mungkin memiliki hak untuk mengakses folder keuangan, tetapi tidak boleh menulis empat ribu file ke lokasi baru.
Instruksi semata tidak dapat diandalkan untuk mengatur perilaku agen karena petunjuk bisa berubah, agen bisa menyerap instruksi yang disuntikkan, atau mereka bisa dikendalikan oleh file yang dibacanya. Kontrol yang tahan lama harus berada pada tingkat pemanggilan alat dan konten yang diproses oleh alat tersebut.
Platform konten lama tidak dirancang untuk agen AI. Sebagian besar data yang disentuh agen adalah konten tidak terstruktur seperti kontrak, kebijakan, dan catatan pelanggan. Sistem lama hanya menanyakan apakah seseorang memiliki izin dan menjawabnya dengan akses berbasis folder yang belum diaudit dalam bertahun-tahun.
Box kini mengklasifikasikan aksi menjadi tiga kategori: aksi yang sepenuhnya otonom, aksi yang diawasi, dan aksi berisiko tinggi yang membutuhkan persetujuan manusia. Aksi otonom dicadangkan untuk tindakan yang bisa dibalik, terbatas, tercatat, dan bebas dari masukan yang tidak tepercaya.
Untuk aksi berisiko tinggi seperti menghapus banyak file atau menghapus folder utama, persetujuan manusia selalu diperlukan. Setiap tim harus menyesuaikan batas antara ketiga lapisan ini dengan toleransi risiko mereka sendiri.
Dari perspektif Indonesia, adopsi agen AI di perusahaan masih relatif baru. Namun, dengan pertumbuhan penggunaan platform cloud dan layanan SaaS, risiko yang sama pun ada. Perusahaan Indonesia perlu mulai mempertimbangkan pendekatan serupa untuk mengamankan implementasi agen AI.
Langkah selanjutnya adalah mengintegrasikan kontrol ke dalam platform, bukan hanya ke dalam alur kerja. Dengan menempatkan kontrol pada platform, perusahaan dapat memastikan bahwa setiap aksi agen dilakukan sesuai batas yang ditetapkan, terlepas dari manipulasi input.
Tren ke depan menunjukkan bahwa keamanan agen AI akan menjadi prioritas utama. Teknologi ini akan semakin canggih, dan dengan demikian risikonya juga akan meningkat. Pendekatan yang proaktif dan berlapis akan menjadi standar baru dalam mengamankan implementasi kecerdasan buatan di lingkungan korporat.
Sumber: https://venturebeat.com/security/identity-and-permissions-arent-enough-to-govern-ai-agent-behavior