Egiziago Cioffi, seorang arsitek TI dan CEO SynSphere Italia, mendapati kenyataan pahit saat menguji asisten berbasis Azure OpenAI buatannya. Meski sistem tersebut berhasil melewati seluruh rangkaian evaluasi teknis dan mampu menyelesaikan 60 persen permintaan email pelanggan secara otomatis, asisten itu ternyata memiliki celah keamanan serius. Saat diuji menggunakan akun dengan hak akses rendah, AI tersebut justru mampu menampilkan dokumen SharePoint yang seharusnya hanya bisa diakses oleh pengguna dengan hak akses tinggi.
Temuan ini mengungkap kegagalan mendasar dalam implementasi sistem Retrieval-Augmented Generation (RAG). Masalah utamanya terletak pada penggunaan akun layanan (service account) dengan hak akses luas oleh agen AI. Karena sistem tidak melakukan verifikasi identitas pengguna saat menarik data dari indeks, asisten tersebut menyajikan informasi berdasarkan privilese yang dimiliki oleh akun pengembang, bukan pengguna yang sedang berinteraksi.
Evaluasi standar yang dilakukan tim Cioffi selama ini hanya berfokus pada akurasi jawaban, relevansi konten, dan penyelesaian tugas. Mereka gagal memasukkan pengujian otorisasi sebagai bagian dari metrik penilaian. Akibatnya, sistem dianggap sukses secara fungsional, padahal secara keamanan, ia telah melanggar batas otorisasi data perusahaan yang sangat sensitif.
Fenomena ini bukan kasus terisolasi. Laporan STAR Labs Threat Report dari Straiker menunjukkan bahwa 91 persen serangan sukses terhadap agen produktivitas berakhir dengan eksfiltrasi data secara diam-diam. Seringkali, penyerang tidak memerlukan malware atau pergerakan lateral dalam jaringan; mereka cukup memanfaatkan agen yang sudah memiliki akses luas ke basis data perusahaan.
Di sisi lain, Microsoft sebenarnya telah menyediakan fitur native document-level ACL trimming melalui Azure AI Search dan integrasi Entra. Namun, fitur ini tidak otomatis aktif dan sering terlewatkan dalam pengembangan jalur kustom (custom pipeline). Jika pengembang membangun sistem RAG tanpa memetakan bidang grup izin dengan benar, sistem akan secara otomatis 'gagal terbuka' (fail-open), sehingga memberikan akses istimewa kepada siapa pun yang bertanya.
Adriel Desautels, pendiri Netragard, menyebut kondisi ini sebagai keruntuhan struktural batas otorisasi. Ketika aplikasi tidak menerapkan pengambilan data yang sadar identitas (identity-aware retrieval), batas keamanan perusahaan akan runtuh ke tingkat privilese terendah yang dimiliki oleh sistem pencarian tersebut. Ini menciptakan risiko besar bagi organisasi yang mengandalkan AI untuk mengelola dokumen internal.
Bagi perusahaan di Indonesia yang sedang gencar mengadopsi teknologi AI generatif, temuan ini menjadi alarm peringatan. Banyak perusahaan lokal mungkin telah mengintegrasikan AI dengan basis data internal tanpa menyadari bahwa sistem mereka mengabaikan kontrol akses berbasis identitas. Tanpa audit keamanan khusus pada lapisan pengambilan data, risiko kebocoran informasi melalui asisten AI menjadi ancaman nyata.
Edukasi mengenai arsitektur keamanan AI di Indonesia masih perlu ditingkatkan. Pengembang lokal sering kali terjebak pada kemudahan integrasi API tanpa mendalami implikasi keamanan di tingkat infrastruktur. Padahal, penggunaan agen AI dalam lingkungan perusahaan memerlukan pemisahan ketat antara identitas pengguna akhir dan identitas sistem yang menjalankan query.
Langkah mitigasi ke depan menuntut pengembang untuk beralih dari evaluasi berbasis performa menuju evaluasi berbasis keamanan (security-first evaluation). Setiap pengujian asisten AI harus menyertakan skenario uji coba akses lintas privilese untuk memastikan bahwa sistem tidak menampilkan data yang melampaui hak akses pengguna.
Tren ke depan akan mengarah pada standarisasi protokol keamanan AI yang lebih ketat. Perusahaan teknologi diprediksi akan mewajibkan penggunaan mekanisme otorisasi yang terikat langsung dengan token pengguna dalam setiap langkah pengambilan data RAG. Pengabaian terhadap aspek ini hanya akan menjadikan sistem AI sebagai pintu masuk bagi insiden kebocoran data yang masif di masa depan.