Penggunaan agen AI dalam lingkungan perusahaan kini menghadapi tantangan baru yang lebih krusial daripada sekadar kesalahan informasi atau halusinasi. Masalah utamanya terletak pada ketidakmampuan sistem dalam membedakan antara kemampuan teknis dengan wewenang bisnis yang sebenarnya diberikan kepada agen tersebut. Sebuah agen AI mungkin menjalankan instruksi dengan sempurna secara teknis, namun secara operasional justru melanggar protokol kebijakan perusahaan yang tidak pernah diizinkan sebelumnya.
Fenomena ini sering ditemukan dalam alur kerja komersial. Sebagai contoh, agen layanan pelanggan mungkin mampu menghitung nominal pengembalian dana dengan akurat, namun gagal menerapkan batasan nilai yang disetujui perusahaan untuk transaksi otonom. Begitu pula pada agen pengadaan yang secara otomatis memilih pemasok termurah tanpa mempertimbangkan batasan hukum atau syarat kontrak yang seharusnya memerlukan keputusan manusia. Masalah ini sering kali baru terdeteksi setelah terjadi kerusakan sistem atau kerugian finansial yang signifikan.
Kesenjangan tata kelola ini semakin nyata seiring dengan transisi perusahaan dari penggunaan kopilot yang bersifat memberikan saran, menuju agen otonom yang mampu menjalankan alat dan memicu alur kerja secara mandiri. Survei Cloud Security Alliance pada April 2026 menunjukkan bahwa 65 persen responden pernah mengalami insiden terkait agen AI dalam satu tahun terakhir. Ironisnya, 82 persen di antaranya menemukan keberadaan agen yang beroperasi di lingkungan sistem mereka tanpa sepengetahuan tim keamanan.
Data tersebut menegaskan bahwa kecepatan adopsi agen AI telah melampaui struktur visibilitas dan kepemilikan yang selama ini diterapkan pada perangkat lunak konvensional. Guardrail atau filter konten yang ada saat ini memang mampu memblokir output berbahaya, namun tidak dirancang untuk menjawab apakah agen tersebut memiliki hak untuk mengeksekusi sebuah transaksi atau mengubah data sistem produksi. Kontrol keamanan dan hak pengambilan keputusan adalah dua hal yang sangat berbeda.
Untuk mengatasi hal ini, perusahaan mulai mengadopsi model Agent Authority Contract. Konsep ini menuntut adanya catatan yang dapat ditegakkan secara sistematis mengenai batasan wewenang yang didelegasikan kepada setiap agen. Kontrak ini setidaknya harus menjawab tujuh poin krusial: siapa pemilik hasil kerja, apa saja tindakan yang boleh dilakukan, sistem apa yang bisa diakses, batasan nilai nominal, pemicu eskalasi, prosedur pembalikan aksi, dan masa berlaku wewenang tersebut.
Model pengambilan keputusan yang efektif harus memetakan setiap aksi agen ke dalam empat kategori hasil: Allow, Approve, Recommend, dan Deny. Pada kategori Allow, agen diizinkan bertindak otonom untuk tugas berisiko rendah yang dapat dibatalkan. Kategori Approve mengharuskan otorisasi manusia untuk transaksi material seperti pembayaran. Kategori Recommend mewajibkan keputusan akhir dari manusia untuk hal-hal yang bersifat kontekstual atau legal, sementara kategori Deny harus diterapkan secara ketat di luar prompt sistem untuk memblokir tindakan berbahaya secara permanen.
Di Indonesia, adopsi AI di sektor perbankan dan e-commerce tengah berkembang pesat. Namun, banyak perusahaan lokal masih terpaku pada aspek teknis keamanan data tanpa menyertakan kerangka kerja delegasi wewenang yang matang. Kasus kesalahan agen AI di luar negeri menjadi pengingat keras bahwa tanpa batasan wewenang yang jelas, otomatisasi yang canggih justru menjadi aset yang berisiko tinggi bagi stabilitas operasional.
Langkah selanjutnya bagi perusahaan di Indonesia adalah memisahkan antara kontrol akses dengan model otoritas. Akses kontrol hanya menentukan apakah agen dapat menjangkau sebuah sistem, sementara kontrak otoritas menentukan apakah agen tersebut berhak melakukan tindakan spesifik dalam konteks yang sedang berjalan. Implementasi runtime policy layer menjadi kunci, di mana setiap proposal tindakan dari agen dievaluasi berdasarkan konteks transaksi terkini sebelum akhirnya dieksekusi.
Sistem harus mampu melakukan evaluasi dinamis. Sebuah kredit layanan kecil mungkin diizinkan dalam kondisi normal, namun harus memerlukan persetujuan manusia jika jumlahnya melampaui ambang batas tertentu atau jika akun pelanggan sedang dalam status investigasi. Telemetri operasional akan terus memperluas, mempersempit, atau mencabut wewenang agen seiring dengan perubahan perilaku dan kebutuhan bisnis yang dinamis.
Ke depan, tren tata kelola AI akan bergeser dari sekadar proteksi konten menuju akuntabilitas tindakan. Standar seperti Agent Capability and Authorization Profile dari World Economic Forum akan menjadi rujukan utama bagi perusahaan global maupun lokal untuk memastikan bahwa setiap tindakan yang didelegasikan kepada AI dapat diaudit, ditegakkan, dan dipertanggungjawabkan di hadapan hukum dan regulasi bisnis yang berlaku.