Di tengah pelarian perusahaan ke arah kecerdasan buatan yang semakin canggih, ancaman sebenarnya tidak datang dari kemampuan otonom suatu agen tunggal. Justru, kompleksitas yang timbul dari interaksi antar-agen inilah yang menjadi beban tersembunyi bagi transformasi digital perusahaan.
Enterprise tidak lagi menerapkan satu agen AI dan meninggalkannya berjalan sendiri. Mereka menggunakan armada — lusinan hingga ratusan agen — yang saling terhubung melalui API, memicu aksi lain, dan mengakses aplikasi yang dulu tidak dirancang untuk keputusan mesin. Setiap koneksi baru menciptakan jalur yang tidak terduga, dan seiring waktu, sistem ini menjadi begitu rumit hingga tak seorang pun mampu memahami alur lengkapnya.
Mengapa hal ini terjadi? Karena ketika seseorang menambahkan agen kedua, ia tidak hanya menambah satu koneksi. Ia membuka kemungkinan bahwa agen pertama kini dapat memanggil agen kedua, yang kemudian memicu tindakan lain, dan seterusnya. Jumlah path yang mungkin tumbuh secara eksponensial. Namun, tidak ada proses yang bertanggung jawab untuk memetakan seluruh jaringan ini.
Akibatnya? TICKET dukungan yang dulu menyentuh satu sistem kini bisa melewati empat agen sebelum sampai ke manusia. Setiap titik transisi adalah keputusan yang tidak pernah disetujui oleh siapa pun. Tim keamanan pun kesulitan menjawab pertanyaan sederhana seperti: "Agen mana saja yang bisa mengakses sistem tertentu?" atau "Agen mana yang memicu aksi tertentu tiga langkah sebelumnya?"
Banyak program AI enterprise terhenti di ambang pintu karena manusia yang bertanggung jawab kehilangan kendali. Mereka mencoba mengatasi masalah ini dengan pendekatan checklist: setujui agen, log agen, lanjutkan. Namun, pendekatan semacam ini gagal karena kompleksitas bukanlah titik tunggal — ia adalah rantai panjang dari interaksi yang saling bergantikan.
Salah satu titik lemah utama adalah "creep izin". Seorang pengembang mungkin membuat agen untuk meringkas tiket dukungan, lalu memberikannya akses API yang luas karena scoping yang tepat membutuhkan waktu tambahan. Enam bulan kemudian, agen yang sama justru memiliki jalur ke sistem pembayaran. Tak ada yang ingat menyetujui hal itu — karena memang tidak ada yang menyetujui secara eksplisit.
Kepemilikan pun menjadi kabur seiring rantai aksi memanjang. Jika lima agen terlibat dalam satu alur kerja dan sesuatu rusak pada langkah keempat, siapa yang harus dituntut? Organisasi seringkali hanya mengatur hingga tahap "deploy agen", tanpa menentukan siapa yang bertanggung jawab secara pribadi atas setiap komponen.
Ini adalah cerita tentang infrastruktur tata kelola yang belum siap menghadapi realitas perilaku agen: saling terhubung, saling memicu, dan berkembang lebih cepat dari kemampuan proses untuk melacaknya.
Solusi pertama adalah identitas. Setiap agen harus menjadi entitas tunggal, bukan sekadar izin yang disewa dari pihak yang mendeploy-nya. Ia perlu memiliki nama, otoritas yang terukur, dan sponsor manusia yang bertanggung jawab atas tindakannya. Ini penting, tetapi tidak cukup.
Bagian yang lebih sulit adalah pengawasan menyeluruh — bukan hanya pada setiap titik, tetapi pada seluruh rantai. Sistem harus mampu melacak apa yang dilakukan agen, apa yang ditimbulkannya, dan di mana jejaknya berakhir, secara nyata dan tidak hanya dalam laporan kuartalan. Jika hanya fokus pada identitas agen tanpa pengawasan penuh, perusahaan akan berakhir dengan arsip dokumen sempurna, sementara sistemnya tetap tidak dapat dipahami.
Pengawasan juga hanya memberi tahu apa yang sudah terjadi. Untuk benar-benar mengendalikan sistem, dibutuhkan mekanisme penegakan yang mencegah pelanggaran sebelum terjadi — bukan hanya mencatatnya setelah kejadian. Dashboard yang menunjukkan pelanggaran skopus lima menit lalu hanyalah alat pemantau. Sistem yang mencegah pelanggaran itu sendiri adalah bentuk tata kelola yang sesungguhnya.
Perusahaan yang serius ingin bertanggung jawab atas penggunaan AI harus memiliki kedua hal tersebut. Sayangnya, kebanyakan hanya memiliki satu dari keduanya.
Di Indonesia, tantangan ini semakin relevan seiring banyaknya perusahaan lokal yang mulai bereksperimen dengan agen AI. Namun, regulasi dan kerangka kerja tata kelola yang ada belum cukup matang untuk menangani dinamika sistem yang saling terhubung ini. Tanpa langkah proaktif, risiko kegagalan skala besar di masa depan semakin besar.
Namun, kompleksitas bukanlah alasan untuk mengehentikan inovasi. Perusahaan yang berhasil justru mereka yang membangun visibilitas dan akuntabilitas secara paralel dengan pertumbuhan agen mereka. Mereka menciptakan Harmoni Manusia-Agen, di mana skala dan tanggung jawab tumbuh bersama, bukan saling mengorbankan.
Rory Blundell, CEO Gravitee, menekankan bahwa risiko sejati bukanlah dari satu agen yang bekerja sesuai desainnya. Risiko itu muncul ketika seratus agen bekerja sesuai desainnya, semuanya sekaligus, berinteraksi dalam kombinasi yang tak terduga. Inilah yang membuat banyak program AI enterprise terjebak dalam fase pilot selamanya, dan tidak pernah mencapai produksi penuh.
Dengan memecahkan kompleksitas ini, otonomi tidak lagi menjadi ancaman. Justru, ia menjadi tujuan utama.