Para pelaku teknologi di kantor kini sedang menyaksikan paradigma baru dalam pengembangan kecerdasan buatan (AI). Kepercayaan bahwa semakin otonom sebuah sistem AI, semakin baik performanya, kini sedang diuji ulang di lingkungan produksi nyata. Hasilnya? Banyak proyek AI berbasis agen yang gagal karena justru terlalu otonom.
Menurut Gartner, lebih dari 40 persen proyek AI otonom yang sedang berjalan tidak akan bertahan hingga 2028. Bukan karena modelnya lemah, melainkan karena biaya operasional terus meningkat, nilai bisnis yang tidak jelas, dan kontrol risiko yang tidak memadai. Laporan McKinsey tahun 2026 menambahkan, meskipun adopsi AI otonom berkembang pesat di semua sektor, tingkat kedewasaan AI yang bertanggung jawab hanya mencapai 2,3 dari 4. Hanya sekitar 30 persen organisasi yang mencapai tingkat kedewasaan tiga atau lebih tinggi dalam hal tata kelola dan kontrol AI.
Angka-angka ini menggambarkan satu pesan nyata: kemampuan sedang berlari lebih cepat dari kontrol. Ini mengubah dinamika persaingan. Tahun 2024 hingga 2025, perlombaan adalah siapa yang bisa mendeploy agen AI tercepat. Namun mulai 2026, perlombaan beralih menjadi soal kepercayaan. Bukan lagi tentang siapa yang bisa membuat agen paling canggih, tetapi siapa yang bisa melewarkan sistemnya melewati tim hukum, risiko, dan kepatuhan — dan menjaganya tetap lolos setelahnya.
Mengapa otonomi penuh justru gagal di produksi? Gartner mengidentifikasi pola kegagalan yang konsisten dan terukur. Proyek-proyek AI biasanya diluncurkan dengan desain alur kerja yang luas dan otonom. Namun dalam beberapa minggu, tim gagal mengatasi kompleksitas integrasi dengan sistem lama. Akibatnya, proyek sering terhenti tanpa jalur yang jelas untuk mencapai pengembalian investasi.
Bagian dari masalahnya adalah kebisingan dari vendor. Gartner mencatat, dari ribuan produk yang diperjualbelikan di bawah label "AI otonom", hanya sekitar 130 yang benar-benar memiliki kemampuan otonom sejati. Selebihnya hanyalah otomatisasi atau chatbot yang dipaketkan kembali untuk tren saat it.
Namun bahkan sistem AI otonom yang sesungguhnya menghadapi masalah struktural yang tidak berkaitan dengan haus teknologi. Otonomi dan akuntabilitas justru bergerak berlawanan arah. Agen yang bisa merencanakan dan mengeksekusi tugas mandiri justru membuat pelacakannya keputusan individu semakin sulit. Jika terjadi kesalahan di tengah rantai otonom, menelusuri alasan keputusan dan menentukan siapa yang bertanggung jawab bisa menjadi proses yang rumit, bukan sekadar pencarian data.
Di sektor keuangan, pemeriksaan kualitas manufaktur, dokumentasi klinis, atau proses kepatuhan, ketidakjelasan ini bisa berarti perbedaan antara kesalahan yang bisa dikelola dan pelanggaran regulasi serius. Inilah sebabnya tim hukum, risiko, dan kepatuhan memblokir proyek AI otonom sebelum mencapai produksi, tak peduli seberapa canggih modelnya.
Kompleksitas integrasi juga menjadi penyebab utama pembatalan proyek. Menambahkan agen otonom ke dalam alur kerja lama bukan sekadar soal menghubungkan sistem secara teknis. Setiap titik keputusan, rantai persetujuan, dan jejak audit harus dibangun kembali agar bisa bekerja dengan sistem yang kini bisa bertindak tanpa menunggu persetujuan manusia.
Organisasi yang memperlakukan ini sebagai masalah integrasi semata, yang bisa diselesaikan dengan menambah jam insinyer, justru rawan gagal. Ini bukan risiko hipotetis. Penelitian McKinsey memperlihatkan betapa terpaparnya kebanyakan perusahaan saat ini terhadap berbagai risiko AI, mulai dari privasi data hingga paparan hak kekayaan intelektual.
Jarak antara risiko yang diketahui dan risiko yang benar-benangkalankan masih lebar. Hampir dua pertiga perusahaan kini mengaku bahwa isu keamanan dan risiko adalah tantangan terbesar, melampaui ketidakpastian regulasi dan hambatan teknis.
Perusahaan yang unggul justru tidak menghentikan rencana AI-nya. Mereka mengubah cara otonomi didistribusikan di dalam sistem. Empat pola utama muncul di organisasi yang sudah matang secara tata kelola:
Pertama, mereka memilih agen dengan ruang lingkup sempit ketimbang agen serba bisa. Mereka memecah alur kerja panjang menjadi agen dengan tanggung jawab tunggal dan batas yang ketat. Semakin sempit ruang lingkupnya, semakin kecil pula dampak kesalahan.
Kedua, mereka menempatkan kontrol manusia di batas keputusan — bukan setelahnya. Sebelum tindakan bernilai tinggi dilakukan, seperti memindahkan data sensitif, mengeksekusi transaksi, atau memicu sistem eksternal, keputusan agen harus direview terlebih dahulu.
Ketiga, jejak keputusan harus tersedia secara real-time. Setiap aksi dan logika di baliknya harus bisa diakses kapan saja, tanpa perlu direkonstruksi saat audit mendadak dilakukan.
Keempat, data harus dikelola secara aktif, bukan hanya secara dokumen. Di mana data disimpan dan siapa yang bisa mengaksesnya harus jelas dan bisa diaudit.
Regulator juga mendesak ke arah yang sama. Persyaratan pengawasan manusia dalam Undang-Undang AI Eropa untuk sistem berisiko tinggi masih akan diberlakukan, meskipun jadwal kepatuhannya ditunda hingga Desember 2027. Perusahaan yang sedang membangun sistem agen sekarang secara tidak langsung sedang mempersiapkan diri untuk standar ini.
Di Indonesia, dinamika ini relevensi tersendiri. Pemerintah sedang mengembangkan regulasi AI yang bertanggung jawab, sementara industri lokal mulai bereksperimen dengan agen AI untuk layanan pelanggan hingga otomatisasi keuangan. Namun, sejalan dengan tren global, keberhasilan jangka panjang bukanlah soal siapa yang punya teknologi paling canggih, tetapi siapa yang bisa menggabungkan inovasi dengan tata kelola yang kuat.