Paradoks baru menghantui adopsi kecerdasan buatan di lingkungan enterprise. Data terbaru dari VentureBeat Intelligence mengungkap fakta mengejutkan: perusahaan yang pernah terbakar karena sistem AI lolos evaluasi internal namun gagal di lingkungan produksi justru menjadi yang paling agresif mengeliminasi peran manusia dari keputusan deployment. Sebanyak 85% dari kelompok ini mendorong model zero-human approval, jauh di atas 61% di perusahaan yang belum mengalami insiden serupa.
Temuan ini muncul dari survei Pulse Tracker bulan Juli yang melibatkan 108 responden enterprise dengan minimal 100 karyawan. Meskipun ukuran sampel bersifat directional bukan sensus pasar, pola yang konsisten selama dua bulan berturut-turut menarik perhatian. Proporsi organisasi yang melaporkan setidaknya satu kali AI lolos uji tapi mengecewakan pelanggan tetap stagnan: 50% di Juni dan 49% di Juli. Angka ini tidak berarti 49% dari semua agent run gagal, melainkan separuh responden pernah mengalami gerbang evaluasi internal yang mengecoh.
Kenaikan kepercayaan pada evaluasi otomatis justru melonjak tajam. Di Juli, 13% responden menyatakan percaya penuh pada automated evaluation, naik signifikan dari 5% bulan sebelumnya. Sementara keluhan tentang ketidaksesuaian antara hasil uji dan realita dunia nyata turun dari 29% menjadi 19%. Namun keyakinan ini tidak sebanding dengan bukti empiris: hanya 2 dari 53 perusahaan yang pernah terbakar yang percaya penuh pada otomatisasi, berbanding 10 dari 41 perusahaan yang belum pernah mengalami kegagalan serupa.
Ben Hylak, CTO Raindrop.ai — platform monitoring dan mitigasi error agent otomatis — menggambarkan pergeseran fundamental ini sebagai "great decline of evals as we know them". Menurutnya, perusahaan Fortune 100 kini mengurangi set evaluasi dan mendeproritaskan pemeliharaan. Semakin kompleksnya arsitektur sistem — melibatkan Model Context Protocols, sub-agent, dan orkestrasi multi-lapis — membuat enumerasi lengkap kasus kegagalan menjadi mustahil. Sebagai gantinya, mereka mengandalkan deteksi anomali baik pra maupun pasca produksi.
Tren ini mencerminkan kematangan deployment yang berubah arah. Secara keseluruhan, 67% responden sudah mengizinkan agent mendorong kode atau mengubah sistem tanpa persetujuan manusia pada kasus risiko rendah, atau sedang membangun pipeline untuk hal itu. Angka ini tidak berubah dari Juni. Namun pecahannya mengejutkan: di kalangan yang terbakar, 37% sudah menerapkan no-approval model dan 48% membangun menuju arah itu. Hanya 11% yang menolak otomatisasi end-to-end untuk tahun depan, dibanding 24% di kelompok tidak terbakar.
Analis membaca ini bukan sebagai kelegoan, melainkan pengakuan akan keterbatasan evaluasi statis. Ketika gerbang rilis tidak bisa diandalkan mencegah kegagalan produksi, strategi alami adalah mempercepat siklus deteksi-dan-perbaikan di lingkungan nyata. Manusia tidak dihapus karena tidak berguna, tapi karena terlalu lambat menjadi safety net pada skala dan kecepatan agent modern.
Perubahan ini juga terdampak pada lanskap vendor. Kemudahan integrasi naik menjadi faktor pembeli paling menentukan, menggeser prioritas dari keakuratan evaluasi murni. Braintrust tercatat memperoleh pangsa platform utama, menandakan pasar mulai menghargai ekosistem yang menyatukan observability, evaluasi, dan deployment dalam satu alur kerja koheren.
Bagi ekosistem teknologi Indonesia, sinyal ini relevan meskipun survei berfokus global. Perusahaan lokal yang mulai mengadopsi LLM dan agentic workflow — dari e-commerce, fintech, hingga B2B SaaS — menghadapi dilema serupa: evaluasi internal yang mahal dan lambat versus tekanan time-to-market. Startup AI Indonesia seperti Nodeflux, Kata.ai, atau Bukalapak yang mengembangkan agent internal perlu mempertimbangkan apakah meniru pola zero-human approval ini layak, mengingat ketidakmampuan infrastruktur observability lokal yang masih berkembang.
Regulator dan pembuat kebijakan juga harus memperhatikan. Jika enterprise global mengurangi pengawasan manusia pada sistem AI yang berpotensi memengaruhi konsumen, kerangka tanggung jawab algoritmik di Indonesia — yang masih dalam tahap diskusi di Kominfo dan BSSN — harus memasukkan klausul tentang human-in-the-loop untuk keputusan berisiko tinggi. Tanpa itu, celah antara kecepatan inovasi dan perlindungan konsumen akan semakin melebar.
Ke depan, perbatasan antara evaluasi dan observability akan kabur. Platform yang menang bukan yang punya benchmark terbaik, tapi yang menyediakan closed-loop: deteksi anomali real-time, root-cause analysis otomatis, dan rollback instan — semua tanpa menunggu intervensi manual. Perusahaan Indonesia yang mulai membangun stack AI sendiri sebaiknya menginvestasikan sumber daya pada lapisan observability sejak hari pertama, bukan sebagai afterthought.
Pada akhirnya, data VentureBeat mengingatkan kita: kepercayaan pada alat evaluasi otomatis naik bukan karena alat itu jadi lebih baik, melainkan karena organisasi sudah lelah memperbaiki alat yang tidak pernah cukup baik. Pilihan mereka — mempercepat otomatisasi deployment sambil memasang safety net pasca-produksi — adalah taruhan pragmatis di era di mana kecepatan iterasi menentukan kelangsungan hidup bisnis.