Di panggung VB Transform 2026, tiga tokoh kunci industri kecerdasan buatan menyoroti kelemahan fundamental dalam cara perusahaan menilai performa agen AI hari ini. Harrison Chase dari LangChain, Hui Zhang dari Conviva, dan Emmanuel Turlay dari CoreWeave sepakat: sebuah percakapan yang mendapat nilai sempurna saat dinilai perorangan justru bisa menyembunyikan kerusakan sistemik yang hanya terlihat saat data dibandingkan secara massal.
Kesenjangan itulah yang memicu pergeseran paradigma. Pendekatan lama yang menilai setiap jejak percakapan (trace) secara terpisah digantikan oleh analisis kontrastif — membandingkan kelompok pengguna terhadap baseline. Zhang mengilustrasikan dengan kasus ritel: pembeli mencari sepatu lari untuk half marathon, agen bertanya mengklarifikasi, dan transaksi beres. Dilihat perorangan, interaksi itu normal. Namun data agregat menunjukkan rasio klarifikasi untuk kategori sepatu itu tiga kali lipat baseline, dan pembelian di luar percakapan lima kali lipat. Kedua angka itu tak terlihat dari satu jejak saja.
Latar belakang pergeseran ini adalah tekanan untuk meluncurkan produk AI generatif yang andal di skala enterprise. Bulan-bulan terakhir, banyak tim terjebak dalam "eval paralysis" — istilah Chase untuk kondisi di mana tim menumpuk suite evaluasi pra-luncuran hingga tak pernah merasa siap. Chase menegaskan, evaluasi bukan tes sekali jalan, melainkan spesifikasi produk yang hidup (living PRD). "Evals are like the new PRD," ujarnya. "Mereka mendefinisikan apa yang harus dan tidak harus dilakukan agen Anda."
Turlay memperkuat poin itu dari pengalaman di CoreWeave. Ia sempat mengejar 100 persen cakupan tes, namun bug tetap muncul di produksi. Solusinya justru sebaliknya: pasang pemantauan luas (broad monitoring) dulu, biarkan kegagalan nyata muncul, baru bangun evaluasi offline yang tertarget pada kelas masalah yang terekspos. Pendekatan ini mirip praktik observability di rekayasa perangkat lunak klasik, namun diterapkan pada perilaku non-deterministik LLM.
Soal biaya, industri mulai sadar tidak setiap penilaian butuh model paling mahal. Aturan Turlay: mulai dengan model terkuat untuk membuktikan tugas bisa diselesaikan, lalu turunkan ke model lebih kecil dan murah. LangChain membuktikannya dengan fine-tuning model Qwen keluarga Alibaba untuk mendeteksi "perceived error" — sinyal pengguna merasa agen salah. Hasilnya setara Sonnet dari Anthropic, tapi dengan biaya 10 hingga 100 kali lebih murah tergantung cara penyajiannya. Chase juga mengingatkan, tidak semua guardrail butuh LLM; regex sederhana sering cukup, sebagaimana praktik di Claude Code.
Perdebatan soal LLM-as-judge versus human-in-the-loop tetap hangat. Zhang menyebutnya pilihan antara dua racun: penilaian otomatis yang skalabel tapi tak tergrounding, atau tinjauan manusia yang tergrounding tapi tidak skalabel. Turlay, bekas pengembang mobil otonom, menarik paralél: bahkan dengan siklus pelatihan dua minggu, seseorang tetap harus menandatangani keputusan naikkan model ke mobil. Akuntabilitas hukum di finansial, kesehatan, dan hukum membuat penghapusan manusia dari loop masih jauh di depan.
Chase menambah dimensi lain: manusia di loop bukan sekadar safety net. Interaksi manusia diperlukan agar sistem belajar dan membangun memori. Tanpa umpan balik itu, agen tidak bisa berkembang. Ia memprediksi masa depan di mana evaluasi otomatis menangani 95 persen kasus rutin, sementara manusia fokus pada kasus tepi (edge cases) yang menentukan kepercayaan.
Bagi ekosistem teknologi Indonesia, pergeseran ini relevan karena banyak startup lokal mulai menanamkan agen AI ke produk — dari chatbot layanan pelanggan hingga asisten pengkodean. Praktik evaluasi yang masih mengandalkan "vibe check" atau sampling manual berisiko melewatkan pola kegagalan sistemik yang justru merusak retensi pengguna. Adopsi contrastive analysis dan pemantauan real-time bisa jadi pembeda antara produk yang sekadar berfungsi demo dan yang siap produksi.
Ke depannya, tren evaluasi akan semakin terotomatisasi dengan model juri yang lebih kecil, spesifik, dan murah — namun akuntabilitas akhir tetap di tangan manusia. Perusahaan Indonesia yang mulai membangun tim AI engineering sebaiknya menanamkan budaya "launch and iterate" sejak awal, sambil membangun infrastruktur observability yang cukup luas untuk menangkap sinyal kegagalan sebelum pengguna keluar.