Xavi Amatriain, Chief AI and Data Officer Expedia Group, membuat pernyataan berani di ajang VB Transform 2026. Menurutnya, dokumen persyaratan produk tradisional atau Product Requirement Document (PRD) kini mulai digantikan oleh evaluasi atau 'evals'. Dalam paradigma baru ini, pengembang harus menyematkan logika, kebutuhan keamanan, hingga simulasi red teaming langsung ke dalam proses evaluasi sebelum satu baris kode pun ditulis.
Perubahan ini menandai pergeseran fundamental dalam pengembangan perangkat lunak berbasis kecerdasan buatan. Amatriain menekankan bahwa dengan semakin dominannya kode yang dihasilkan oleh AI, fokus utama insinyur tidak lagi sekadar menulis sintaks, melainkan merancang evaluasi yang mampu menguji logika dan perilaku sistem secara presisi. Baginya, evaluasi adalah manifestasi nyata dari desain produk itu sendiri.
Konteks di balik perubahan ini sangat krusial. Riset VB Pulse menunjukkan kesenjangan besar dalam industri. Sebanyak 66 persen perusahaan saat ini mengizinkan peluncuran AI ke pasar tanpa tinjauan manusia secara penuh, namun hanya 5 persen yang benar-benar memercayai sistem evaluasi otomatis mereka. Dampaknya nyata: separuh dari perusahaan tersebut melaporkan bahwa agen AI mereka lulus pengujian internal, tetapi gagal total saat berinteraksi dengan pelanggan asli.
Amatriain juga menyoroti bahaya penggunaan guardrails atau pagar pembatas yang berlebihan dalam sistem AI. Meski sering dianggap sebagai solusi keamanan, ia menyebutnya sebagai 'kejahatan yang diperlukan' yang justru bisa merusak umpan balik sistem. Guardrails yang terlalu kaku berisiko menciptakan bias pada data yang dikumpulkan, sehingga sistem belajar dari informasi yang keliru dan tidak merepresentasikan perilaku pengguna yang sebenarnya.
Sebagai gantinya, Expedia menerapkan tata kelola berlapis yang berfokus pada prinsip, proses, dan otomatisasi. Prinsip dasar dikomunikasikan secara luas untuk memandu pengambilan keputusan terdistribusi di organisasi besar. Di atas prinsip tersebut, terdapat toll gates atau gerbang kendali yang disesuaikan dengan tingkat risiko setiap agen. Jika risiko rendah, tata kelola dibuat minimal agar inovasi tidak terhambat. Sebaliknya, risiko tinggi akan memicu pemeriksaan keamanan yang lebih ketat.
Strategi arsitektur Expedia pun menarik untuk dicermati. Alih-alih mengejar AGI (Artificial General Intelligence) sebagai model tunggal yang monolitik, mereka memilih pendekatan komposisi. Sistem dibangun dari agen-agen terspesialisasi yang masing-masing ahli dalam tugas spesifik, seperti pencarian data, pemrosesan bahasa, atau integrasi API. Pendekatan modular ini tidak hanya memudahkan pengembangan, tetapi juga memperkuat keamanan karena setiap komponen dapat diisolasi dan dievaluasi secara mandiri.
Di Indonesia, tren ini memberikan pelajaran berharga bagi perusahaan rintisan maupun korporasi yang tengah mengadopsi AI. Banyak pengembang lokal masih terjebak pada pembuatan chatbot generik yang hanya mengandalkan API model bahasa besar tanpa evaluasi yang ketat. Padahal, integrasi data real-time, seperti ketersediaan hotel atau harga tiket pesawat yang berubah tiap menit, memerlukan arsitektur yang mampu membedakan antara informasi yang bisa di-cache dengan yang membutuhkan reasoning mendalam.
Salah satu prinsip non-negotiable yang diterapkan Expedia adalah intervensi manusia untuk keputusan kritis. Meskipun AI mampu memberikan rekomendasi cerdas dan mendiskusikan opsi perjalanan, keputusan akhir untuk melakukan transaksi seperti pemesanan hotel atau tiket pesawat tetap harus berada di tangan pengguna. Ini bukan sekadar batasan fitur, melainkan keputusan keamanan strategis untuk meminimalisir risiko kesalahan sistem yang fatal.
Analisis ini relevan bagi ekosistem teknologi Indonesia yang sedang bertumbuh pesat. Dengan meningkatnya adopsi AI di sektor e-commerce dan travel, perusahaan harus mulai memikirkan bagaimana mengodekan kebijakan bisnis ke dalam kerangka evaluasi, bukan sekadar menumpuk aturan di akhir pengembangan. Keamanan harus bergeser ke kiri, artinya diletakkan sedini mungkin dalam siklus desain produk.
Di masa depan, tantangan keamanan AI akan semakin kompleks karena serangan tidak lagi datang dari manusia, melainkan dari sistem AI lain. Oleh karena itu, membangun sistem yang tangguh dari komponen-komponen kecil yang teruji adalah strategi yang lebih realistis daripada menciptakan sistem besar yang rentan terhadap kegagalan total. Pergeseran dari PRD ke evals bukan sekadar tren teknologi, melainkan evolusi cara manusia membangun produk di era otonom.