Ambisi kecerdasan buatan (AI) di kawasan Asia-Pasifik (APAC) kini berhadapan dengan realitas fisik yang menantang. Setelah sebelumnya membahas kendala pada jaringan listrik dan rantai pasok perangkat keras, fokus kini beralih pada bagaimana perusahaan besar di kawasan ini mulai mengubah strategi operasional mereka untuk mengatasi kesenjangan antara demo AI dan penerapan skala penuh.
Konsensus di tingkat pimpinan perusahaan di APAC menunjukkan bahwa ketergantungan penuh pada layanan cloud hyperscale terpusat untuk inferensi AI waktu nyata tidak lagi berkelanjutan secara finansial maupun operasional. Model ekonomi tradisional kini mulai ditinggalkan demi efisiensi yang lebih tinggi. Pasar edge AI global diprediksi melonjak dari 11,8 miliar dolar AS menjadi 57 miliar dolar AS pada tahun 2030, dengan 80 persen CIO diperkirakan akan beralih ke layanan edge terdistribusi paling lambat tahun 2027.
Jay Jenkins, Chief Technology Officer Cloud Computing di Akamai, menyatakan bahwa pergeseran ini bersifat struktural. Tantangan utama saat ini bukan sekadar menambah kapasitas komputasi, melainkan mengoptimalkan efisiensi komputasi yang sudah ada. Untuk beban kerja yang sensitif terhadap latensi, penempatan inferensi secara langsung di dekat pengguna atau lokasi penghasil data adalah kunci untuk memangkas biaya bandwidth dan menghindari penundaan transmisi.
Pandangan serupa diungkapkan oleh Joseph Sulistyo dari Blaize, yang menilai bahwa lingkungan cloud terpusat memang dirancang untuk fase pelatihan model, namun gagal ketika harus menangani skalabilitas inferensi perusahaan. Oleh karena itu, diperlukan perombakan total pada tumpukan perangkat keras (hardware stack). Intel, melalui Sumner Lemon, menekankan pentingnya pendekatan heterogen dengan memadukan berbagai konfigurasi perangkat keras serta campuran model bahasa besar dan kecil agar biaya tetap terkendali.
Efisiensi biaya juga menjadi fokus utama dalam arsitektur TI. Shiv Kumar dari OVHcloud menyarankan penerapan strategi yang menyeimbangkan kerangka kerja AI serverless dengan komputasi bare-metal tradisional. Metode ini diklaim mampu menekan biaya infrastruktur TI hingga 30 persen. Selain itu, pengalihan tugas orkestrasi data ke CPU berkinerja tinggi terbukti mampu mengurangi ketergantungan pada GPU khusus, yang pada akhirnya menurunkan biaya operasional secara signifikan.
Di sisi lain, Wai Kit Cheah dari Lumen Technologies menyoroti lapisan jaringan sebagai titik krusial. Menurutnya, masalah kinerja sering kali berakar pada bagaimana infrastruktur dirancang dan saling terhubung. Pengelolaan permintaan komputasi AI yang melonjak bukan lagi sekadar penambahan kapasitas mentah, melainkan tentang bagaimana sistem diintegrasikan dan dioperasikan dalam skala luas agar tetap tangguh di tengah keterbatasan biaya dan kebutuhan kinerja tinggi.