Survei terhadap 107 perusahaan dengan lebih dari 100 karyawan di Amerika Serikat menunjukkan bahwa belanja infrastruktur kecerdasan buatan (AI) melesat jauh lebih cepat daripada kemampuan perusahaan memantau dan mengendalikan biayanya. Riset VentureBeat Pulse yang dirilis Juni 2026 itu memotret fenomena yang disebut sebagai 'compute gap' atau jurang komputasi: investasi besar berjalan di depan, sementara visibilitas ekonomi tertinggal di belakang.
Hanya 21 persen responden yang telah menjalankan AI dalam skala produksi penuh. Mayoritas masih berada di tahap eksperimen atau baru memiliki sebagian beban kerja yang berjalan. Kendati matangnya penerapan belum merata, niat belanja sudah berlari lebih dulu. Sebanyak 45 persen perusahaan berencana mengevaluasi layanan awan khusus AI dalam satu tahun ke depan, padahal lapisan infrastruktur itu nyaris belum digunakan siapa pun di antara mereka saat ini.
Latar belakang fenomena ini cukup jelas. Gelombang adopsi model bahasa besar (LLM) membuat eksekutif terdesak untuk tidak ketinggalan. Hyperscaler seperti Google Cloud, Microsoft Azure, dan AWS menjadi pangkalan utama karena kemudahan integrasi. Google Cloud digunakan oleh 48 persen responden, disusul Azure 29 persen dan AWS 22 persen. Di sisi penyedia model, Gemini Google meraih 41 persen, OpenAI 40 persen, dan Anthropic 12 persen.
Namun, infrastruktur yang sudah dibeli justru menganggur. Sebanyak 83 persen perusahaan melaporkan pemanfaatan GPU mereka berada di level 50 persen atau lebih rendah. Artinya, mayoritas kartu pemrosesan mahal itu tidak bekerja optimal. Kurang dari separuh atau tepatnya 44 persen organisasi secara rutin melacak biaya komputasi AI mereka dengan metode yang ketat.
Kondisi ini berdampak langsung pada efisiensi modal korporasi. Perusahaan membeli lebih banyak kapasitas sebelum tahu berapa sebenarnya harga per unit output yang mereka hasilkan. Keputusan pembelian lebih didorong oleh kemudahan integrasi dengan sistem yang ada (41 persen) dan total biaya kepemilikan (35 persen), bukan sekadar harga token per juta yang hanya menjadi penentu bagi 8 persen responden.
Di Indonesia, tren serupa mulai terlihat meski dalam skala berbeda. Perusahaan teknologi dan perbankan lokal mulai menyewa GPU melalui penyedia awan regional atau layanan broker internasional. Masalahnya, literasi tentang unit ekonomi AI di kalangan pembuat keputusan domestik masih tipis. Banyak yang menghitung pengeluaran sebagai biaya langganan bulanan, bukan sebagai beban per inferensi.
Dampaknya bisa memperlebar kesenjangan antara korporasi besar dan pelaku usaha mikro. Jika raksasa teknologi global membiarkan GPU menganggur karena tak terukur, harga komputasi di pasar tetap tinggi. UMKM Indonesia yang ingin memakai API model pihak ketiga akan terus membayar mahal tanpa opsi infrastruktur alternatif yang murah.
Riset itu juga mencatat tingkat pergantian vendor yang tidak biasa. Sebanyak 64 persen perusahaan berencana mengganti atau menambah penyedia infrastruktur dalam 12 bulan, dan 38 persen di antaranya akan melakukannya dalam tiga bulan. Angka ini tinggi untuk kategori yang seharusnya bersifat fundamental dan stabil.
Sementara itu, batasan baru yang akan mengubah arah keputusan belum dipahami banyak pihak. Transisi dari ketergantungan pada komputasi GPU ke bandwidth memori seiring skala inferensi hanya diketahui atau ditangani oleh seperlima perusahaan. Sebagian besar belum menyadari bahwa kendala fisik berikutnya bukan lagi sekadar jumlah chip, melainkan kecepatan memori.
Proyeksi ke depan menunjukkan bahwa tahun depan akan menjadi masa penyesuaian. Perusahaan yang hari ini memborong kapasitas khusus AI akan mulai menyadari bahwa tanpa instrumen pengukuran, anggaran bisa membengkak tanpa hasil bisnis yang jelas. Alat pemantauan biaya komputasi dan platform finops AI diprediksi menjadi kebutuhan mendesak.
Bagi Indonesia, momentum ini sekaligus peluang. Penyedia layanan awan lokal dapat menawarkan transparansi biaya sebagai nilai jual, bukan sekadar kapasitas mentah. Tanpa itu, adopsi AI di tanah air berisiko menjadi gaya-gayaan belaka dengan neraca yang tak pernah seimbang.