Ketergantungan pada unit pemrosesan grafis (GPU) menjadi hambatan utama bagi perusahaan yang ingin mengembangkan kecerdasan buatan (AI) berskala besar. Weka, perusahaan infrastruktur data, memperkenalkan platform NeuralMesh 6 yang dirancang untuk mengatasi inefisiensi memori GPU dengan memindahkan beban komputasi ke penyimpanan flash yang jauh lebih ekonomis.
Masalah mendasar dalam pengembangan AI saat ini adalah pemborosan memori GPU akibat proses komputasi ulang. Model bahasa besar (LLM) sering kali harus menghitung ulang token yang sama berkali-kali selama percakapan multi-turn. Fenomena ini menghabiskan kapasitas GPU yang seharusnya bisa dialokasikan untuk melayani pengguna tambahan atau mempercepat inferensi.
Melalui teknologi yang disebut Augmented Memory Grid, Weka memungkinkan penyimpanan NAND flash untuk berfungsi seolah-olah sebagai memori GPU. Pendekatan ini secara drastis menekan biaya operasional karena harga penyimpanan flash jauh lebih murah dibandingkan memori GPU kelas atas. Dengan menyimpan 100% token yang telah dihitung sebelumnya, sistem tidak perlu melakukan kalkulasi berulang.
CEO Weka, Liran Zvibel, menekankan bahwa pelanggan saat ini terjebak dalam perlombaan mendapatkan alokasi komputasi yang langka. Dengan NeuralMesh 6, perusahaan dapat memanfaatkan investasi GPU yang sudah ada secara lebih maksimal. Efisiensi ini memungkinkan penyebaran beban kerja AI baru tanpa harus menunggu ketersediaan GPU tambahan yang sering kali memakan waktu berbulan-bulan.
NeuralMesh 6 membawa empat pembaruan krusial, termasuk virtual multi-tenancy yang mampu mendukung hingga 50.000 tenant dalam satu cluster. Selain itu, integrasi penyimpanan file dan objek dalam satu jalur fisik menghilangkan kebutuhan akan lapisan translasi yang memperlambat kinerja. Hal ini sangat menguntungkan penyedia cloud independen yang bersaing dengan raksasa seperti AWS.
Fitur AlloyFlash menjadi pembeda lainnya, di mana sistem secara otomatis mengelola data antara memori TLC yang cepat dan QLC yang berkapasitas besar. Pengaturan ini memastikan pekerjaan yang sensitif terhadap latensi tetap berkinerja tinggi, sementara data dalam jumlah besar dikelola dengan biaya efisien. Pengurangan data kini dijalankan secara default, bukan lagi sebagai opsi tambahan.
Di pasar global, vendor seperti Dell, NetApp, dan Pure Storage telah mencoba memposisikan ulang diri sebagai penyedia infrastruktur AI. Namun, analis dari NAND Research, Steve McDowell, menilai bahwa perusahaan seperti Weka memiliki keunggulan kompetitif karena sejak awal dirancang untuk kebutuhan AI-native, bukan sekadar beradaptasi dari sistem penyimpanan tradisional.
Bagi ekosistem teknologi di Indonesia, inovasi ini memberikan sinyal penting mengenai efisiensi biaya. Banyak perusahaan rintisan lokal yang sedang membangun solusi AI berbasis LLM kini menghadapi tantangan biaya server yang membengkak. Teknologi yang mampu mengoptimalkan penggunaan GPU melalui caching token bisa menjadi kunci untuk mempercepat demokratisasi AI di tanah air.
Penggunaan infrastruktur yang lebih cerdas seperti NeuralMesh 6 memungkinkan perusahaan lokal untuk mengelola beban kerja AI yang lebih kompleks dengan perangkat keras yang terbatas. Jika adopsi ini meluas, hambatan finansial dalam pengembangan model AI lokal dapat berkurang secara signifikan, memungkinkan lebih banyak inovasi dari pengembang dalam negeri.
Ke depan, tren infrastruktur data akan semakin bergeser dari sekadar menyimpan bit menjadi mengelola data secepat kecepatan AI. Weka memproyeksikan bahwa kemampuan untuk melakukan replikasi metadata-first akan menjadi standar baru. Dengan fitur ini, lingkungan tujuan dapat diakses bahkan sebelum salinan data penuh tiba, memangkas waktu operasional dari hitungan minggu menjadi hitungan jam.
Langkah selanjutnya bagi Weka adalah memperkuat ekosistem hardware mereka, Wekapod 3, yang dikembangkan khusus untuk mendukung perangkat lunak ini. Fokus perusahaan kini adalah membuktikan efisiensi ini pada skala perusahaan besar yang membangun kopilot internal dan agen layanan pelanggan.
Secara keseluruhan, tantangan AI bukan lagi sekadar soal menambah jumlah GPU, melainkan bagaimana mengelola memori dan penyimpanan secara lebih pintar. Perusahaan yang mampu mengadopsi efisiensi ini akan memiliki keunggulan kompetitif yang jauh lebih besar dibandingkan mereka yang hanya terus-menerus menambah biaya perangkat keras.