Perusahaan teknologi kini menghadapi paradoks pengembalian investasi (ROI) yang cukup pelik. Di satu sisi, penggunaan model bahasa besar (LLM) yang canggih sangat efektif untuk eksperimen produk, namun biaya operasionalnya membengkak tak terkendali saat memasuki fase produksi. Peneliti dari Writer baru-baru ini menawarkan solusi melalui pendekatan sistematis pada lapisan orkestrasi atau yang disebut sebagai 'harness' AI.
Optimasi pada harness ini terbukti mampu menekan penggunaan token hingga 38 persen, yang secara langsung memangkas biaya per tugas hingga 61 persen. Menariknya, peningkatan efisiensi ini tidak mengorbankan akurasi atau kualitas output model. Temuan ini memberikan angin segar bagi tim engineering karena mereka tidak perlu melakukan fine-tuning model yang memakan waktu, melainkan cukup mengatur ulang alur kerja orkestrasi.
Industri saat ini terjebak dalam tren yang disebut 'tokenmaxxing', di mana pengembang terlalu mengandalkan konteks yang sangat besar dan konsumsi token yang masif untuk menutupi desain sistem yang buruk. Alih-alih merancang alur kerja yang elegan, banyak tim justru menggunakan metode coba-coba yang boros. Mereka mengisi jendela konteks dengan data mentah secara berlebihan, alih-alih melakukan pengambilan data yang presisi.
Waseem AlShikh, CTO dan co-founder Writer, menegaskan bahwa fenomena ini dipicu oleh kemudahan teknis dalam jangka pendek. Pengembang sering kali hanya fokus pada penurunan harga per token tanpa menyadari bahwa jumlah token per tugas terus membengkak seiring dengan kompleksitas agen AI. Akibatnya, efisiensi yang diharapkan dari penurunan harga model justru tergerus oleh inefisiensi arsitektur.
Kegagalan umum dalam implementasi AI perusahaan sering kali terjadi karena tim memperlakukan model secara terisolasi. Teknik seperti kompresi prompt atau budgeted reasoning sering kali gagal karena hanya mengoptimalkan mesin namun mengabaikan bagaimana transmisi data diatur. Tanpa pengelolaan harness yang tepat, sistem AI menjadi rentan terhadap kegagalan saat menghadapi error atau alur kerja yang tidak terstruktur.
Harness berfungsi sebagai lapisan orkestrasi yang mengatur perutean, format, dan manajemen alat. Peneliti Writer melakukan eksperimen pada enam model foundation, termasuk Claude Sonnet 3.5, Gemini 1.5, dan Palmyra X6. Hasilnya menunjukkan bahwa dengan mengoptimalkan harness, biaya per tugas turun dari 21 sen menjadi 12 sen. Ini membuktikan bahwa orkestrasi adalah kunci unit ekonomi yang sering terlupakan oleh banyak perusahaan.
Bagi ekosistem teknologi di Indonesia, temuan ini sangat relevan mengingat banyak startup lokal tengah berlomba mengintegrasikan AI ke dalam layanan mereka. Tantangan biaya infrastruktur AI sering menjadi hambatan utama bagi perusahaan rintisan di tanah air untuk mencapai skala profitabilitas. Dengan mengadopsi prinsip desain harness yang efisien, perusahaan lokal dapat menghemat anggaran operasional tanpa harus beralih ke model yang lebih murah namun kurang akurat.
Implementasi ini juga menyoroti pentingnya posisi arsitek sistem AI di perusahaan Indonesia. Selama ini, banyak perusahaan cenderung menyewa solusi AI siap pakai tanpa benar-benar memahami unit ekonomi di baliknya. Mengontrol lapisan orkestrasi berarti menguasai efisiensi biaya, sebuah langkah strategis agar adopsi AI tidak menjadi beban finansial yang melumpuhkan perusahaan di masa depan.
Ke depan, tren pengembangan AI akan bergeser dari sekadar 'tokenmaxxing' menuju desain sistem yang lebih cerdas dan hemat sumber daya. Tim engineering dituntut untuk memperlakukan harness sebagai artefak perangkat lunak kelas satu yang memerlukan pengujian dan versi yang ketat. Inovasi ini membuka jalan bagi aplikasi AI yang lebih berkelanjutan, di mana performa tinggi tetap terjaga meskipun konsumsi sumber daya ditekan seminimal mungkin.
Langkah selanjutnya bagi komunitas pengembang adalah mulai mengevaluasi arsitektur agen mereka dengan kacamata efisiensi yang lebih tajam. Fokus tidak lagi hanya pada model apa yang digunakan, melainkan bagaimana model tersebut dikelola dalam sebuah alur kerja. Dengan orkestrasi yang tepat, AI tidak lagi menjadi produk mewah yang mahal, melainkan alat produktivitas yang efisien dan dapat diakses oleh berbagai skala bisnis di Indonesia.