Alibaba merilis Qwen 3.8-Max minggu lalu dengan klaim performa mendekati Claude Opus 5, namun uji independen VulcanBench menunjukkan realita yang berlawanan. Model tersebut hanya menempati posisi menengah pada pengaturan usaha maksimal, dan tergolong terakhir pada mode default. Kesenjangan drastis ini bukan kesalahan pengukuran, melainkan perbedaan anggaran waktu dan token yang tidak terlihat di papan peringkat.
Klaim Alibaba didasarkan pada uji coba dengan batas waktu lima jam per tugas coding, hingga 12 jam untuk PaperBench. VulcanBench justru membatasi hanya 45 hingga 60 menit waktu nyata. Selisih anggaran waktu hingga 16 kali lipat itulah yang menciptakan narasi performa yang saling bertentangan. Kedua hasilnya valid, tetapi hanya salah satunya yang merepresentasikan kondisi produksi nyata.
Harga per token, standar industri bertahun-tahun, kini gagal memprediksi tagihan aktual. Qwen 3.8-Max dihargai 2 dolar per juta token input dan 6 dolar untuk output — jauh lebih mahal dari DeepSeek-V4-Flash-0731 yang hanya 14 sen dan 28 sen. Kimi K3 bahkan lebih tinggi: 3 dolar dan 15 dolar. Namun angka-angka tersebut menyesatkan karena model reasoning menghabiskan sebagian besar token untuk "berpikir" sebelum menjawab.
Fenomena ini menciptakan risiko tersembunyi: model bisa mencapai batas token saat masih dalam proses reasoning, mengembalikan hasil kosong yang tak terbedakan dari kegagalan total — dengan biaya penuh satu kali jalankan. Data Artificial Analysis memperkuat hal ini: DeepSeek-V4-Flash pada usaha maksimal mengeluarkan 210 juta token output, dua kali lipat median kelas. Biaya tetap rendah karena token murah, tapi verbositas membuang waktu, bukan hanya uang.
Metrik yang dibutuhkan industri adalah biaya per tugas berhasil: total pengeluaran termasuk percobaan gagal, dibagi jumlah tugas yang lolos verifikasi. Pendekatan ini mengungkap kenyataan yang tersembunyi di leaderboard konvensional. VulcanBench sudah melaporkan dolar per tugas terpecahkan sejak laporan pertamanya. Long-Horizon-Terminal-Bench menampilkan biaya per tugas di sisi akurasi, mengungkap GPT-5.4 mengeluarkan 26 dolar per tugas dengan tingkat lulus lebih rendah dari Grok 4.5 yang hanya 11 dolar.
Kegagalan bukan sekadar jawaban salah. Uji Long-Horizon-Terminal-Bench pada Juli melibatkan 17 model terdepan pada 46 tugas dengan satu percobaan 90 menit masing-masing. Hasilnya mengejutkan: 79 persen kegagalan disebabkan timeout, bukan kesalahan logika. Rata-rata reward tugas yang timeout hanya 0,10 hingga 0,35 — jauh dari selesai. Artinya, tambahan waktu tidak menjamin keberhasilan, tapi benchmark secara implisit mengukur efisiensi waktu.
Kasus Claude Opus 5 memperlihatkan paradox yang berbahaya bagi arsitek sistem. Pada pengaturan usaha rendah, model memecahkan 20 dari 23 tugas. Naik ke usaha tinggi justru menurun ke 18 — bukan karena salah, tapi kehabisan waktu. Dua dari tiga regresi adalah pemotongan pada tugas yang mode rendah selesaikan. Diberi waktu tak terbatas, mode tinggi hanya menyamai mode termurah dengan biaya 3,1 kali lipat.
Ini menghancurkan asumsi standar routing ladder: naikkan tingkat reasoning saat percobaan murah gagal. Nyatanya, untuk kombinasi model dan tugas tertentu, eskalasi justru mengantarkan ke timeout dengan tagihan lebih besar. TestEvo-Bench membuktikannya: skor generasi tes Claude Code anjlok dari 71 persen ke 44 persen saat batas biaya diperketat.
Vendor aplikasi sudah bergerak lebih cepat dari penyedia model. HubSpot mengubah penagihan Breeze Customer Agent menjadi 50 sen per percakapan terpecahkan, turun dari 1 dolar per percakapan ditangani. Zendesk menagih per resolusi otomatis. Fin menarik 99 sen per hasil dan hanya menagih saat resolusi ujung-ke-ujung tercapai. Pola ini menandakan pergeseran industri dari volume ke outcome.
Tiga langkah konkret perlu diambil minggu ini. Pertama, wajibkan pencatatan alasan kegagalan pada setiap jalankan agen: kehabisan anggaran, gagal verifikasi, atau kesalahan harness — bukan bendera kegagalan tunggal. Tanpa pemisahan ini, tingkat keberhasilan mengukur dua hal sekaligus dan tak bisa diperbaiki. Kedua, hitung biaya per tugas berhasil per tingkat usaha, bukan per model. Total belanja termasuk gagal, dibagi tugas lolos. Ketiga, jadikan batas waktu dan token bagian eksplisit dari kriteria penerimaan, bukan detail tersembunyi.
Bagi ekosistem teknologi Indonesia yang mulai mengadopsi agen AI untuk otomatisasi layanan pelanggan, pengembangan perangkat lunak, dan analisis data, pergeseran ini fundamental. Startup lokal yang membangun produk di atas API model reasoning harus menghitung unit ekonomi berbasis resolusi, bukan volume token. Keputusan arsitektur routing — kapan eskalasi, kapan batalkan — akan menentukan margin keuntungan lebih dari pilihan model dasarnya.