Thinking Machines, startup kecerdasan buatan yang digawangi oleh mantan Chief Technology Officer OpenAI Mira Murati, resmi merilis Inkling-Small pada hari ini. Model bahasa besar (large language model) ini memiliki 276 miliar parameter total, tetapi hanya mengaktifkan 12 miliar parameter per token berkat arsitektur sparse Mixture-of-Experts (MoE). Hasilnya, performanya hanya terpaut satu poin dari model flagship Inkling yang berukuran 975 miliar parameter, sebagaimana tercatat dalam indeks Artificial Analysis Intelligence Index.
Inkling-Small dapat memproses teks, gambar, dan audio, serta menghasilkan output teks. Model ini mendukung konteks hingga satu juta token dan dirilis dengan lisensi permisif Apache 2.0. Seluruh bobot (weights) model telah diunggah di Hugging Face, dan Thinking Machines juga menyediakan API fine-tuning melalui platform Tinker.
Peluncuran ini terjadi hanya dua pekan setelah Thinking Machines merilis Inkling, model open source pertamanya. Kehadiran Inkling-Small menjawab kebutuhan enterprise akan model yang lebih hemat komputasi tanpa mengorbankan banyak kemampuan. Perusahaan menawarkan diskon 50 persen untuk harga API pada masa peluncuran, dengan tarif prefill $0,58 per juta token, output $1,44 per juta token, dan pelatihan $1,73 per juta token.
Meskipun dinamai "Small", model ini tetap membutuhkan sumber daya server kelas enterprise. Untuk menjalankan checkpoint BF16 standar diperlukan setidaknya 600 GB memori GPU agregat. Thinking Machines merekomendasikan konfigurasi 4x GPU NVIDIA B300 atau 8x GPU H200. Versi kuantisasi NVFP4 menurunkan kebutuhan menjadi sekitar 180 GB VRAM, cukup untuk satu GPU B300 atau dua H200.
Dari sisi tolok ukur, Inkling-Small unggul dalam tugas coding dan reasoning. Model ini mencetak 80,2 persen pada SWE-bench Verified, lebih tinggi dari Inkling yang 77,6 persen. Pada Terminal Bench 2.1, skornya 64,7 persen dibanding 63,8 persen. Peningkatan juga terlihat pada SciCode, Humanity's Last Exam, GPQA Diamond, dan CritPt.
Namun, model yang lebih kecil ini memiliki kelemahan pada factual knowledge dan tugas agentik tertentu. Skor τ³-Banking Inkling-Small hanya 15,5 persen, jauh di bawah Inkling yang 23,7 persen. Skor AA Omniscience-nya bahkan negatif, yang mengindikasikan cakupan faktual lebih lemah meskipun tingkat halusinasinya sedikit lebih rendah.
Para pengembang aplikasi seperti coding assistant, sistem retrieval-augmented generation (RAG), analisis dokumen, dan alur kerja multimodal akan diuntungkan oleh efisiensi Inkling-Small. Sementara itu, organisasi yang membutuhkan akurasi faktual tinggi tetap harus menerapkan lapisan verifikasi dan peninjauan manual.
Dari sisi arsitektur, Inkling-Small terdiri dari 42 lapisan decoder yang mengarahkan setiap token ke enam dari 256 pakar (experts) khusus, plus dua pakar bersama yang selalu aktif. Pendekatan ini menjelaskan mengapa hanya 12 miliar dari 276 miliar parameter yang aktif dalam setiap langkah inferensi. Model juga natively multimodal: gambar, audio, dan teks diproyeksikan ke representasi bersama sehingga tidak perlu sistem eksternal terpisah.
Menurut Thinking Machines, model ini mendukung variable reasoning effort, artinya pengembang bisa menambah atau mengurangi jumlah komputasi saat inferensi tergantung tingkat kesulitan tugas. Fleksibilitas ini memberikan kendali langsung atas keseimbangan antara kualitas, latensi, dan biaya operasional.
Bagi Indonesia, kehadiran Inkling-Small membuka peluang bagi perusahaan rintisan dan enterprise yang ingin menerapkan AI generatif secara mandiri tanpa ketergantungan penuh pada API komersial. Namun, kebutuhan hardware yang masih tinggi—meski sudah jauh lebih rendah dari Inkling—tetap menjadi tantangan di tengah ketersediaan GPU kelas enterprise yang terbatas di dalam negeri.
Ke depannya, Thinking Machines tampaknya akan terus mengembangkan varian model yang lebih efisien. Tren sparse MoE dan quantization memungkinkan model besar berukuran ratusan miliar parameter untuk dijalankan di infrastruktur yang lebih terjangkau. Ini bisa menjadi katalis adopsi AI di berbagai sektor, termasuk di Indonesia, seiring dengan meningkatnya kesadaran akan pentingnya kontrol data dan kustomisasi model.