GitHub secara resmi mengumumkan pembaruan signifikan pada integrasi Copilot di Visual Studio Code (VS Code) yang berfokus pada efisiensi penggunaan token. Langkah ini diambil untuk menanggapi tantangan biaya operasional yang tinggi serta latensi yang kerap mengganggu produktivitas pengembang saat menggunakan model bahasa besar (LLM). Dengan optimasi ini, GitHub berhasil menyeimbangkan antara performa teknis dan efisiensi sumber daya secara lebih efektif.
Salah satu terobosan utama bagi model berbasis OpenAI adalah penerapan sistem 'extended prompt caching'. Fitur ini memungkinkan status model tersimpan hingga 24 jam, yang secara drastis meningkatkan tingkat keberhasilan cache hit meskipun pengembang sempat berhenti bekerja untuk waktu yang lama. Teknologi ini memastikan bahwa konteks pekerjaan sebelumnya tetap tersedia tanpa harus memproses ulang seluruh data dari awal setiap kali sesi baru dimulai.
Selain caching, tim pengembang memperkenalkan mekanisme 'tool search' yang lebih cerdas. Alih-alih mengirimkan seluruh definisi perangkat lunak setiap kali permintaan dikirimkan, sistem kini memuat definisi alat yang kompleks secara on-demand. Pendekatan ini mengurangi beban data secara signifikan pada setiap permintaan API, yang secara langsung berkontribusi pada penurunan penggunaan token yang tidak perlu.
Transisi infrastruktur dari protokol HTTP standar ke koneksi WebSocket yang persisten juga menjadi kunci dalam pembaruan ini. Dengan menggunakan WebSocket, jalur komunikasi antara klien dan server menjadi jauh lebih cepat untuk pemanggilan alat yang berurutan. Perubahan arsitektur ini terbukti efektif dalam memangkas latensi, memberikan pengalaman coding yang lebih responsif bagi para pengguna VS Code di seluruh dunia.
Bagi model dari Anthropic, GitHub menerapkan strategi caching yang lebih halus dengan menempatkan titik henti strategis pada batas-batas stabil, seperti pada definisi alat dan perintah sistem. Selain itu, pencarian alat di sisi klien kini memanfaatkan model embedding lokal untuk mencocokkan niat pengguna dengan alat yang tersedia. Hal ini sukses memangkas kebutuhan untuk melakukan pengiriman data bolak-balik ke server yang sebelumnya memakan waktu.
Secara keseluruhan, serangkaian peningkatan teknis ini berhasil menurunkan penggunaan token hingga median 18% pada model-model tertentu. Peningkatan ini tidak hanya berdampak pada efisiensi biaya, tetapi juga secara nyata memperbaiki waktu respons dan tingkat keberhasilan penyelesaian tugas oleh AI. Inovasi ini menegaskan komitmen GitHub dalam menciptakan lingkungan pengembangan yang lebih efisien dan ramah terhadap kebutuhan pengembang modern.