Kenapa Google, NVIDIA, dan IBM Kompak Bangun llm-d 1.0?

Bayangkan tiga ribu agen AI menyerbu satu cluster GPU dalam waktu bersamaan. Sebagian mengerjakan permintaan chat yang harus dijawab dalam hitungan detik, sebagian lain menjalankan tugas riset panjang yang menyedot memori tanpa ampun.

Pada 20 Oktober 2026 di San Jose, dalam ajang PyTorch Conference North America, jawabannya diumumkan: llm-d 1.0, milestone besar proyek open source untuk menjalankan inference LLM terdistribusi secara efisien dan siap produksi.

Yang membuat pengumuman ini istimewa bukan cuma versinya yang bulat. Proyek ini didirikan tahun 2025 oleh Red Hat, IBM, Google Cloud, CoreWeave, dan NVIDIA, kini dikelola Cloud Native Computing Foundation (CNCF), dan didukung lebih dari 500 kontributor dari 25 lebih organisasi. Lima raksasa yang biasanya bersaing memilih membangun satu fondasi bersama. Kenapa mereka kompak, dan apa isi llm-d 1.0?

Apa Sebenarnya llm-d?

llm-d adalah platform inference AI terdistribusi yang open source. Inference adalah tahap ketika model bahasa yang sudah dilatih dipakai untuk menjawab permintaan, dan inilah bagian paling mahal dari operasional AI.

Arsitekturnya berjalan di atas dua mesin inference populer, vLLM dan SGLang, lalu menambahkan lapisan orkestrasi khas Kubernetes di atasnya. Empat kemampuan intinya: routing yang sadar prefix-cache dan beban server, pemindahan KV cache ke memori yang lebih murah, pemisahan tahap prefill dan decode, serta paralelisme expert yang lebar untuk model MoE.

Satu konsep yang membuat llm-d menonjol adalah prefill/decode disaggregation. Prefill adalah tahap membaca prompt yang rakus komputasi, sedangkan decode adalah tahap menelurkan token yang rakus memori. Menjalankan keduanya di GPU yang sama membuat keduanya berebut sumber daya, jadi llm-d memisahkannya agar masing-masing berjalan di hardware yang paling cocok.

Singkatnya, llm-d mengubah GPU yang mahal dari sekadar mesin hitung menjadi sistem operasi inference yang bisa diatur seperti infrastruktur cloud modern.

Apa yang Baru di Versi 1.0?

Rilis 1.0 membawa empat hal besar yang menjadikannya layak produksi. Pertama, multi-tenant QoS: kontrol prioritas dan fairness flow agar permintaan yang sensitif latensi tidak saling mematikan dengan workload agen yang rakus sumber daya.

Kedua, zero-downtime operations: router dengan high availability dan hot standby plus rolling updates, sehingga cluster bisa diperbarui tanpa memutus satu pun permintaan yang sedang berjalan.

Ketiga, v1 configuration API yang stabil, artinya konfigurasi yang kamu tulis hari ini tidak akan rusak oleh perubahan berikutnya. Keempat, agent-aware serving: routing yang sadar sesi percakapan plus dukungan native untuk state Responses API, dirancang khusus untuk era agen AI yang bekerja berjam-jam dalam satu sesi.

Kombinasi inilah yang menjawab masalah nyata operator. Multi-tenancy membuat satu cluster bisa disewakan ke banyak tim tanpa ada yang kelaparan sumber daya, sedangkan zero-downtime operations membuat update versi semudah deploy aplikasi web biasa.

Demo 6,6 Juta Token per Menit

Angka resmi dari demo peluncurannya sulit diabaikan. Model GLM 5.2 dengan sekitar 753 miliar parameter MoE diserve di GPU NVIDIA dengan puncak lebih dari 6,6 juta token output per menit.

Demo yang sama melayani 3.000 coding agent konkuren tanpa satu pun permintaan yang di-preempt. Prefix-cache hit rate-nya menyentuh sekitar 98 persen, artinya hampir semua konteks yang berulang tidak perlu dihitung ulang.

Soal biaya, klaimnya berani: 5 sampai 10 kali lebih murah per token dibanding API komersial. IBM Research bahkan melaporkan kasus nyata eksplorasi hardware quantum error correction dengan biaya inference 11,5 kali lebih rendah dibanding setup serba proprietary, dengan blended cost sekitar $0,11 per juta token.

Siapa yang Sudah Memakainya?

Ini bukan proyek pajangan konferensi. Daftar pengguna produksi yang dikutip di siaran pers resminya panjang: JetBrains memakainya untuk Junie Lite, DigitalOcean menjalankannya di layanan Serverless Inference dengan volume triliunan token, plus Mistral, Roblox, Cohere, dan AMD.

Google Cloud bahkan mengintegrasikan llm-d 1.0 ke Google Kubernetes Engine, lengkap dengan dukungan TPU dan GPU NVIDIA. Adopsi secepat ini jarang terjadi untuk proyek infrastruktur yang baru genap setahun berdiri.

Pola ini mengingatkan pada masa awal Kubernetes: teknologi yang lahir dari kebutuhan internal Google, lalu meledak menjadi standar industri karena dikelola terbuka. Bedanya, kali ini lima raksasa turun tangan sejak hari pertama, bukan satu perusahaan saja.

Kenapa Ini Penting Buat Kamu?

Trennya jelas: model AI makin murah untuk dilatih, tetapi makin mahal untuk dijalankan. Bagi developer Indonesia yang membangun produk berbasis LLM, biaya inference sering jadi penentu hidup-matinya sebuah fitur.

llm-d 1.0 menawarkan jalan tengah yang menarik: tetap open source dan bisa di-host sendiri, tetapi dengan kontrol produksi sekelas layanan komersial. Kamu tidak perlu lagi memilih antara murah dan andal.

Kalau kamu penasaran membangun infrastruktur AI sendiri, halaman /projects di situs ini memuat proyek-proyek eksperimen seputar serving model dan tooling AI. Era ketika inference murah hanya milik raksasa cloud mungkin baru saja berakhir.