Kenapa Engine di Balik DeepSeek Ini Akhirnya Dibuka Gratis?

Pernah bertanya-tanya kenapa DeepSeek bisa menjual layanan AI jauh lebih murah dari para kompetitornya? Jawabannya bukan cuma arsitektur model. Rahasia utamanya justru ada di perangkat lunak yang menjalankan model itu ke jutaan pengguna setiap hari, alias mesin inferensi.

Pada 20 Oktober 2026, DeepSeek membuka mesin itu ke publik dengan nama DeepInfer. Dalam hitungan jam, thread pengumumannya melesat ke puncak Hacker News dengan lebih dari 2.000 poin dan 800 komentar. Repo GitHub-nya pun kebanjiran bintang, belasan ribu dalam sehari.

Rilis ini istimewa karena DeepSeek pernah bersumpah tidak akan melakukannya. Apa yang membuat mereka berubah pikiran, dan apa saja isi mesin inferensi yang menggerakkan raksasa AI Tiongkok ini?

Apa Sebenarnya DeepInfer?

DeepInfer adalah framework inferensi berperforma tinggi yang menggerakkan layanan produksi berskala besar milik DeepSeek sendiri. Rilis open source ini berlisensi Apache 2.0 dan mencakup fitur inferensi offline yang dibutuhkan untuk melayani model dalam skala raksasa.

Saat ini hanya satu model yang didukung: DeepSeek-V4.1-Flash, dengan versi 1017 dimuat secara default. Hardware yang didukung pun masih terbatas: GPU NVIDIA SM100 (arsitektur Blackwell) dan NPU Huawei Ascend 950. Generasi GPU Nvidia yang lebih tua, seperti Hopper, tidak masuk daftar.

Yang menarik, pada April 2025 lalu DeepSeek secara terbuka bilang tidak akan merilis engine inferensi penuhnya. Alasannya jujur: kode mereka adalah fork vLLM yang sangat terkustomisasi, terikat erat dengan perkakas cluster internal, dan timnya terlalu kecil untuk memelihara proyek open source raksasa. Kini mereka berubah pikiran.

README DeepInfer sendiri mengakui asal-usulnya dengan transparan: dibangun terutama di atas vLLM, dengan inspirasi tambahan dari SGLang dan TensorRT-LLM. Pengumuman resminya singkat dan ambisius: "Kami membagikan production stack untuk membantu komunitas menurunkan biaya komputasi, mengurangi pemakaian energi, dan membuat AI lebih terjangkau."

Skala Produksi yang Membuat Melongo

Angka yang DeepSeek beberkan di dokumen deployment Q&A-nya sulit dipercaya sekaligus menggoda. Satu cluster DeepInfer melayani 155 triliun token per hari, dengan tingkat cache hit input 96 persen. Rata-rata waktu sampai token pertama hanya sekitar 400 milidetik, dan kecepatan output mencapai 230 token per detik, hingga 300 untuk tugas coding.

Dari sisi ekonomi, DeepSeek menyebut masalah inti yang harus dipecahkan framework inferensi adalah menjangkau pengguna masif dengan harga yang masuk akal. Pendapatan per GPU per jam di harga off-peak mereka klaim sekitar 38 dolar AS. Itu angka yang menjelaskan kenapa layanan mereka bisa semurah itu.

Namun kejujuran juga perlu: semua angka ini adalah klaim DeepSeek sendiri dan belum diuji pihak independen. Benchmark resmi mereka diukur memakai 4 GPU SM100 untuk tahap prefill dan 64 GPU untuk tahap decode, masing-masing dalam satu domain scale-up. Dua fitur yang menjamin hasil identik antar run pun hanya berjalan di hardware NVIDIA.

Trik Cerdas yang Membuatnya Ngebut

Kecepatan DeepInfer bukan sihir, melainkan kumpulan teknik yang sudah matang di riset sistem AI. Yang paling menarik adalah DSpark dengan confidence-scheduled verification, yaitu bentuk speculative decoding. Model draft menebak lima token ke depan, lalu sebuah confidence head memprediksi tebakan mana yang akan diterima model utama. Komputasi verifikasi hanya dialokasikan ke kandidat paling mungkin. Hasilnya, jumlah token draft yang dicek per langkah berkurang sekitar 30 persen, dan DeepSeek memperkirakan gain throughput 4 sampai 7 persen pada beban produksi mereka.

Teknik kedua adalah SWA bounded replay, yang memangkas pekerjaan prefill decoder dengan cara hanya memutar ulang suffix yang terbatas dari prompt, bukan seluruhnya. Menurut DeepSeek, trik ini hampir memangkas separuh total komputasi prefill.

Di bawah tenda, DeepInfer memakai kernel yang dioptimasi khusus: FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, plus kernel TileLang kustom. Paralelisme modelnya mencakup Attention DP dengan CP seimbang serta MoE expert-parallel dengan EPLB. Ada juga batch scheduler asinkron tanpa overhead, mode batch-invariant inference yang menjaga hasil identik walau komposisi batch berbeda, deterministic sampling, dan structured outputs yang bisa dibatasi memakai regex, skema JSON, atau grammar EBNF.

Yang Belum Dibuka, dan Kenapa Itu Wajar

DeepSeek jujur soal apa yang tidak termasuk dalam rilis ini. Sistem KV cache, disaggregasi VE/prefill/decode, dan load balancing antar replika data-parallel tidak ikut dibuka. Menurut mereka, sebagian besar fungsionalitas engine yang dibutuhkan sudah diimplementasikan, tetapi orkestrasi cluster skala penuh tetap internal.

Keputusan ini masuk akal. Bagian yang dibuka adalah mesin inferensi itu sendiri, sedangkan bagian yang disembunyikan adalah cara mereka mengorkestrasi ribuan GPU di data center. Itulah pengetahuan operasional yang memang menjadi keunggulan kompetitif mereka.

Bersamaan dengan DeepInfer, DeepSeek juga merilis deepseek-recipe, komponen produksi untuk token encoding dan decoding yang diselaraskan dengan logika pemrosesan di balik API resmi mereka. Ini kabar baik bagi deployment komunitas yang ingin meniru perilaku API resmi secara presisi.

Kenapa Ini Penting Buat Kamu

Lisensi Apache 2.0 berarti siapa pun boleh memakai, mengubah, bahkan menjual DeepInfer. Penyedia cloud yang menjalankan model DeepSeek bisa memangkas biaya layanannya sendiri. Developer yang self-host kini punya akses langsung ke stack produksi milik lab frontier, sesuatu yang sangat jarang terjadi.

Ada juga sudut geopolitiknya. Dukungan untuk Huawei Ascend 950 adalah endorsement produksi pertama dari lab AI kelas dunia untuk chip Tiongkok itu. Rilis ini pun datang hanya sehari setelah pemerintah AS memerintahkan instansi federal menghapus model DeepSeek dari sistem mereka. Timing yang sulit disebut kebetulan.

Delapan belas bulan setelah bilang tidak akan merilisnya, DeepSeek akhirnya membuka mesinnya ke dunia. Pertanyaannya sekarang bukan lagi kenapa layanan AI mereka bisa semurah itu. Pertanyaannya, seberapa cepat kamu bisa memakainya sendiri. Kalau kamu suka mengulik proyek AI open source seperti ini, mampir ke /projects untuk melihat eksperimen dan proyek yang sedang saya kerjakan.