Kenapa Model 74B NVIDIA Ini Muat di Laptop Biasa Saja?

Bayangkan laptop tipis yang kamu bawa ke kafe menjalankan model AI 74 miliar parameter, offline, tanpa tagihan API sepeser pun.

Kemarin itu masih terdengar seperti mimpi. Hari ini, NVIDIA bilang mimpi itu sudah bisa kamu unduh.

Modelnya bernama Nemotron 3.5 Bolt 74B. Ia dirancang khusus untuk agen AI lokal, dan yang paling mengejutkan adalah sikap NVIDIA: semuanya dibuka, dari bobot sampai data latihnya.

Yang Resmi Diumumkan NVIDIA

Pengumuman ini datang dari blog resmi NVIDIA pada 13 Oktober 2026, sebagai bagian dari kesiapan ekosistem software untuk laptop RTX Spark yang mulai dijual Jumat, 16 Oktober 2026. Model yang bernama lengkap Nemotron 3.5 Bolt 74B-A9B 24GB dijadwalkan rilis Kamis, 15 Oktober 2026, tepat satu hari sebelum laptopnya.

Ini bukan sekadar rilis model biasa. Bolt 74B adalah pusat strategi NVIDIA menjadikan laptop sebagai superkomputer AI pribadi: agen yang selalu menyala, bekerja di perangkatmu sendiri, dan tidak mengirim setiap datamu ke cloud. Laptop RTX Spark sendiri membawa chip super yang menggabungkan CPU Grace dan GPU Blackwell dengan memori unified sampai 128GB dan komputasi AI 1 petaflop.

Triknya: 74B Parameter, Tapi Cuma 9B yang Kerja

Bolt 74B memakai arsitektur mixture-of-experts, disingkat MoE. Totalnya ada 74 miliar parameter, tetapi setiap token hanya mengaktifkan sekitar 9 miliar di antaranya. Desain sparse seperti ini memisahkan total pengetahuan yang disimpan model dari biaya komputasi tiap inferensi.

Bayangkan sebuah gedung berisi tim ahli. Kamu tidak perlu membangunkan semua orang untuk menjawab satu pertanyaan; cukup panggil ahli yang paling relevan. Itulah cara MoE bekerja: token yang berbeda bisa memakai expert yang berbeda, sementara parameter yang tidak dipakai tetap tersimpan sebagai pengetahuan.

Hasilnya, beban kerja per token setara model kecil, tetapi pengetahuan yang tersimpan tetap kelas 74B. Untuk agen yang harus selalu siaga di laptop, kombinasi ini masuk akal: cepat merespons, tetapi tidak bodoh.

Kompresi 2-Bit yang Tidak Bikin Modelnya Bodoh

Menyimpan 74 miliar parameter biasanya butuh memori raksasa. NVIDIA memampatkannya ke 24GB memakai kuantisasi 2-bit, dipadukan teknik quantization-aware training. Teknik ini mensimulasikan kehilangan presisi sejak masa pelatihan, jadi modelnya belajar bertahan sebelum dikompresi.

Klaim NVIDIA cukup berani: Bolt 74B disebut lebih cepat dari kebanyakan model dense populer, sekaligus lebih pintar dari model MoE sekelasnya dengan jejak memori serupa. Satu catatan jujur: itu semua klaim vendor. Angka independen baru bisa diverifikasi setelah bobotnya benar-benar mendarat hari ini.

Perlu diingat juga, angka 24GB adalah jejak penyimpanan bobotnya. Memori aktual saat dipakai tetap bergantung pada panjang konteks, KV cache, dan aplikasi agen yang berjalan di sampingnya. Jadi jangan berharap laptop kentang 8GB tiba-tiba bisa menjalankannya.

Open Source Beneran: Bobot, Data, Sampai Resep

Seperti model Nemotron lainnya, Bolt 74B dirilis fully open source. Bukan cuma bobotnya yang dibuka: data latih dan resep pelatihannya ikut dirilis. Developer bisa fine tune dan membangun agen kustom sendiri di atas fondasi yang sama.

Ini langka. Kebanyakan vendor membuka bobot tetapi merahasiakan data dan resepnya, sehingga komunitas hanya bisa menebak cara mereplikasinya. Paket lengkap seperti ini memberi komunitas riset bahan mentah untuk eksperimen yang sebelumnya mustahil tanpa anggaran raksasa.

Langkah ini juga cerdik secara bisnis. Ketika modelnya gratis dan terbuka, yang laku adalah hardware dan ekosistem di sekitarnya. Dan tebak siapa yang menjual keduanya sekaligus.

Cara Menjalankannya di Laptop Kamu

Saat rilis, Bolt 74B bisa dijalankan lewat llama.cpp, vLLM, Ollama, Unsloth, dan LM Studio. Ia juga terhubung langsung ke agen seperti Hermes dan OpenClaw, dua proyek agen yang tahun ini merajai chart popularitas GitHub.

Tidak suka baris perintah? NVIDIA merilis Llama Windows, aplikasi gratis berbasis llama.cpp untuk mengunduh dan menjalankan model lokal lewat antarmuka biasa. Ia berjalan dari system tray Windows 11, dengan model rekomendasi dari Hugging Face Hub yang tinggal diklik.

Ada juga NVIDIA PAIR, router AI pribadi gratis dan open source yang resmi keluar dari beta. Ia otomatis menemukan PC lain yang kompatibel di jaringan lokalmu, memasang model dan inference engine, lalu membagi beban kerja AI ke semuanya. Versi resminya menambah dukungan llama.cpp dan unduhan langsung dari Hugging Face, serta berjalan di Windows, Linux, dan macOS.

Soal keamanan agen, NVIDIA menyiapkan OpenShell dan Microsoft Execution Containers: sandboxing di level sistem operasi, plus proteksi kredensial dan monitoring. Agen yang berjalan lokal tetap perlu dikurung, dan NVIDIA tampaknya paham itu.

Dan kalau kamu ingin yang terbaik dari dua dunia, ada Switchyard: library open source yang merutekan query antara model lokal dan cloud secara cerdas. Iterasi gratis di lokal, bayar cloud hanya saat butuh kecerdasan frontier.

Kenapa Ini Penting untuk Kamu

NVIDIA mengklaim unduhan LLM lokal tahun ini sudah 5 kali lipat dibanding sepanjang tahun lalu. Trennya jelas: orang menginginkan agen yang selalu menyala tanpa harus berlangganan datacenter. Rilis hari ini adalah bahan bakar terbaru tren itu.

Untuk developer, artinya eksperimen agen AI jadi jauh lebih murah. Kamu bisa prototyping lokal secara gratis, lalu hanya membayar cloud saat benar-benar butuh. Kalau kamu penasaran dengan eksperimen sejenis, intip juga daftar proyek di /projects.

Saudara kecilnya, Nemotron 3.5 Bolt E4B 4GB, menyusul pada 23 Oktober untuk karakter game AI di platform NVIDIA ACE. Komunitas lokal-AI di forum dan Hacker News pun sudah ramai membahasnya sejak pengumuman. Era agen lokal baru saja dimulai, dan tiket masuknya kini gratis.