Kenapa Model 600B Ini Cuma Aktifkan 27B Parameter per Token?

Bulan lalu, komunitas open source menunggu dengan cemas. StepFun, lab AI asal Shanghai, berjanji akan membuka bobot model flagship-nya pada 15 Oktober. Ketika tanggal itu tiba, repositori resminya sempat kosong dan sempat ramai diperbincangkan. Lalu, StepFun menepati janjinya.

Step 5 Preview resmi dirilis terbuka: dua varian bobot, BF16 dan FP8, yang bisa diunduh siapa pun dari Hugging Face dan ModelScope. Model ini punya 600 miliar parameter total, tapi hanya mengaktifkan 27 miliar parameter per token. Ia langsung melesat ke peringkat dua chart mingguan OpenRouter.

Pertanyaannya: kenapa model ini begitu istimewa?

Apa yang Dirilis StepFun?

Step 5 Preview adalah model andalan StepFun untuk pekerjaan agen AI. Model ini diluncurkan lewat API pada 20 September 2026, dan StepFun sejak awal berjanji bobot terbukanya akan menyusul sebulan kemudian.

Janji itu kini terwujud. Bobot resminya tersedia di akun organisasi stepfun-ai di Hugging Face, dengan tautan ke ModelScope juga. Dua presisi dirilis bersamaan: BF16 untuk akurasi penuh dan FP8 untuk efisiensi.

Ini bukan model kecil. Step 5 Preview memakai arsitektur sparse Mixture-of-Experts (MoE) dengan 600 miliar parameter total. Hanya sekitar 4,5 persen yang aktif untuk setiap token, yaitu 27 miliar parameter. Konteksnya mencapai 1 juta token, dan ia menerima input teks, gambar, dan video.

StepFun menargetkan tiga pekerjaan utama: rekayasa perangkat lunak, pekerjaan pengetahuan profesional, dan keuangan. Bukan chatbot biasa, melainkan pekerja yang bisa menuntaskan tugas panjang.

Latarnya menarik: StepFun adalah salah satu dari "Enam Harimau AI" China, startup model besar independen yang bermarkas di Shanghai. Ia sudah merilis model terbuka sebelumnya, seperti Step 3.5 Flash dan Step 3.7 Flash di awal 2026, keduanya di bawah lisensi Apache 2.0.

Triknya: 27B Aktif dari 600B Parameter

Angka 600B terdengar menakutkan, tapi rahasianya ada di kata "sparse". Dalam arsitektur MoE, model menyimpan banyak grup parameter spesialis dan hanya menyalakan sedikit yang relevan untuk setiap token.

Bayangkan seperti rumah sakit dengan ratusan dokter spesialis. Untuk satu keluhan, kamu tidak butuh semuanya. Cukup segelintir dokter yang tepat. Begitulah MoE bekerja: router memilih para "ahli" yang paling relevan, sisanya diam.

Implikasinya adalah biaya. Compute yang dibayar hanya untuk 27B parameter aktif, bukan 600B total. Inilah fondasi klaim StepFun soal efisiensi biaya yang agresif.

Ada satu detail yang perlu diluruskan. Sebagian orang membaca "27B aktif" lalu menyimpulkannya setara model 27B. Itu keliru. Kemampuan puncaknya tetap datang dari seluruh 600B parameter yang tersedia untuk dipilih router.

Struktur MoE juga menjelaskan kenapa model ini tidak murah untuk dijalankan sendiri. Menyimpan 600B parameter tetap butuh banyak VRAM, walau yang "bekerja" per token sedikit.

Dirancang untuk Agen, Bukan Sekadar Chat

Langkah paling menarik ada di desain arsitekturnya. Step 5 Preview menumpuk 92 modul Transformer. Ia dibuat dalam tapi ramping: banyak layer, lebar jaringan dikendalikan.

Alasannya masuk akal. Dalam tugas agen, model berulang kali memanggil tools eksternal, dan setiap panggilan bisa menyuntikkan teks baru dalam jumlah besar. Model tidak selalu sempat bernalar penuh lewat rantai pikir eksplisit, sehingga ia lebih mengandalkan penalaran implisit saat membaca konteks.

Informasi dalam Transformer merambat lapis demi lapis, ke arah waktu token dan ke arah kedalaman jaringan. Kalau jumlah layer kurang, dependensi multi-hop bisa kehabisan kedalaman sebelum perambatan selesai. StepFun memilih jalan langsung: menambah layer sambil menahan lebar, supaya ada jalur propagasi lebih panjang untuk penalaran multi-hop.

Untuk attention, StepFun mencampur dua jenis layer dengan rasio 3 banding 1. Tiga perempat adalah attention sliding-window yang efisien, seperempat adalah full-attention sparse. Pada konteks 1 juta token, full attention adalah leher botol efisiensi.

Solusinya bernama Sparse GQA. Idenya sederhana: saring dulu, baru hitung. Model tidak menghitung attention ke seluruh riwayat, melainkan memilih sekitar 4.096 token paling relevan dari tiap blok 8 token. Hasilnya, komputasi makin hemat semakin panjang teksnya, dengan cakupan informasi yang nyaris setara skema acuan yang lebih halus.

Latihannya pun tidak biasa. Di bawah kerangka training FP8, StepFun menerapkan tiga penangkal ledakan numerik: menyimpan hidden state dalam FP32, menyimpan faktor skala lapisan normalisasi dalam FP32, dan gradient clipping yang sangat halus. Hanya 0,00004 persen gradien tiap layer yang perlu dipangkas untuk menstabilkan konvergensi.

Bukti Lapangan: Benchmark dan OpenRouter

Angka klaim vendor selalu perlu diuji. Untuk Step 5 Preview, uji independennya cukup menggembirakan. Artificial Analysis memberi skor 44 di Intelligence Index, menempatkannya di tiga besar model open source dunia.

Di benchmark coding dan agen, model ini mencetak 67,7 persen di DeepSWE v1.1 dan 49,0 persen di StepCodeBench internal StepFun. Di FrontierFinance, benchmark riset investasi, ia meraih 66,4.

Yang lebih menarik adalah peta kompetisinya. Di ALE-CLI (subset CLI dari Agents' Last Exam), FrontierFinance, dan DRACO, Step 5 Preview mengungguli Kimi K3 dan GLM-5.3. Ia hanya kalah dari GPT-6 Astra atau Claude Opus 5.

Cerita biayanya juga kuat. Menurut data Artificial Analysis, biaya rata-rata per tugas Step 5 Preview hanya sekitar seperdelapan Claude Opus 5: 0,71 dolar berbanding 5,86 dolar. Harga API-nya 1 dolar per 1 juta token input dan 2,70 dolar per 1 juta token output.

Adopsi nyatanya terukur. Per 15 Oktober, Step 5 Preview duduk di peringkat dua chart mingguan dan harian OpenRouter, dengan sekitar 18,8 triliun token dikonsumsi dalam tujuh hari. Diskusi di Hacker News soal kehadirannya di OpenRouter mengumpulkan puluhan poin dan ratusan komentar.

Review komunitas independen juga ada. Seorang reviewer menjalankan delapan tugas coding agent dan memberi skor total 67 dari 80, alias 83,75 persen, di atas beberapa model open source pesaing walau masih di bawah model proprietary teratas.

Cara Kamu Mencobanya

Untuk developer, jalur tercepat adalah API. Model ini sudah tersedia di OpenRouter dan platform StepFun sendiri dengan harga 1 dolar per 1 juta token input. Cache input bahkan didiskon 95 persen.

Untuk yang ingin self-host, StepFun menyediakan panduan deployment resmi. Varian FP8 bisa jalan di satu node dengan 4 GPU B300 atau 8 GPU H200 lewat vLLM atau SGLang, dengan API yang kompatibel OpenAI. Varian BF16 menuntut lebih: 8 GPU B300 atau dua node H200.

NVIDIA ikut meramaikan. Versi NVFP4-nya diklaim berjalan hampir 8.000 token per detik per GPU di platform GB300. Sejumlah vendor chip seperti Huawei, Biren, Muxi, dan Moore Threads mengumumkan dukungan day-0 untuk model ini.

Bagi pengguna umum yang bukan developer, model ini terintegrasi di Tencent WorkBuddy dengan masa coba gratis dua minggu. Ini sinyal bahwa StepFun membidik dua pasar sekaligus: developer agen dan pengguna kantoran.

Satu catatan jujur: tidak semua klaim bisa diverifikasi hari ini. Arsitektur detail, jumlah token training, dan resep post-training belum dibuka penuh oleh StepFun. Seperti biasa di dunia model terbuka, uji sendiri sebelum memindahkan workload penting.

Kalau kamu penasaran dengan eksperimen AI open source lain yang pernah saya tulis, mampir ke /projects. Siapa tahu ada proyek yang menginspirasimu untuk ikut bereksperimen.