Kenapa Satu Model AI 3 Triliun Butuh 59 Wafer Cerebras?

Bayangkan kamu punya satu otak buatan sebesar tiga triliun parameter. Otak itu terlalu besar untuk satu chip, jadi para insinyur harus membelahnya ke puluhan chip sekaligus.

Itulah gambaran yang dibagikan Cerebras lewat tulisan teknis terbarunya. Perusahaan chip itu menjelaskan cara menjalankan model raksasa di atas chip wafer-scale miliknya, dengan model Kimi K3 sebagai contoh hitungan.

Hasil hitungannya mengejutkan banyak pembaca: 59 wafer untuk satu model. Angka itu bukan tebakan, melainkan hasil aritmetika lapisan demi lapisan yang bisa kamu ikuti sendiri.

Satu Wafer Tidak Cukup untuk Model Raksasa

Satu wafer Cerebras WSE-3T menyimpan 44 GB memori di dalam chip. Model kelas frontier butuh memori sebesar terabyte hanya untuk bobotnya, jadi satu wafer jelas tidak muat.

Cerebras mengambil contoh Kimi K3, model open source dengan sekitar 3 triliun parameter. Model ini punya 93 lapisan: 69 lapisan linear attention dan 24 lapisan dense.

Sebagai asumsi hitungan, Cerebras memakai ukuran permintaan rata-rata 256 ribu token, kuantisasi bobot 4 bit, dan KV cache 8 bit. Tiga asumsi ini penting, karena mengubah salah satunya akan mengubah hasil akhirnya.

Angka 44 GB ini juga menjelaskan kenapa desain wafer-scale berbeda dari GPU biasa. Memori yang menempel langsung di dalam chip membuat akses bobot menjadi sangat cepat, tetapi kapasitas tiap chip tetap terbatas.

Hitungan 59 Wafer: Lapisan Linear dan Lapisan Dense

Dengan bobot 4 bit, total 3 triliun parameter berubah menjadi beban sekitar 1,5 terabyte. Dibagi ke 93 lapisan, setiap lapisan membutuhkan sekitar 16 GB.

Di sinilah jenis lapisan menentukan hasil. Lapisan dense menyimpan kunci dan nilai untuk setiap token di setiap permintaan aktif, sehingga butuh ruang KV cache sendiri. Akibatnya, satu lapisan dense menempati satu wafer penuh, dan sisa memorinya dipakai untuk KV cache.

Lapisan linear attention berbeda. Lapisan ini hanya menyimpan state kecil yang ukurannya tetap untuk tiap permintaan, berapa pun panjang konteksnya. Karena itu, dua lapisan linear muat dalam satu wafer, karena 2 kali 16 GB sama dengan 32 GB.

Hitungan akhirnya sederhana: 69 lapisan linear dibagi dua menghasilkan 35 wafer, ditambah 24 wafer untuk lapisan dense. Totalnya 59 wafer, tanpa ada lapisan yang perlu dibelah ke dua chip.

Bobot Diam, Aktivasi yang Bergerak

Setelah model terbagi, Cerebras menyusun wafer-wafer itu menjadi satu pipa. Kompiler memetakan lapisan ke wilayah wafer, lalu runtime mengatur jalur token dari satu tahap ke tahap berikutnya.

Kuncinya ada pada satu prinsip: bobot tidak bergerak. Karena satu lapisan utuh muat di dalam chip, bobotnya tinggal di tempatnya dan tidak perlu dibongkar pasang.

Yang berpindah antar wafer hanyalah aktivasi, yaitu hasil antara dari tiap tahap. Perpindahan ini memakai RDMA lewat Ethernet, dengan waktu sekitar 2 mikrodetik per lompatan.

Bayangkan lini perakitan: wafer pertama menjalankan lapisan 1 dan 2, lalu mengirim hasilnya ke wafer kedua. Wafer kedua menjalankan lapisan 3 dan 4, dan begitu seterusnya sampai wafer terakhir menghasilkan token berikutnya.

Desain ini membalik cara berpikir lama soal inference. Alih-alih memindahkan bobot raksasa bolak-balik dari memori luar, sistem ini memindahkan hasil antara yang jauh lebih kecil.

Perbedaan ini terasa saat konteks permintaan memanjang. Pada lapisan dense, KV cache tumbuh bersama panjang konteks, sehingga ruang yang tersisa di wafer menyusut. Pada lapisan linear, state tetap kecil, sehingga beban tiap tahap lebih mudah diprediksi.

Antrean Panjang Tanpa Saling Menunggu

Sekilas, pipa ini terlihat boros. Kalau token harus melewati wafer satu per satu, bukankah sebagian besar wafer menganggur sambil menunggu giliran?

Jawabannya tidak, karena pipa itu selalu diisi penuh oleh permintaan yang berbeda. Saat tahap ketiga memproses token untuk permintaan A, tahap kedua memproses permintaan B, dan tahap pertama memproses permintaan C.

Setiap tahap juga bisa memproses micro-batch, yaitu kelompok kecil permintaan sekaligus. Jumlah permintaan yang sedang berjalan kira-kira sama dengan jumlah tahap dikali ukuran micro-batch.

Micro-batch kecil membuat tiap permintaan selesai lebih cepat, sedangkan micro-batch besar menaikkan total throughput. Batas atas jumlah permintaan bersamaan ditentukan oleh memori KV cache di wafer lapisan dense, karena setiap permintaan butuh KV cache sendiri di tiap wafer itu.

Dalam produksi, Cerebras memakai tahap yang jauh lebih halus dan jauh lebih banyak daripada satu lapisan per tahap. Prinsipnya sama, hanya granularitasnya yang lebih rapat.

Hasilnya, permintaan tidak perlu antre sampai permintaan lain selesai. Setiap permintaan mengalir terus, tahap demi tahap, seperti barang di ban berjalan yang tidak pernah berhenti.

Resep, Bukan Bukti Ukur

Ada satu catatan penting yang wajib dibaca dengan jujur. Cerebras sendiri menyebut Kimi K3 sebagai contoh ilustratif, bukan laporan hasil uji yang sudah dijalankan dan diverifikasi pihak independen.

Kecepatan 1.000 sampai 2.000 lebih token per detik adalah klaim untuk model multi-triliun parameter secara umum, bukan angka ukur yang terikat langsung pada susunan 59 wafer ini. Cerebras sendiri menegaskan bahwa metrik yang lebih jujur adalah throughput token per detik per megawatt pada kecepatan keluaran yang sama.

Meski begitu, tulisan ini tetap ramai dibahas, dengan ratusan poin dan lebih dari seratus komentar di Hacker News. Alasannya jelas: resepnya konkret dan bisa diperiksa, dari ukuran lapisan sampai waktu perpindahan antar wafer.

Bagi pembaca awam, angka 59 mungkin terdengar seperti pemborosan perangkat keras. Bagi insinyur inference, angka itu justru kabar baik: model sebesar ini akhirnya punya peta jalan yang bisa dihitung, bukan sekadar ditebak.

Pelajaran terbesarnya bukan soal angka 59. Pelajaran terbesarnya adalah arah desain inference ke depan: menjaga bobot tetap diam di dalam chip, dan memindahkan sesedikit mungkin data lainnya. Kalau kamu penasaran dengan proyek seputar AI dan perangkat keras seperti ini, mampirlah ke /projects untuk melihat karya yang pernah kubangun.