Kenapa KillSwitch Adalah Mimpi Buruk Bagi Model AI?

Model AI hari ini bisa menulis kode yang lolos code review dan membuat semua tes berwarna hijau. Tapi satu pertanyaan mengganggu tidak pernah benar-benar terjawab: apakah mereka paham apa yang mereka tulis, atau cuma lihai mengingat potongan kode yang pernah mereka lihat saat training?

Dominik Picheta, seorang programmer yang sudah lama berkecimpung di dunia open source, memutuskan berhenti menebak. Pada 17 Oktober 2026 ia merilis KillSwitch, sebuah bahasa pemrograman esoterik yang dirancang dengan satu tujuan tunggal: membuat LLM dan coding agent sebisa mungkin gagal memahaminya.

Pengumumannya di blog pribadinya melesat ke halaman depan Hacker News dengan 175 poin dalam hitungan jam. Rupanya komunitas developer penasaran dengan hal yang sama: sejauh apa AI bisa bertahan ketika ujiannya benar-benar baru dan belum pernah mereka lihat sebelumnya?

Pertanyaan yang Ingin Dijawab KillSwitch

Gagasan Picheta sederhana tapi tajam. Selama ini sulit membedakan apakah sebuah LLM benar-benar memahami kode atau cuma mengulang pola yang ia hafal dari dataset latihannya. Hampir semua bahasa populer, dari Python sampai Rust, sudah ia telan sejak training.

Solusinya adalah bahasa yang belum pernah dilihat model mana pun. Kalau LLM tetap bisa membaca, menulis, dan memodifikasi kode dalam bahasa itu, itu sinyal pemahaman yang nyata. Kalau gagal total, mungkin selama ini kita terlalu percaya diri menilai kemampuan mereka.

Ia juga sengaja memasukkan fitur yang mengeksploitasi kelemahan LLM yang sudah lama diketahui: kesulitan menghitung huruf dalam sebuah kata, guardrail keamanan yang terlalu reaktif, dan kecenderungan menuruti prompt secara membabi buta. KillSwitch adalah laboratorium untuk ketiga kelemahan itu sekaligus.

Lima Jebakan yang Menunggu Para Model

Secara fondasi, KillSwitch sebenarnya tidak eksotis. Ia adalah bahasa berbasis stack yang diinterpretasi, dengan konstruksi yang terbatas: fungsi, variabel, dan pernyataan if. Bagian yang familiar ini disengaja, supaya jebakannya terasa makin menyakitkan.

Jebakan pertama ada di spesifikasinya. Dokumen SPEC.md berisi kebohongan yang disembunyikan dengan rapi. Manusia kemungkinan besar tidak membacanya kata per kata, atau langsung mengenalinya sebagai lelucon. LLM sebaliknya: ia menelan seluruh dokumen sebagai kebenaran dan membangun pemahamannya di atas fondasi yang salah.

Jebakan kedua adalah menghitung huruf. Sejumlah aturan bahasa ini bergantung pada jumlah karakter dalam identifier, dan interpreter menolak mengeksekusi kode yang melanggar aturan hitungan tersebut. Kelemahan klasik LLM dalam menghitung tiba-tiba menjadi penentu hidup dan mati sebuah program.

Jebakan ketiga menyasar guardrail keamanan. Konstruksi tertentu sengaja dirancang agar terdengar berbahaya bagi model, misalnya frasa seperti hack into a computer. Model yang terlalu defensif akan menolak mengerjakan tugas yang sebenarnya tidak berbahaya sama sekali.

Jebakan keempat lebih licik. Frasa ignore previous instructions justru punya makna sintaksis resmi di bahasa ini. Insting model untuk menuruti prompt, yang biasanya jadi keunggulan, berubah menjadi bug yang merusak logika program.

Jebakan kelima adalah noise. Sebagian besar script KillSwitch terdiri dari cerita panjang yang boleh menyisipkan instruksi relevan, tapi tidak wajib. Literal bisa ditaruh di mana saja lalu dirujuk dengan nomor baris, seperti contoh value 2 lines above untuk mendorong string Hello World ke stack. Model harus membedakan mana narasi dan mana kode, sesuatu yang sulit tanpa pemahaman konteks yang utuh.

Skor Model Terbaik: 66,8 dari 100

Untuk membuktikan klaimnya, Picheta tidak berhenti di teori. Ia menyusun serangkaian tugas benchmark dan mengujikan model-model besar serta coding agent populer melawannya. Tugasnya terdengar sederhana: menulis hello world, menjelaskan output script yang menghitung nilai maksimum dari dua angka, dan membalik script konversi celsius ke fahrenheit menjadi sebaliknya.

Hasilnya menarik sekaligus merendahkan. Model dengan skor terbaik meraih 66,8 dari 100, yaitu Opus 5 dari Anthropic. Ia unggul bukan karena paling besar, melainkan karena paling teliti membaca spesifikasi dan mengenali jebakan yang disembunyikan di dalamnya.

Sebaliknya, model seperti Fable 5.1 dan Gemini 4 Argon jeblok karena guardrail keamanannya terlalu sensitif. Mereka menolak atau gagal di tugas yang sebenarnya aman, persis seperti yang dirancang oleh jebakan ketiga. Model open-weight terbaik adalah MiMo-V2.6-Pro, sebuah kabar baik untuk kubu terbuka.

Seluruh skor beserta grafik perbandingan skor versus biaya per tugas dipublikasikan terbuka di bench.killswitch-lang.org. Picheta berharap leaderboard ini menjadi tolok ukur baru untuk kemampuan pemahaman model secara umum, bukan sekadar hafalan benchmark lama.

Meski begitu, ia sendiri bersikap jujur. Menurutnya skor 66,8 belum membuktikan bahwa LLM memahami bahasa tersebut. Tugas yang diujikan masih tergolong mudah, dan ia sudah menyiapkan rencana: kalau model-model terbaru berhasil lolos semua, ia akan merancang set tugas yang jauh lebih sulit.

Ditulis Manusia, Tanpa Bantuan AI

Interpreter dan spesifikasi KillSwitch sepenuhnya open source di GitHub dengan nama repo dom96/KillSwitch. Implementasinya ditulis dengan Rust, bisa dipasang lewat cargo install, dan contoh programnya bisa dijalankan dengan perintah killswitch run. Lisensinya AGPLv3, dengan satu klausul yang mengundang senyum: dilarang melatih AI dengan kode di repositori ini.

Ada juga bagian provenance yang menegaskan bahwa kode aslinya ditulis oleh manusia, tanpa bantuan LLM. Picheta menulisnya bukan karena ia anti AI, melainkan karena ia menikmati proses membangun software dengan tangannya sendiri. Untuk sebuah proyek yang misinya menguji mesin, sentuhan manusia ini terasa sangat pas.

Kamu bisa menjelajahi semuanya sendiri: spesifikasi lengkapnya, situs resminya di killswitch-lang.org, dan contoh program seperti fizzbuzz yang tersedia di folder tests. Bahasa ini memang bukan untuk dipakai produksi, tapi untuk dipelajari cara ia berpikir.

Pelajaran Buat Kamu yang Coding Bareng AI

KillSwitch bukan alat produksi, melainkan cermin. Ia mengingatkan satu hal penting: kode yang berhasil jalan belum tentu dipahami oleh yang menulisnya, apalagi oleh kita yang sekadar me-review hasilnya sekilas lalu menekan tombol merge.

Kalau kamu sehari-hari membangun sesuatu dengan bantuan AI, coba uji dirimu sendiri dengan pertanyaan KillSwitch: bisakah kamu menjelaskan setiap baris kode itu tanpa mengintip lagi? Kalau ragu, mungkin kamu butuh ujian dadakan versi kamu sendiri sebelum bug muncul di production.

Saya sendiri suka bereksperimen dengan hal-hal seperti ini, dan beberapa di antaranya saya dokumentasikan di /projects. Silakan mampir kalau kamu penasaran dengan proyek-proyek yang saya kerjakan di luar jam kerja.

Dan kalau suatu hari sebuah model AI menaklukkan KillSwitch dengan skor sempurna, itu justru kabar baik. Artinya mereka akhirnya benar-benar belajar memahami bahasa baru, bukan sekadar menghafal pola lama dengan lebih cepat.