AI Tidak Boleh Berlari Lebih Cepat daripada Kemampuan Manusia Mengendalikannya
Tentang kecepatan, kendali, dan utang tata kelola di zaman kecerdasan buatan.
Kemajuan teknologi hampir selalu diukur dari apa yang sudah dapat dilakukan.
Komputer semakin cepat. Robot semakin presisi. Pesawat semakin canggih. Artificial Intelligence semakin pintar.
Tetapi mungkin ada pertanyaan lain yang sama pentingnya:
Apakah kemampuan manusia untuk memahami dan mengendalikan teknologi tersebut tumbuh secepat kemampuan teknologinya?
Pertanyaan ini menjadi semakin penting ketika kita berbicara tentang Artificial Intelligence.
Pada September 2026, CEO Anthropic Dario Amodei menerbitkan esai We Must Pace the Frontier. Ia berpendapat bahwa perkembangan kemampuan AI frontier bergerak sangat cepat, sementara alignment, security, safeguards, dan policy harus mampu mengejar kenaikan capability tersebut.
Gagasan itu membawa saya pada sebuah prinsip sederhana:
1. Masalahnya Bukan Sekadar AI Menjadi Lebih Pintar
Manusia sudah berulang kali menciptakan mesin yang jauh lebih kuat daripada dirinya. Excavator lebih kuat daripada tangan manusia. Pesawat terbang lebih cepat daripada manusia berlari. Komputer dapat menghitung jauh lebih cepat daripada otak manusia.
Kita tidak merasa harus menjadi lebih kuat daripada excavator untuk mengendalikannya. Kita juga tidak perlu bisa terbang untuk menjadi pilot. Yang kita perlukan adalah pemahaman dan sistem kendali.
Pesawat modern memiliki cockpit, sensor, prosedur keselamatan, checklist, redundancy, air traffic control, maintenance schedule, investigasi kecelakaan, hingga regulator penerbangan. Artinya, meningkatnya kemampuan teknologi biasanya diikuti dengan berkembangnya lapisan pengendalian di sekelilingnya.
AI menghadirkan persoalan yang sedikit berbeda. Mesin sebelumnya biasanya meningkatkan kemampuan fisik manusia. AI mulai meningkatkan sesuatu yang selama ini menjadi alat utama manusia untuk mengendalikan mesin-mesin tersebut: kemampuan berpikir.
AI dapat membaca, menulis, membuat program, menganalisis data, mengoperasikan tools, menyusun strategi, dan semakin banyak sistem AI mulai dapat menjalankan rangkaian pekerjaan secara relatif mandiri melalui AI agents.
Karena itu, persoalannya bukan lagi hanya: “Seberapa pintar AI dapat kita buat?” tetapi juga: “Apakah kita masih memahami apa yang sedang kita bangun?”
2. Empat Kemampuan yang Harus Mengejar AI
Understand — Memahami
Kita harus memiliki kemampuan yang cukup untuk memahami bagaimana sistem AI bekerja dan mengapa ia menghasilkan keputusan tertentu. Model AI modern terdiri dari jaringan komputasi yang sangat besar. Kita dapat mengetahui bagaimana model dilatih, tetapi memahami secara persis mengapa suatu pola internal muncul atau mengapa sebuah jawaban tertentu dihasilkan dapat jauh lebih sulit.
Semakin penting keputusan yang diserahkan kepada AI, semakin penting pula kemampuan manusia memahami perilakunya. Inilah salah satu alasan riset seperti mechanistic interpretability menjadi penting. Kita tidak hanya ingin mengetahui apa yang dilakukan sebuah AI. Kita ingin memahami mengapa.
Control — Mengendalikan
Sistem yang kuat membutuhkan mekanisme kontrol. Sebuah AI harus mempunyai batas mengenai data apa yang boleh diakses, sistem apa yang boleh diubah, tindakan apa yang boleh dilakukan, siapa yang memberikan otorisasi, dan kapan manusia harus mengambil alih keputusan.
Prinsip ini sebenarnya bukan hal baru. Dalam engineering, kita mengenal control system. Dalam cybersecurity, kita mengenal access control. Dalam organisasi, kita mengenal authorization. Dalam penerbangan, kita mengenal flight control.
Semakin besar energi atau kemampuan yang dimiliki sebuah sistem, semakin serius pula mekanisme kontrol yang dibutuhkan. AI seharusnya tidak berbeda.
Audit — Memeriksa
Kepercayaan saja tidak cukup. Sistem yang kompleks membutuhkan kemampuan untuk diperiksa.
Kita harus dapat mengetahui apa yang dilakukan AI, data apa yang diaksesnya, keputusan apa yang dibuatnya, perintah siapa yang dijalankannya, dan apakah ia melakukan sesuatu yang tidak diperintahkan.
Karena itulah logging, monitoring, evaluation, red-teaming, dan independent audit menjadi penting. Anthropic, misalnya, menggunakan Responsible Scaling Policy untuk menghubungkan peningkatan kemampuan model dengan evaluasi risiko dan mitigasi yang harus diterapkan.
Tanpa auditability, sistem yang sangat pintar dapat berubah menjadi sebuah black box yang sangat berkuasa.
Secure — Mengamankan
Kemampuan AI tidak hanya harus dikendalikan dari dalam. Ia juga harus dilindungi dari luar.
Model AI, infrastructure, training data, credentials, API, dan sistem yang terhubung dengannya merupakan bagian dari permukaan serangan. Semakin besar kemampuan AI, semakin besar pula akibatnya apabila sistem tersebut dicuri, dimanipulasi, atau digunakan oleh pihak yang salah.
Karena itu cybersecurity bukan bagian tambahan dari AI. Ia menjadi bagian dari fondasinya.
3. Ketika Capability Lebih Cepat daripada Governance
Dari sini kita dapat membuat sebuah model sederhana.
G = Governance Capacity
Idealnya:
Artinya, kemampuan yang diberikan kepada sebuah sistem tidak melampaui kemampuan kita untuk mengendalikan konsekuensinya.
Tetapi ketika:
muncul sesuatu yang saya sebut sebagai:
Konsepnya mirip dengan technical debt dalam software engineering. Technical debt muncul ketika kita membangun sistem terlalu cepat sehingga sejumlah masalah teknis ditunda untuk diselesaikan kemudian.
Pada awalnya sistem masih berjalan. Tetapi hutangnya menumpuk. Arsitektur menjadi semakin sulit diperbaiki. Bug meningkat. Perubahan menjadi mahal. Pada akhirnya sistem menjadi rapuh.
Governance debt bekerja dengan cara yang hampir sama. Kita meningkatkan kemampuan suatu sistem tanpa secara bersamaan meningkatkan security, oversight, documentation, auditability, alignment, incident response, dan human control.
Pada awalnya semuanya mungkin terlihat baik-baik saja. Kemampuan baru bahkan terasa mengagumkan. Tetapi kesenjangan antara apa yang dapat dilakukan sistem dan apa yang mampu kita kendalikan terus melebar. Dan hutang itu suatu hari harus dibayar.
4. Kecepatan Bukan Selalu Kemajuan
Ada kecenderungan dalam teknologi untuk menganggap bahwa lebih cepat selalu berarti lebih baik. Model lebih cepat. Release lebih cepat. Training lebih besar. Context lebih panjang. Agent lebih mandiri. Benchmark lebih tinggi.
Tetapi engineering mengajarkan sesuatu yang berbeda. Kecepatan hanyalah salah satu parameter.
Pesawat tercepat bukan otomatis pesawat terbaik. Mobil tercepat bukan otomatis kendaraan terbaik. Komputer dengan performa tertinggi bukan otomatis sistem paling baik.
Ada reliability, safety, efficiency, maintainability, security, dan manusia yang harus menggunakan semuanya.
Karena itu AI yang semakin kuat tidak otomatis berarti AI yang semakin baik. Kemajuan yang sesungguhnya terjadi ketika capability naik, dan kemampuan manusia untuk mengelolanya ikut naik.
5. Recursive Improvement Mengubah Persoalan
Ada satu hal yang membuat AI berbeda dari banyak teknologi sebelumnya. AI sekarang mulai membantu manusia membangun AI berikutnya.
AI membantu membuat kode, menganalisis eksperimen, membantu riset, mengoptimalkan sistem, dan membantu engineering. Amodei menunjuk kemampuan AI untuk mempercepat R&D AI sebagai salah satu alasan mengapa frontier development perlu diperhatikan secara khusus.
Jika manusia membuat AI, kemudian AI membantu manusia membuat AI berikutnya, lalu AI yang lebih pintar membantu membuat generasi setelahnya, maka perkembangan teknologi tidak lagi sepenuhnya mengikuti kecepatan kerja manusia.
Dalam kondisi seperti ini, masalah utama kita mungkin bukan apakah manusia mampu membuat AI semakin pintar. Kemungkinan besar kita mampu.
Pertanyaan yang lebih sulit adalah: apakah kemampuan memahami dan mengendalikan AI dapat meningkat dengan kecepatan yang sama?
6. Pacing Bukan Berarti Berhenti
Karena itu, pacing tidak seharusnya dipahami sebagai ketakutan terhadap teknologi. Sebaliknya, pacing adalah prinsip engineering.
Kita tetap maju. Tetapi kita tidak menambah capability tanpa memastikan fondasinya mampu menanggung capability tersebut.
Seperti membangun gedung. Kita dapat terus menambah lantai. Tetapi kemampuan fondasi harus diperhitungkan. Semakin tinggi bangunannya, semakin serius struktur yang menopangnya.
Artificial Intelligence juga membutuhkan fondasi: Understanding. Control. Auditability. Security. Dan di atas semuanya: Governance.
7. Masalah Ini Tidak Hanya Milik Perusahaan AI
Mudah menganggap masalah tersebut hanya urusan perusahaan-perusahaan yang membangun frontier models. Menurut saya tidak.
Prinsip yang sama berlaku dalam skala yang jauh lebih kecil. Bayangkan suatu hari saya membangun sebuah sistem yang dapat membaca seluruh dokumen organisasi, mengakses database, mengirim email, menulis kode, menjalankan server, mengelola media sosial, atau melakukan transaksi otomatis.
Pertanyaan pertama seharusnya bukan: “Bisakah AI melakukan semuanya?”
Pertanyaan yang lebih penting adalah: “Seberapa besar akses yang layak saya berikan?”
Apakah setiap tindakan tercatat? Apakah ada izin yang berbeda untuk membaca dan mengubah? Apakah ada tindakan yang membutuhkan persetujuan manusia? Apakah sistem dapat dihentikan? Apakah ada backup? Apakah ada audit trail? Apakah credential terlindungi?
Semakin banyak pekerjaan yang kita serahkan kepada mesin, semakin penting pertanyaan-pertanyaan tersebut.
8. Dari Human in the Loop Menuju Human in Command
Kita sering mendengar istilah human in the loop: manusia masih terlibat dalam proses yang dilakukan AI.
Tetapi untuk sistem yang semakin kuat, mungkin prinsip yang lebih penting adalah:
Manusia tidak harus melakukan setiap pekerjaan. Manusia juga tidak harus menyetujui setiap tindakan kecil. Tetapi manusia harus tetap menentukan tujuan, batas, otoritas, aturan, dan kondisi penghentian sistem.
AI dapat semakin otonom dalam execution. Namun manusia harus tetap memiliki otoritas pada governance. Karena delegasi bukan berarti kehilangan kendali.
9. Teknologi yang Bertahan Lama Membutuhkan Governance
Sejarah engineering menunjukkan bahwa teknologi yang matang biasanya tidak hanya berkembang dalam kemampuan. Di sekelilingnya tumbuh suatu ekosistem: standar, profesi, audit, regulasi, prosedur, etika, investigasi, sertifikasi, dokumentasi, dan institusi.
Penerbangan modern tidak menjadi aman hanya karena pesawatnya semakin bagus. Ia menjadi aman karena manusia membangun seluruh sistem governance di sekeliling pesawat.
Kemungkinan besar AI akan membutuhkan perjalanan yang sama. Tetapi ada satu perbedaannya: kita mungkin mempunyai waktu yang jauh lebih sedikit.
10. Pertanyaan untuk Generasi Saya
Saya tumbuh pada masa ketika Artificial Intelligence berkembang dari sebuah teknologi yang membantu manusia menulis teks menjadi sistem yang mulai mampu melakukan pekerjaan kompleks.
Mungkin ketika generasi saya dewasa, AI akan menjadi bagian biasa dari hampir semua pekerjaan. Kami mungkin tidak lagi bertanya: “Apakah kita perlu menggunakan AI?”
Pertanyaannya mungkin berubah menjadi: “Seberapa besar keputusan yang masih harus dibuat manusia?”
Karena itu kemampuan menggunakan AI saja tidak cukup. Generasi saya juga perlu memahami bagaimana AI bekerja, bagaimana membatasi aksesnya, bagaimana membaca hasilnya secara kritis, bagaimana mengetahui ketika ia salah, bagaimana mengaudit tindakannya, dan bagaimana mengamankannya.
Mungkin literasi AI masa depan bukan sekadar kemampuan membuat prompt.
Literasi AI adalah kemampuan hidup bersama sistem yang jauh lebih cerdas tanpa menyerahkan seluruh kendali kepadanya.
Penutup
AI dapat menjadi salah satu teknologi paling bermanfaat yang pernah diciptakan manusia. Ia dapat membantu sains, pendidikan, kedokteran, engineering, ekonomi, dan mungkin membantu kita menyelesaikan masalah yang saat ini belum dapat kita pecahkan.
Karena itulah kita harus membangunnya dengan serius. Bukan dengan ketakutan. Tetapi juga bukan dengan kecerobohan.
Kemajuan teknologi tidak seharusnya hanya diukur dari seberapa cepat kita dapat membuat mesin menjadi lebih pintar. Kemajuan juga harus diukur dari seberapa baik kita mampu memahami dan mengendalikan apa yang telah kita ciptakan.
Capability should never outrun our capacity for understanding, control, audit, and security.
Atau dalam bahasa yang lebih sederhana:
Kemampuan AI jangan berkembang lebih cepat daripada kemampuan manusia untuk memahami, mengendalikan, mengaudit, dan mengamankannya.
Karena teknologi yang paling maju bukan teknologi yang berlari paling cepat.
Tetapi teknologi yang dapat terus maju tanpa membuat manusia kehilangan kendali atas arah perjalanannya.
Governance Debt
Capability ≤ Governance Capacity
Jika Capability > Governance Capacity, maka terbentuk Governance Debt.
Semakin lama kesenjangan tersebut dibiarkan, semakin besar risiko yang diwariskan kepada sistem dan generasi berikutnya.