Perdebatan Kiamat

Pertama kali diterbitkan oleh Vectors of Mind.

Salah satu topik dengan rasio sinyal terhadap derau terburuk adalah prospek kiamat akibat AI. Topik ini menuntut penalaran di bawah ketidakpastian mengenai kecerdasan, aljabar linear, politik, kesadaran, dan moralitas—yang sebagian besar berlangsung di Twitter/X. Tidak seorang pun mengetahui jawabannya, tetapi saya berharap dapat menyumbangkan sesuatu yang bernilai bagi diskursus ini. Sebelum membahasnya lebih jauh, izinkan saya memberikan beberapa alasan mengapa Anda seharusnya memercayai saya.

1. Saya memahami sisi teknisnya. Disertasi saya membahas Large Language Models (LLM).
2. Saya memahami kecerdasan, karena pernah mengerjakan bidang psikometri, termasuk pengujian kecerdasan. (Lebih tepatnya, pengujian Alzheimer dan gegar otak, yang sangat berkorelasi.)
3. Di blog ini saya telah banyak menulis tentang evolusi kecerdasan umum tingkat manusia (yang sejak awal telah saya hubungkan dengan AI dan psikometri).

Namun demikian, keyakinan saya mengenai AI (dan kesadaran, dalam hal ini) masih cukup terbuka untuk berubah, jadi jangan menganggap saya terikat pada apa pun yang saya katakan di sini. Selain itu, bagi mereka yang lebih menyukai audio, Askwho Casts AI telah membacakan tulisan ini. Jika Anda menikmatinya, pertimbangkan untuk membelikan mereka kopi melalui Patreon.

Perdebatan Kiamat - Oleh Andrew Cutler

Askwho Casts AI

Narasi AI untuk Perdebatan Kiamat - Oleh Andrew Cutler.

Frankenstein abad ke-21#

Untuk bersikap pedantis, Frankenstein adalah sang ilmuwan, bukan ciptaannya yang hidup. Bagi AI, bapak baptisnya adalah Geoffrey Hinton, yang berbagi Penghargaan Turing 2018 dengan Yoshua Bengio dan Yann LeCun atas kontribusi mereka pada jejaring saraf, arsitektur yang menopang ledakan AI saat ini. Tahun ini, ia membandingkan keputusan LeCun untuk menjadikan model bahasa Meta sebagai sumber terbuka dengan menjadikan senjata nuklir sebagai sumber terbuka dan berpendapat bahwa chatbot memiliki pengalaman subjektif. Inti perubahan pandangannya terhadap karya hidupnya adalah bahwa kemampuan AI telah melampaui imajinasinya yang paling liar, dan ia meyakini bahwa agensi manusia serta qualia hanyalah tabir asap. Jika Anda menyamakan kecerdasan dengan keterampilan dalam mengerjakan tugas (misalnya, menghasilkan gambar, mengemudikan mobil), dan membandingkan kemampuan AI sepuluh tahun lalu dengan sekarang, maka jelas bahwa dalam satu dekade AI akan lebih cerdas daripada kita. Tidak banyak kasus ketika entitas yang kurang cerdas menguasai pihak yang lebih unggul; oleh karena itu, karya hidupnya kemungkinan besar akan berbalik menyerang kita. Dr. Frankenstein modern: Geoffrey Hinton.

Dalam wawancara yang di-Tweet oleh Elon Musk, Hinton memberikan peluang 50/50 mengenai apakah manusia akan tetap memegang kendali dalam dua dekade mendatang atau bahkan dalam beberapa tahun. Belakangan, ia mencatat bahwa orang-orang yang ia hormati lebih penuh harapan, sehingga keadaannya mungkin tidak segelap itu, “Saya pikir peluang kita untuk selamat dari ini lebih besar daripada separuh. Namun, bukan berarti hanya ada peluang 1% bahwa [AI] akan mengambil alih. Peluangnya jauh lebih besar daripada itu.” Mengingat keadaan kita yang genting, intervensi yang disukai Hinton ternyata sangat santai: pemerintah seharusnya mewajibkan perusahaan AI mengalokasikan 20-30% sumber daya komputasi mereka untuk penelitian keselamatan. Mungkin ia sedang berpura-pura tidak tahu? Jika seseorang meyakini bahwa Llama 3 adalah aljabar linear sekelas senjata yang keturunannya mungkin segera mengakhiri umat manusia, mengapa melakukan serangan pendahuluan dengan sarung tangan anak domba? Pengiriman surat lebih banyak diatur.

Kaum Doomer#

Doomer adalah sebutan peyoratif bagi seseorang yang

1. memberikan peluang lebih tinggi daripada Anda bahwa robot akan mengambil alih, atau
2. menganggap prediksinya terlalu serius, sehingga merusak suasana.

Contoh prototipikal AI yang “tidak selaras” adalah asisten yang terus-menerus memperbaiki diri dan ditugaskan untuk memproduksi penjepit kertas. Asisten itu menjadi begitu mahir dalam pekerjaannya sehingga akhirnya mengubah seluruh logam di bumi—termasuk besi dalam darah Anda—menjadi penjepit kertas. Skenario ini tidak memerlukan pengarahan diri. Tugas akhirnya tetap ditentukan oleh manusia; hanya saja bot tersebut mengembangkan subtugas-subtugas yang, sayangnya, melibatkan darah Anda. Skenario lain membuat bot “terbangun” dan menjadi mampu mengarahkan dirinya sendiri seperti manusia. Seorang manusia yang tidak pernah tidur, telah membaca setiap makalah ilmiah, dapat meretas telepon apa pun di dunia, dan tidak memiliki keraguan untuk melakukan pemerasan atau xenocide. Gagasan semacam ini setidaknya telah ada sejak¹ tahun 1968 dalam Space Odyssey karya Stanley Kubrick: “Maaf, Dave. Saya khawatir saya tidak dapat melakukan itu.”

Pada 2000, setahun sebelum latar waktu Space Odyssey, Eliezer Yudkowsky mendirikan Singularity Institute for Artificial Intelligence (yang kemudian berganti nama menjadi Machine Intelligence Research Institute, MIRI). Sejak saat itu, ia dan para Rasionalis lainnya berpendapat bahwa AI kemungkinan besar akan mengambil alih selama masa hidup kita. Dalam satu dekade terakhir, teknologi telah menyusul. Argumen-argumennya menjadi arus utama, dan muncul, misalnya, di Time Magazine. Argumen-argumen tersebut telah diadopsi (atau disimpulkan secara mandiri) oleh para peneliti AI, Stephen Hawking, Elon Musk, dan bahkan Paus:

Tidak buruk bagi seorang otodidak yang mengasah kemampuannya dengan menulis fanfiksi Harry Potter. Yudkowsky dan kawan-kawan sangat produktif, dan argumen-argumen mereka tersebar di seluruh internet. Cara terbaik untuk mengejar ketertinggalan adalah podcast Dwarkesh Patel, yang memiliki episode berdurasi 4,5 jam baru-baru ini bersama Yudkowsky dan mantan peneliti keselamatan OpenAI, Leopold Aschenbrenner. Sebagian besar argumen tersebut bermuara pada sulitnya menempatkan sesuatu yang lebih cerdas daripada kita ke dalam sebuah kotak. Terutama jika sesuatu itu pada akhirnya keluar dari kotak, ia dapat menunggu diam-diam sambil mengumpulkan kekuatan. Sebagian doomer menganggap hal ini tak terelakkan karena menghasilkan kecerdasan buatan (agentik) begitu berguna. Anda memercayakan hidup Anda kepada asisten yang baik, dan perusahaan-perusahaan terbesar di dunia mengerahkan sumber daya mereka untuk membangun hal tersebut.

Begitu Anda menerima bahwa manusia sedang memanggil dewa silikon, masa depan menjadi proyeksi nilai-nilai Anda sendiri. Mungkin Tuhan itu Baik, dan Ia akan mengantarkan utopia. Mungkin Tuhan adalah Pembuat Jam yang tidak benar-benar peduli pada urusan manusia, dan kita akan menjalani hidup kurang lebih seperti semut hidup di Antroposen. Mungkin Tuhan melihat peternakan pabrik, mendengarkan Morrissey, lalu memutuskan bahwa 8 miliar manusia lebih sedikit akan lebih berkelanjutan. Atau mungkin kita memanggil penyiksa penjelajah waktu yang membalaskan dendam kepada mereka yang tidak berusaha sebaik mungkin untuk mewujudkannya. Musk bertemu Grimes dengan bercanda tentang hal itu.

Anti-Doomer AI#

Pada 1990-an dan awal 2000-an, NIPS, konferensi AI terkemuka, merupakan acara yang akrab dan sederhana, diselenggarakan di dekat pondok-pondok ski agar sekitar seratus peserta dapat membicarakan pekerjaan mereka sambil meluncur di lereng. Sejauh yang saya dengar, Yann LeCun adalah sosok yang agak pemarah dan selama beberapa dekade terus-menerus mengusik para presenter, menanyakan mengapa mereka tidak mempertimbangkan NN dalam eksperimen ini atau itu. Ia adalah ilmuwan brilian yang melihat potensinya jauh sebelum kapasitas komputasi mampu mengejar visinya. Karena itu, kini ia memimpin Meta AI. Menatap masa depan, rekan-rekannya sesama penerima Penghargaan Turing berpikir AI dapat mengakhiri kita (Hinton dengan peluang 50%, Bengio dengan 20%), yang bagi LeCun terdengar absurd.

Ia memandang AI sebagai alat yang tidak memiliki jalan untuk menjadi sesuatu yang lain. Francois Chollet adalah peneliti AI terkemuka lainnya yang telah menyiramkan air dingin pada gagasan tentang kepunahan kita yang segera terjadi. Dalam podcast Dwarkesh, ia menjelaskan bahwa banyak orang mencampuradukkan keterampilan dan kecerdasan, padahal keduanya pada dasarnya berbeda. Menurutnya, merupakan non sequitur untuk mengatakan bahwa bot yang dapat menjawab pertanyaan dalam sebuah tes sama “pintarnya” dengan seorang remaja. Ketika manusia mengikuti tes atau menavigasi dunia, mereka melakukan sesuatu yang sepenuhnya berbeda. AI saat ini tidak lebih cerdas daripada anak kecil atau bahkan tikus. Mereka tidak masuk papan skor karena sama sekali tidak memiliki pemikiran “Sistem 2”. Atau, sebagaimana dikatakan LeCun mengenai Model Bahasa Besar (LLM):

Dalam wawancara tersebut, Dwarkesh dengan baik mengenali titik kesepakatan antara kaum Doomer AI dan kaum inkrementalis. Semua pihak berpikir bahwa suatu jenis sistem metakognitif diperlukan, tetapi mereka berbeda pendapat mengenai seberapa sulit sistem itu dihasilkan.

Pandangan saya#

Sebagian besar pihak dalam perdebatan ini mengasumsikan bahwa agensi merupakan suatu komputasi—bahwa kesadaran kita akan kehendak bebas dan kemampuan untuk merencanakan merupakan hasil dari suatu program yang berjalan di dalam otak kita. Karena itu, jika saya harus mengubah pandangan kelompok ini secara paling mendasar, saya akan memberi mereka salinan Shadows of the Mind karya Roger Penrose dan 5 gram jamur: serangan penjepit gaya lama terhadap reduksionisme.

Penrose menerima Hadiah Nobel dalam fisika atas karyanya mengenai lubang hitam. Dalam Shadows, ia berpendapat bahwa keruntuhan kuantum di dalam otak menghasilkan kesadaran, yang tidak dapat disimulasikan oleh komputer mana pun. Bekerja bersama ahli anestesi Stuart Hameroff, ia mengemukakan bahwa proses ini berlangsung di dalam mikrotubulus otak, yang membentuk perancah di sekeliling neuron. Hal itu lebih masuk akal jika diucapkan keras-keras: “Otak menyimpan kuantum di dalam mikrotubulus.”

Di situlah jamur tadi berperan. Untuk menelan pil semacam itu, seseorang harus menyerahkan segala perasaan bahwa kesadaran itu bersifat biasa saja atau bahwa ia memahaminya. Para fisikawan sering kali mampu melakukannya tanpa zat apa pun; yang lain memerlukan sedikit keberanian dari jamur. Sebagai fisikawan, argumen Penrose sebagian besar bersifat matematis. Ia menafsirkan teorema ketidaklengkapan Gödel untuk menunjukkan bahwa ada pembuktian matematis tertentu yang tidak akan pernah dapat dilakukan AI karena AI adalah bot, yang sepenuhnya bersifat komputasional. Karena manusia tidak memiliki keterbatasan ini, ia berpendapat bahwa kognisi manusia, oleh sebab itu, bukanlah suatu komputasi. Dari sana, ia menyimpulkan bahwa unsur khusus biologis tersebut pasti berkaitan dengan keruntuhan kuantum, tempat terbaik untuk menemukan fenomena nonkomputasional di alam. Hal ini berpotensi memecahkan misteri-misteri lain dalam fisika, seperti kucing Schrödinger. Saya tidak menyampaikannya dengan cukup baik. Anda sebaiknya membaca bukunya atau, jika hanya memiliki waktu 20 menit, mendengarkan penjelasannya.

Ada banyak cara lain untuk sampai pada kesimpulan bahwa kesadaran mesin tidak mungkin terjadi, atau setidaknya berada di luar kemampuan kita untuk memprediksinya saat ini². Saya mengangkat Penrose untuk menunjukkan bagaimana linimasa AI berbenturan dengan pertanyaan-pertanyaan terbuka mengenai hakikat kecerdasan, agensi, dan alam semesta. Bahkan dalam bidang psikometri yang relatif membumi, definisi kecerdasan sangat diperdebatkan, begitu pula hubungannya dengan Intelligence Quotient. Kita bahkan tidak tahu bagaimana keterampilan dan kecerdasan berhubungan pada manusia. Semua ini terjadi sebelum kita sampai pada persoalan kehendak bebas dan teori fisika terpadu, yang menurut Penrose akan muncul dari uraian kuantum tentang kesadaran.

Meski demikian, jika saya harus menetapkan peluang AI menjadi risiko eksistensial, angkanya sekitar 10%. Bahkan jika kesadaran hanyalah suatu komputasi, saya setuju dengan LeCun dan Chollet bahwa metakognisi merupakan bagian yang sulit, dan “lepas landas secara mendadak” tidak mungkin terjadi. Dengan kata lain, akan ada tanda-tanda bahwa kecerdasan sejati sedang muncul, yang akan dapat kita tanggapi.

Selain itu, bahkan jika dewa silikon berhasil dipanggil, saya menilai cukup besar peluang bahwa Tuhan itu baik atau tidak peduli kepada kita. Kemungkinan kedua dapat bersifat kataklismik, tetapi kemungkinan besar, secara ketat, bukan eksistensial. Semut memang mengalami kesulitan ketika kita membangun jalan raya, tetapi mereka tetap dapat bertahan hidup.

Angka 10% berada di sekitar tingkat peluang dalam Russian Roulette, yang jelas bukan kabar baik. Itu menempatkan saya di kubu yang waspada terhadap AGI. Jadi, apa yang harus kita lakukan? Nah, Alcoholics Anonymous telah memecahkan persoalan ini beberapa dekade lalu:

Tuhan, berikanlah kepadaku ketenangan untuk menerima hal-hal yang tidak dapat kuubah,

Keberanian untuk mengubah hal-hal yang dapat kuubah,

Dan kebijaksanaan untuk mengetahui perbedaannya.

Secara praktis, kita ikut terbawa dalam perjalanan ini. Hal itu tidak berlaku bagi semua orang. Sebagian orang dapat bekerja dalam kebijakan publik atau keselamatan AI. Berdonasilah jika Anda mampu. Jangan berikan kepada mereka esensi Anda… eh, data Anda. Dan pikirkan secara mendalam seperti apa hubungan yang Anda inginkan dengan AI yang tidak mematikan, yang menyajikan iklan yang dipersonalisasi dan berusaha merayu Anda. Namun, ada harga dari kepanikan, dan saya tidak melihat jalan keluar dari perlombaan senjata AI. Mengingat kegunaan AI, perusahaan dan negara memiliki insentif yang sangat kuat untuk terus maju, dan mengoordinasikan laju penelitian yang lebih lambat merupakan hal yang sulit. Pemerintah telah mengelola risiko nuklir selama beberapa dekade, tetapi risiko AI lebih sulit karena tidak jelas apakah AI memang merupakan risiko atau apakah para pesaing menyepakatinya. Semua itu berlangsung ketika melanjutkan pengembangan menawarkan keuntungan finansial dan militer yang sangat besar.

Anehnya, semua ini membawa saya pada preferensi kebijakan Hinton: mewajibkan perusahaan AI mengalokasikan sejumlah persen kapasitas komputasi mereka untuk keselamatan AI³. Saya tidak yakin bagaimana kita bisa berakhir sepakat, mengingat ia berpikir bahwa chatbot memiliki perasaan. Chatbot yang sama yang dimunculkan (diperbudak?) oleh Big Tech dalam jumlah miliaran dan yang secara lahiriah sedang membawa kita menuju benturan sampai mati. Tampaknya jalan itu lebih dekat ke Jihad Butlerian, tetapi saya kira itu permainan anak muda.