Itulah yang dipikirkan AI

Buku Kanerva telah memudar dari pandangan, dan bintang Hofstadter sendiri telah meredup — bahkan ketika dia sesekali mengangkat kepalanya untuk mengkritik sistem AI yang baru. Pada tahun 2018, ia menulis tentang Google Terjemahan dan teknologi serupa: “Masih ada kekurangan dalam pendekatan ini, yang diungkapkan dalam satu kata: untuk memahami” Namun GPT-4, yang dirilis pada tahun 2023, menghasilkan momen transformatif Hofstadter. “Beberapa hal dalam sistem ini membuat saya kesal,” katanya kepada saya baru-baru ini. “Itu tidak dapat dibayangkan bahkan sepuluh tahun yang lalu.” Para pendukung deflasi yang gigih tidak dapat lagi mengempiskannya. Ini adalah program yang dapat menerjemahkan, menganalogikan, memperkirakan, menggeneralisasi bersama seorang ahli. Siapakah kita yang tidak memahaminya? “Itu adalah sesuatu. Melakukan apa yang layak untuk dipikirkan,” katanya. “Anda dapat mengatakan bahwa hal tersebut memang layak dilakukan adalah Menurutku, dengan cara yang agak eksotis.”

LLM tampaknya memiliki mesin “melihat tepi” pada intinya. Mereka mewakili setiap kata dengan nomor urut yang menunjukkan koordinatnya – vektornya – dalam ruang berdimensi tinggi. Di GPT-4, sebuah vektor kata memiliki ribuan dimensi, yang menjelaskan persamaan dan perbedaannya pada setiap kata. Selama pelatihan, model bahasa besar mengubah kombinasi kata setiap kali membuat kesalahan prediksi; Kata-kata yang muncul bersamaan dalam teks didekatkan. Hal ini menciptakan representasi penggunaan dan makna yang sangat padat, di mana analogi menjadi persoalan geometri. Dalam contoh klasik, jika Anda mengambil vektor kata untuk “Paris”, kurangi “Prancis”, lalu tambahkan “Italia”, vektor terdekat lainnya adalah “Roma”. LLM dapat “memvektorkan” gambar dengan mengkodekan apa yang ada di dalamnya, suasana hati, bahkan ekspresi wajah manusia, dengan detail yang cukup untuk menggambar ulang dalam gaya tertentu atau menulis paragraf tentang gambar tersebut. Ketika Max meminta ChatGPT untuk membantu alat penyiram di taman, model tersebut tidak hanya menyemprotkan teks. Foto pipa ledeng dikompres menjadi vektor dengan petunjuk Max yang menangkap fitur-fitur terpentingnya. Vektor itu berfungsi sebagai alamat untuk memanggil kata-kata dan konsep-konsep terdekat. Ide-ide ini, pada gilirannya, menjadikan situasi sebagai model yang digunakan oleh orang lain. Ini menyusun tanggapan terhadap ide-ide itu “dalam pikiran”.

Beberapa bulan yang lalu, saya membaca wawancara dengan Trenton Bricken, seorang peneliti antropologi yang bekerja dengan rekan-rekannya untuk menyelidiki seri model AI perusahaan, Cloud Internals. (Penelitian mereka tidak ditinjau oleh rekan sejawat atau dipublikasikan dalam jurnal ilmiah.) Timnya mengidentifikasi kombinasi neuron buatan, atau “fitur”, yang diaktifkan ketika Claude mengucapkan satu kata atau lainnya. Fitur-fiturnya ternyata seperti kenop volume untuk konsepnya; Nyalakan dan model akan membicarakan hal lain. (Dalam semacam eksperimen pengendalian pikiran, fitur yang mewakili Jembatan Golden Gate diaktifkan; ketika pengguna menanyakan resep kue coklat kepada Claude, bahan yang disarankannya adalah “1/4 cangkir kabut kering” dan “1 cangkir air laut hangat”.

Haruskah kita terkejut dengan korespondensi antara AI dan otak kita sendiri? Bagaimanapun, LLM adalah jaringan saraf tiruan yang dikembangkan oleh psikolog dan ahli saraf. Yang lebih mengejutkan lagi adalah ketika para model mempraktikkan hafalan—memprediksi kata-kata—mereka mulai berperilaku seperti otak. Saat ini, bidang ilmu saraf dan kecerdasan buatan saling terkait; Ahli saraf menggunakan AI sebagai semacam model organisme. Evelina Fedorenko, seorang ahli saraf di MIT, menggunakan LL.M. untuk mempelajari bagaimana otak memproses bahasa. “Saya tidak pernah berpikir saya akan memikirkan hal-hal seperti ini seumur hidup saya,” katanya kepada saya. “Saya tidak pernah berpikir kita akan memiliki model yang cukup bagus.”

Sudah menjadi hal yang umum untuk mengatakan bahwa AI adalah kotak hitam, namun yang terjadi justru sebaliknya: seorang ilmuwan dapat memeriksa aktivitas neuron buatan individu dan bahkan mengubahnya. Kenneth Norman, ahli saraf di Princeton, mengatakan kepada saya, “Memiliki sistem kerja yang menginformasikan teori kecerdasan manusia—itulah impian ilmu saraf kognitif.” Norman telah membuat model komputer hipokampus, wilayah otak tempat memori episodik disimpan, namun di masa lalu, model tersebut sangat sederhana sehingga dia hanya dapat memberikan perkiraan kasar tentang apa yang mungkin masuk ke dalam pikiran manusia. “Sekarang Anda dapat memberikan model memori stimulus yang sama persis dengan yang Anda berikan kepada seseorang,” katanya.