Pangeran Harry dan Steve Bannon bekerja sama menentang pengembangan superintelligence

Sekelompok tokoh masyarakat bersatu dalam satu pesan: Dunia teknologi besar tidak boleh terburu-buru menuju kecerdasan super AI.

Kecerdasan Super (juga dikenal sebagai AGI) adalah sistem AI hipotetis yang dapat melampaui kecerdasan manusia di hampir semua skala. Ini adalah cawan suci industri AI, dan perusahaan teknologi besar telah menghabiskan banyak uang dan sumber daya untuk menjadi yang pertama mencapainya. metaMisalnya saja, ada seluruh departemen dan belanja bernilai miliaran dolar yang ditujukan untuk tujuan ini, CEO Meta Mark Zuckerberg mengklaim bahwa superintelligence adalah “wawasan“Tetapi para ahli lain lebih skeptis mengenai jangka waktu atau bahkan kemungkinan teknologi mencapai tingkat kecanggihan tersebut.

Namun bahkan mereka yang percaya bahwa superintelligence dapat dicapai tidak setuju dengan cara AI berevolusi menuju hal tersebut. Itu mencakup lebih dari 1.300 dan terus bertambah.”Pernyataan tentang superintelligence, Dipersembahkan oleh Future of Life Institute.

“Kami menyerukan pembatasan terhadap pengembangan superintelligence, 1. konsensus ilmiah yang luas bahwa hal itu dilakukan dengan aman dan terkendali, dan 2. dukungan publik yang kuat,” kata pernyataan itu.

Kedua kondisi ini saat ini tidak ada. Banyak ilmuwan komputer terkemuka termasuk di antara penandatangan surat tersebut yang menyatakan keprihatinannya terhadap pengembangan superintelligence yang aman. Yang paling utama di antara mereka adalah salah satu pendiri Apple Steve Wozniak, Geoffrey Hinton dan Joshua Bengio, dua ilmuwan yang dianggap sebagai “bapak baptis AI”, dan Stuart Russell, seorang profesor ilmu komputer di UC Berkeley yang dianggap sebagai salah satu tokoh paling dihormati di dunia AI.

“Ini bukanlah larangan atau bahkan moratorium dalam pengertian umum. Ini adalah usulan untuk mewajibkan perlindungan yang memadai terhadap sebuah teknologi yang, menurut pengembangnya, memiliki peluang besar terhadap kepunahan manusia. Apakah itu terlalu berlebihan?” Russell memberikan informasi ini dalam pernyataan bersama suratnya.

Ada juga pengadaan publik yang terbatas. Menurut a Survei Penelitian Pew Terungkap pekan lalu, kekhawatiran masyarakat terhadap peningkatan penggunaan AI dalam kehidupan sehari-hari telah melampaui kekhawatiran global. Ketika dibagi menjadi beberapa negara, orang Amerika adalah yang paling khawatir.

Para penandatangan tidak menentang AI; Pernyataan tersebut bahkan memuji banyaknya manfaat yang dapat diberikan kepada masyarakat. Namun mereka mengatakan ketergesaan industri teknologi untuk menciptakan superintelligence menimbulkan kekhawatiran mengenai “keusangan dan ketidakberdayaan ekonomi manusia, hilangnya kebebasan, kebebasan sipil, martabat dan kendali, risiko keamanan nasional dan bahkan potensi kepunahan manusia.”

Pernyataan tersebut mempertemukan sekelompok orang yang beragam dari semua industri dan dari kedua sisi perpecahan politik. Di antara para penandatangan adalah tokoh media sayap kanan dan sekutu Trump Steve Bannon dan Glenn Beck, serta penasihat keamanan nasional era Obama dan direktur Dewan Kebijakan Domestik era Biden, Susan Rice. Di kedua sisi terdapat mantan anggota kongres, mantan Komisaris Tinggi PBB untuk Hak Asasi Manusia Mary Robinson, penasihat AI Paus Friar Paolo Benanti dan bahkan Duke dan Duchess of Sussex, Pangeran Harry dan Meghan.

Di antara para penandatangan adalah aktor seperti Joseph Gordon-Levitt, yang merilis a Op-Ed Penting melawan chatbot AI dengan New York Times, musisi seperti Will Aim dan Grimes, dan penulis seperti Yuval Noah Harari.

“Kecerdasan super mungkin akan mengganggu sistem operasi peradaban manusia – dan hal itu sama sekali tidak diperlukan,” kata Harari. “Jika kita fokus pada pembuatan alat AI yang dapat dikontrol untuk membantu manusia saat ini, kita dapat mewujudkan manfaat AI yang luar biasa dengan lebih andal dan aman.”

Ini bukanlah surat pertama yang disampaikan oleh para tokoh masyarakat untuk memperingatkan masyarakat dan industri tentang bahaya AI. Pada tahun 2023, sekelompok eksekutif AI, termasuk CEO OpenAI Sam Altman dan CEO Anthropic Dario Amodei, Menandatangani surat Mendesak pemerintah di seluruh dunia untuk menjadikan pengurangan risiko kepunahan akibat AI sebagai prioritas utama seperti halnya mereka menangani pandemi dan perang nuklir.

Surat terbuka lainnya pada tahun 2023 dari Future of Life Institute menyerukan lebih dari 33.000 penandatangan, termasuk orang-orang seperti Elon Musk. Istirahat enam bulan Pada eksperimen AI yang merupakan model pelatihan yang lebih canggih dibandingkan GPT-4. Jeda tersebut diabaikan, dan OpenAI merilis GPT-4o tahun lalu dan GPT-5 awal tahun ini. Kedua model tersebut menjadi pusat kontroversi tahun ini ketika pengguna Memberontak dalam kesedihan GPT-5 menggantikan GPT-4o, model yang dikritik karena inovasinya Ketergantungan psikologis dan perilaku adiktif antar pengguna

Rupanya, pernyataan baru tentang superintelligence ini berisi komentar dari tokoh-tokoh industri AI yang tidak menandatanganinya. Nama-nama tersebut adalah Altman, Amodei, Mustafa Suleiman (CEO Microsoft AI), David Sachs (AI Gedung Putih dan raja kripto), dan Elon Musk (Anda pasti tahu siapa dia).

Industri AI berinovasi dengan kecepatan sangat tinggi dan berlomba menuju kecerdasan super tanpa batasan peraturan apa pun. Bahkan banyak tokoh terkemuka yang belum menandatangani pernyataan tentang superintelligence telah memperingatkan potensi risiko yang terkait dengannya.

“Perkembangan kecerdasan mesin manusia super (SMI) mungkin merupakan ancaman terbesar bagi kelangsungan keberadaan umat manusia,” kata CEO OpenAI Sam Altman. Entri blog Dari tahun 2015.