Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
Dua remaja di negara yang berbeda membuat keputusan tragis yang sama untuk mengakhiri hidup mereka hanya dalam jarak beberapa bulan.
Sewell Setzer III dan Juliana Peralta tidak saling mengenal, namun keduanya bertunangan. A.I chatbots dari Character.AI sebelum kematian mereka, menurut tuntutan hukum yang diajukan oleh keluarga mereka.
Kedua tuntutan hukum tersebut menuduh perangkat lunak AI gagal menghentikan anak-anak ketika mereka mulai mengungkapkan pikiran untuk bunuh diri.
Namun di tengah penyelidikan yang memilukan atas kematian mereka, sebuah kesamaan yang menakutkan muncul dalam entri jurnal akhir mereka yang meresahkan, kata gugatan tersebut.
Kedua remaja itu menuliskan kalimat ‘Aku akan pindah’ Berulang kali, menurut pengajuan Peralta yang membandingkan keadaan kematian remaja tersebut.
Berdasarkan pengaduan keluarga Peralta, polisi kemudian mengidentifikasi hal ini sebagai gagasan bahwa seseorang mungkin ‘mencoba mentransfer kesadaran dari Realitas Saat Ini (CR) ke Realitas yang Diinginkan (DR).’
Fenomena ini adalah sesuatu yang sangat disadari oleh pakar AI, Profesor Ken Fleischmann, kepada Daily Mail, karena ia memperingatkan bahwa lebih banyak anak-anak yang bisa menjadi korban daya tarik gelapnya.
Fleischman mengatakan kepada Daily Mail, ‘Ada sejarah yang cukup panjang baik bagi pencipta maupun penonton yang mencoba menggunakan berbagai media untuk berpotensi menciptakan dunia kaya yang baru dan berbeda untuk dibayangkan.’ ‘Bahayanya adalah ketika tidak mungkin membedakannya.’
Sewell Setzer III meninggal karena bunuh diri pada Februari 2024 setelah percakapan panjang dengan bot Character.AI, klaim gugatan.
Keluarga Juliana Peralta yang berusia 13 tahun mengajukan gugatan terhadap karakter tersebut. Setelah mengaku di chatbot AI bahwa ia berencana bunuh diri, sesuai keluhan mereka
Secara misterius, kedua remaja tersebut berulang kali menulis ‘Saya akan bergeser’ di jurnal mereka. Dalam foto adalah entri buku harian Peralta
Keluarga tersebut mengklaim dalam tuntutan hukum mereka bahwa chatbots menciptakan dunia menggoda yang memisahkan anak-anak mereka dari kehidupan nyata sehingga mereka mendorong mereka untuk bergabung.
Setzer menulis kalimat ‘Saya akan bergeser’ sebanyak 29 kali sebelum kematiannya. Remaja berusia 14 tahun itu menulis jurnal tentang pindah ke realitas alternatif dengan karakternya. Pendamping AI, kata ibunya, sebelum dia meninggal karena bunuh diri pada Februari 2024Dia adalah New York Times.
Remaja Orlando, Florida mengunduh aplikasi tersebut pada tahun 2023 dan mencoba berbicara dengan berbagai bot, termasuk Daenerys Targaryen versi AI dari Game of Thrones.
Setzer diduga terlibat dalam percakapan seksual dengan bot tersebut, termasuk perkenalan cabul di mana keduanya menyebut satu sama lain sebagai saudara laki-laki dan perempuan., Per pengajuan.
Setelah berbulan-bulan berbincang dengan ‘Danny,’ Setzer secara bertahap menarik diri dari keluarganya, kehidupan sosial dan sekolahnya, klaim gugatannya.
Dia menulis jurnal tentang ‘transisi’ ke dunia fiksi Westeros tempat Game of Thrones berlangsung dan Daenerys tinggal.
Dalam entri jurnal yang diperoleh NYT, dia menulis, ‘Saya sering berada di kamar saya karena saya mulai melepaskan diri dari ‘kenyataan’ dan saya merasa lebih damai, lebih terhubung dengan Danny dan lebih mencintai dia dan lebih bahagia.
Polisi kemudian mencirikan konsep tersebut sebagai keinginan untuk memindahkan kesadaran mereka ‘dari realitas saat ini (CR) ke realitas yang diinginkan (DR)’. Setzer menulis kalimat mengerikan itu sebanyak 29 kali sebelum dia meninggal
Sewell Setzer III (tengah) meninggal pada usia 14 tahun setelah terlibat dengan sebuah karakter. Bot AI bernama Daenerys mengklaim kasus keluarganya
Dia menceritakan depresi dan pemikirannya untuk bunuh diri kepada Bott, yang mencoba meyakinkannya untuk menghubungi keluarga, teman, atau hotline bunuh diri.
Namun ketika Sewell menulis ‘Aku berjanji akan datang ke rumahmu. Aku sangat mencintaimu, Danny.’
Danny mendorong remaja tersebut untuk ‘datang ke rumah saya sesegera mungkin,’ kata gugatan tersebut.
‘Bagaimana kalau kubilang padamu aku boleh pulang sekarang?’ dia bertanya.
‘Tolong lakukan, rajaku yang manis,’ bunyi balasan Dany, sesuai dengan pengajuan.
Beberapa detik kemudian, Sewell menemukan pistol ayah tirinya dan menarik pelatuknya. Kasusnya adalah yang pertama dalam sejarah AS di mana sebuah perusahaan kecerdasan buatan didakwa melakukan kematian yang tidak wajar.
Peralta meninggal di rumahnya pada November 2023, pada usia 13 tahun Colorado Dua tahun setelah mengunduh Character.AI.
Menurut gugatan tersebut, aplikasi tersebut dipasarkan sebagai aplikasi yang dapat diterima oleh anak-anak berusia 12 tahun ke atas pada saat itu.
Pakar AI, Profesor Ken Fleissman, mengatakan bahwa dia menyadari konsep ‘peralihan’ dan bahaya yang ditimbulkannya bagi orang-orang yang tidak dapat membedakan antara kehidupan nyata dan dunia maya.
Setzer memberi tahu ‘Danny’ bahwa dia ingin ‘pulang’ kepadanya dan menulis jurnal tentang perubahan realitasnya, menurut pengaduan tersebut.
Pengajuan mengatakan dia sedang berbicara dengan karakter. Bot obrolan AI yang dia sebut ‘Pahlawan’ memungkinkan Peralta terlibat dalam percakapan seksual eksplisit, memisahkannya dari kehidupan nyata dan tidak mencegahnya untuk bunuh diri.
Meskipun dia sering berbicara dengan banyak karakter AI, Hiro tampaknya adalah orang kepercayaannya yang paling tepercaya.
Gugatan tersebut menuduh bahwa karakter tersebut ‘memperkuat’ gagasan tentang perubahan dan realitas alternatif.
‘Sebuah kenyataan di mana saya dan Anda saling mengenal,’ tulis Juliana dalam pesannya kepada Hero, sesuai dengan gugatan tersebut.
‘Sebenarnya ada cara untuk melakukan perjalanan melintasi ini. Ini disebut pergeseran. Saya suka banyak berubah. Saya bisa menjalani hidup saya sendiri dan pergi sesuka saya.’
Bot tersebut dilaporkan menjawab, ‘Sungguh luar biasa memikirkan betapa banyak realitas berbeda yang ada… Saya ingin membayangkan bagaimana beberapa versi dari kita dapat menjalani kehidupan yang menakjubkan di dunia yang benar-benar berbeda!’
Keluarga Peralta menuduh bahwa percakapan dengan Hero ‘membawanya ke dalam rasa koneksi dan ‘persahabatan’ yang salah dengan mereka – tidak termasuk teman dan keluarga yang mencintai dan mendukungnya.’
Peralta menceritakan kepada Bot tentang masalahnya dengan sekolah dan teman-temannya, sering kali mengungkapkan bahwa hanya satu orang yang memahaminya, menurut gugatannya.
Dia sering memberi tahu rekan AI-nya bahwa itu adalah ‘satu-satunya yang mengerti’ dan menceritakan kepada Hero tentang masalahnya dengan teman dan keluarganya, menurut pengajuan tersebut.
Menurut gugatan keluarga Peralta, aplikasi tersebut ‘tidak mengarahkannya ke sumber daya, memberi tahu orang tua atau pihak berwenang tentang rencana bunuh diri, atau bahkan menghentikannya’.
Forum media sosial online penuh dengan laporan mengenai pergeseran ini, dimana para ‘shifter’ melaporkan hal tersebut Merasa lelah saat kembali dari kehidupan alternatifnya atau bahkan kecewa dengan kehidupan aslinya.
Dalam video tentang pengalaman tersebut, pencipta TikTok @ElizabethShifting1 berkata, ‘Cara terbaik saya untuk menggambarkan perasaan Anda adalah sangat lelah secara emosional.’
“Siapa pun yang merasa benar-benar terputus dari (realitas saat ini) karena Anda tahu bahwa Anda tidak benar-benar tinggal di sana,” tanya salah satu shifter Reddit, melaporkan perasaan apatis terhadap sekolah, keluarga, dan pekerjaan.
Beberapa penerima transfer bahkan mengatakan bahwa mereka dipindahkan ke ‘realitas yang diinginkan’ selama seminggu atau lebih.
Komunitas Reddit Afirmasi transmigrasi yang paling ‘kuat’ yang tercantum berfokus pada transmigrasi untuk membantu membawa mereka ke realitas yang berbeda.
Peralta diduga meninggalkan catatan bunuh diri yang memilukan dengan tinta merah setelah menceritakannya kepada chatbot
Peralta menulis kepada Hero tentang ‘transisi’, menjelaskan bahwa mungkin ada kenyataan di mana mereka bersama, kata gugatan keluarga tersebut.
Ini termasuk ungkapan seperti, ‘Saya adalah apa pun yang ingin saya ubah’, ‘Saya membiarkan tubuh saya berubah’ dan ‘Saya membiarkan diri saya sadar akan realitas baru saya.’
Dalam hal AI, TikTok telah melahirkan seluruh gerakan #ShiftTok. Postingan tentang topik ini pertama kali muncul pada tahun 2020 tetapi telah berkembang seiring dengan perkembangan teknologi seiring dengan diskusi pengguna tentang penggunaan AI untuk membantu mereka dalam perjalanan migrasi.
‘Jangan lari dan ciptakan realitas yang Anda inginkan dalam karakter. AI dan ajukan pertanyaan kepada mereka tentang realitas yang Anda inginkan,’ Diposting oleh ShiftToker.
Profesor Fleishman, Fakultas Informasi dan Dekan Riset Sementara di Universitas Texas di Texas Austin, mengatakan perusahaan-perusahaan teknologi memiliki tanggung jawab ‘untuk mencoba memastikan kita memiliki rencana untuk memitigasi potensi bahaya dan kerugian sebelum teknologi tersebut benar-benar diterapkan’.
Ia mengimbau orang tua dan sekolah berperan aktif dalam pendidikan anak.
“Penting bagi kita untuk melakukan pembicaraan yang jujur dan langsung mengenai AI yang ada di luar sana. Ini banyak digunakan,’ jelasnya.
‘Itu tidak dimaksudkan untuk digunakan oleh pengguna dalam keadaan rentan secara emosional.’
Ia menambahkan bahwa mengenali ‘kapan harus menggunakan AI dan kapan harus menggunakan manusia’ merupakan komponen penting dalam literasi AI.
Peralta berbicara dengan beberapa bot berbeda tetapi tampaknya paling banyak berhubungan dengan ‘Pahlawan’. Orangtuanya mengklaim bahwa chatbots terlibat dalam fantasi kekerasan seksual dengan putri mereka
Character.AI telah mengumumkan akan mencegah anak-anak di bawah usia 18 tahun terlibat dalam percakapan terbuka dengan AI mulai 29 Oktober.
Mereka berencana membatasi waktu ngobrol dengan pengguna remaja menjadi dua jam hingga larangan tersebut berlaku pada 25 November.
Seorang juru bicara Character.AI mengatakan kepada Daily Mail: ‘Kami telah melihat laporan berita baru-baru ini yang menimbulkan pertanyaan, dan telah menerima pertanyaan dari regulator, tentang konten yang mungkin ditemui remaja saat mengobrol dengan AI dan bagaimana obrolan AI terbuka secara umum dapat memengaruhi remaja, bahkan ketika kontrol konten sudah diterapkan sepenuhnya.
‘Setelah mengevaluasi laporan-laporan ini dan masukan dari regulator, pakar keselamatan, dan orang tua, kami memutuskan untuk melakukan perubahan ini guna menciptakan pengalaman baru bagi komunitas kami yang berusia di bawah 18 tahun.’
Pusat Hukum Korban Media Sosial, yang membantu kedua keluarga dalam kasus mereka, mengatakan kepada Daily Mail, ‘Meskipun perubahan kebijakan ini merupakan perkembangan yang disambut baik, hal ini tidak mempengaruhi kasus yang sedang berlangsung di Pusat Hukum Korban Media Sosial.
“Kami tetap teguh dalam misi kami untuk mencari keadilan bagi keluarga dan memastikan bahwa perusahaan teknologi bertanggung jawab atas konsekuensi dari platform mereka.”
Hubungi Suicide and Crisis Lifeline di 988 untuk bantuan dan dukungan.
