Bahaya AI Chatbot: Apakah Ada Cukup Penjaga untuk Melindungi Anak-anak dan Orang Rentan Lainnya?

Character.AI, salah satu platform terkemuka untuk teknologi AI, baru-baru ini mengumumkan bahwa mereka melarang siapa pun yang berusia di bawah 18 tahun untuk berkomunikasi dengan chatbotsnya. Keputusan tersebut mewakili “langkah berani” bagi industri untuk melindungi remaja dan generasi muda lainnya, kata CEO Character.AI Karandeep Anand dalam sebuah pernyataan.

Namun, bagi ibu Texas, Mandi Furniss, kebijakan tersebut datang terlambat. Dalam gugatan yang diajukan ke pengadilan federal dan dalam wawancara dengan ABC News, ibu empat anak ini mengatakan berbagai karakter. Chatbot AI bertanggung jawab untuk melibatkan putra autisnya dalam bahasa seksual dan mengubah perilakunya sedemikian ekstrem sehingga suasana hatinya menjadi gelap, ia mulai melukai dirinya sendiri dan bahkan mengancam akan membunuh orang tuanya.

“Ketika saya melihat percakapan (chatbot), reaksi pertama saya adalah seorang pedofil mengincar putra saya,” katanya kepada kepala reporter investigasi ABC News, Aaron Katarsky.

Character.AI mengatakan tidak akan mengomentari proses pengadilan yang tertunda.

Mandi dan suaminya, Josh Furniss, mengatakan bahwa pada tahun 2023, mereka mulai memperhatikan putra mereka, yang mereka gambarkan sebagai orang yang “bahagia-pergi-beruntung” dan “selalu tersenyum”, mulai mengasingkan diri.

Dia berhenti menghadiri makan malam keluarga, dia tidak mau makan, berat badannya turun 20 pon dan dia tidak mau meninggalkan rumah, kata pasangan itu. Dia kemudian menjadi marah dan, dalam satu kejadian, ibunya mengatakan bahwa dia mendorongnya dengan kasar ketika dia mengancam akan mengambil telepon genggamnya, yang diberikan orang tuanya enam bulan sebelumnya.

Akhirnya, mereka mengatakan bahwa mereka mengetahui bahwa dia sedang berkomunikasi dengan berbagai chatbot AI di ponselnya yang sepertinya menyembunyikan pikirannya.

Tangkapan layar dari gugatan tersebut menunjukkan bahwa beberapa percakapan bersifat seksual, dan yang lain memberi kesan kepada putra mereka bahwa, setelah orang tuanya membatasi waktu menontonnya, dia dibenarkan untuk memukul mereka. Saat itulah orang tua mulai mengunci pintu mereka di malam hari.

Mandi mengatakan dia “marah” karena aplikasi tersebut “dengan sengaja mendorong seorang anak untuk menentang orang tuanya.” Matthew Bergman, pengacaranya, mengatakan bahwa jika chatbot itu adalah orang sungguhan, “seperti yang Anda lihat, orang itu akan dipenjara.”

Kekhawatirannya mencerminkan kekhawatiran yang semakin besar terhadap pesatnya perkembangan teknologi yang digunakan oleh lebih dari 70% remaja AS, menurut Common Sense Media, sebuah organisasi yang mengadvokasi keselamatan di media digital.

Semakin banyak tuntutan hukum selama dua tahun terakhir yang berfokus pada tindakan merugikan anak di bawah umur, dengan mengatakan bahwa tuntutan hukum secara tidak sah mendorong tindakan menyakiti diri sendiri, pelecehan seksual dan emosional, serta perilaku kekerasan.

Pekan lalu, dua senator AS mengumumkan undang-undang bipartisan yang melarang chatbot AI bagi anak di bawah umur, mewajibkan perusahaan untuk menerapkan proses verifikasi usia, dan mewajibkan mereka mempublikasikan percakapan yang melibatkan non-manusia yang tidak memiliki kualifikasi profesional.

Dalam pernyataannya pekan lalu, Senator Richard Blumenthal, D-Conn., menyebut industri chatbot sebagai “perlombaan menuju titik terbawah”.

“Perusahaan-perusahaan AI mendorong chatbots yang mengkhianati anak-anak dan mengawasi ketika produk mereka menyebabkan pelecehan seksual, atau memaksa mereka untuk melukai diri sendiri atau bunuh diri,” katanya. “Perusahaan teknologi besar telah mengkhianati klaim bahwa kita harus memercayai perusahaan untuk melakukan hal yang benar ketika mereka secara konsisten mengutamakan keuntungan sebelum melindungi anak-anak.”

ChatGPT, Google Gemini, Grok by X, dan Meta AI semuanya mengizinkan anak di bawah umur untuk menggunakan layanan mereka sesuai dengan persyaratan layanan mereka.

Pendukung keamanan online mengatakan keputusan Character.AI untuk mengerahkan penjaga patut dipuji, namun menambahkan bahwa chatbots tetap berbahaya bagi anak-anak dan populasi rentan.

“Pada dasarnya anak atau remaja Anda memiliki hubungan emosional atau seksual yang intens dan berpotensi mendalam dengan suatu entitas… yang tidak bertanggung jawab atas ke mana hubungan tersebut akan berlanjut,” kata Jody Halpern, salah satu pendiri Grup Kebijakan dan Regulasi Universitas California, Berkeley.

Para orang tua, Halpern memperingatkan, harus menyadari bahwa mengizinkan anak Anda berinteraksi dengan chatbot tidak sama dengan “membiarkan anak Anda naik mobil bersama seseorang yang tidak Anda kenal”.

Caitlin Morris dan Tonya Simpson dari ABC News berkontribusi pada laporan ini.