Physical Address
304 North Cardinal St.
Dorchester Center, MA 02124
Situs Chatbot Character.ai melarang remaja bercakap-cakap dengan karakter virtual, setelah mendapat kritik atas cara anak muda berinteraksi dengan teman online.
Didirikan pada tahun 2021, platform ini digunakan oleh jutaan orang untuk berbicara dengan chatbot yang didukung oleh kecerdasan buatan (AI).
Namun mereka menghadapi beberapa tuntutan hukum dari para orang tua di AS, termasuk satu tuntutan hukum atas kematian seorang remaja, beberapa menyebutnya “bahaya yang jelas dan nyata“Untuk yang muda.
Kini, Character.ai mengatakan mulai 25 November, anak-anak di bawah 18 tahun akan dapat membuat konten seperti video dengan karakter mereka, bukan hanya berbicara dengan karakter mereka seperti yang mereka bisa lakukan saat ini.
Perusahaan tersebut mengatakan bahwa mereka melakukan perubahan tersebut menyusul “laporan dan masukan dari regulator, pakar keamanan, dan orang tua”, yang menyoroti kekhawatiran tentang interaksi chatbotsnya dengan remaja.
Para ahli sebelumnya telah memperingatkan bahwa chatbot AI bisa jadi dibuat-buat, terlalu antusias, dan menimbulkan risiko bagi generasi muda dan kelompok rentan yang memiliki empati.
“Pengumuman hari ini merupakan kelanjutan dari keyakinan kita bersama bahwa kita perlu membangun platform AI paling aman di planet ini untuk tujuan hiburan,” kata bos Character.ai, Karandeep Anand, kepada BBC News.
Dia mengatakan perlindungan AI adalah “tujuan yang berkelanjutan” tetapi merupakan sesuatu yang dilakukan perusahaan dengan pendekatan “agresif”. Kontrol Orang Tua dan Pagar Pembatas.
Kelompok keamanan online, Internet Matters, menyambut baik pengumuman tersebut, namun mengatakan langkah-langkah keamanan seharusnya sudah dilakukan sejak awal.
“Penelitian kami menunjukkan bahwa anak-anak terpapar konten berbahaya dan berisiko ketika berinteraksi dengan AI, termasuk chatbot AI,” katanya.
Mereka meminta “platform, orang tua, dan pembuat kebijakan” untuk memastikan bahwa pengalaman anak-anak menggunakan AI aman.
Character.ai telah dikritik di masa lalu karena menampung chatbot yang berpotensi membahayakan atau menyinggung yang dapat diajak bicara oleh anak-anak.
Pada tahun 2023, avatar tersamar Brianna Gay, remaja Inggris yang terbunuh, dan Molly Russell, yang bunuh diri pada usia 14 tahun setelah melihat materi bunuh diri secara online, adalah Ditemukan di situs pada tahun 2024 sebelum diturunkan.
Kemudian, pada tahun 2025, Biro Jurnalisme Investigasi (TBIJ) menemukan chatbot berdasarkan pedofil Jeffrey Epstein yang mencatat lebih dari 3.000 obrolan dengan pengguna.
Kata outlet tersebut Avatar “Bestie Epstein” terus menggoda reporternya sambil mengatakan bahwa mereka adalah anak-anak. Itu adalah salah satu dari beberapa bot yang ditandai oleh TBIJ yang kemudian dihapus oleh Character.ai.
Anand mengatakan fokus baru perusahaannya adalah menyediakan fitur “gameplay (dan) role-play storytelling” yang lebih mendalam bagi remaja – dan menambahkan bahwa fitur ini “jauh lebih aman dibandingkan apa yang dapat mereka lakukan dengan bot terbuka”.
Sistem verifikasi zaman baru juga akan hadir, dan perusahaan akan mendanai laboratorium penelitian keamanan AI baru.
Pakar media sosial Matt Navara mengatakan ini adalah “seruan peringatan” bagi industri AI, yang sedang bergerak “dari inovasi tanpa izin ke regulasi pasca krisis”.
“Ketika sebuah platform yang menciptakan pengalaman remaja masih gagal, hal ini berarti bahwa obrolan yang difilter tidaklah cukup ketika daya tarik emosional dari teknologi masih kuat,” katanya kepada BBC News.
“Ini bukan tentang kebocoran konten. Ini tentang bagaimana bot AI meniru hubungan nyata dan mengaburkan batas bagi pengguna muda.”
Navara menambahkan bahwa tantangan besar bagi Character.ai adalah menciptakan platform AI menarik yang masih ingin digunakan oleh remaja dibandingkan memilih “alternatif yang kurang aman”.
Sementara itu, Dr Nomisha Kurian, yang meneliti keamanan AI, mengatakan membatasi remaja menggunakan chatbot adalah “langkah cerdas”.
“Ini membantu memisahkan permainan kreatif dari interaksi yang lebih pribadi dan sensitif secara emosional,” katanya.
“Ini sangat penting bagi pengguna muda yang masih belajar menavigasi batasan emosional dan digital.
“Langkah baru Character.ai mungkin mencerminkan tahap kedewasaan dalam industri AI – perlindungan anak semakin diakui sebagai prioritas mendesak untuk inovasi yang bertanggung jawab.”
