Character.AI to Teens: Maaf, tidak ada lagi obrolan terbuka dengan teman AI

Perusahaan chatbot pendamping AI karakter.ai Akan ada satu segera Kebijakan Khusus Dewasa Untuk percakapan terbuka dengan karakter AI. Remaja yang menggunakan aplikasi ini akan mulai menghadapi pembatasan: mereka masih dapat berinteraksi dengan karakter melalui video yang dihasilkan dan format permainan peran lainnya, namun mereka tidak akan dapat secara bebas mengobrol dengan berbagai kepribadian aplikasi.

Obrolan terbuka telah menjadi landasan AI, terutama sejak ChatGPT diluncurkan tiga tahun lalu. Kebaruan hidup dengan komputer yang merespons kata-kata Anda secara langsung telah memicu popularitas platform seperti Character.AI.

Hal ini juga menjadi pemicu kekhawatiran karena percakapan ini dapat mengarahkan model AI ke arah yang tidak terduga, terutama jika remaja menggunakannya untuk mendiskusikan masalah kesehatan mental atau topik sensitif lainnya. Ada kekhawatiran tentang kecanduan obrolan AI dan dampaknya terhadap perilaku sosial.

Character.AI sedikit berbeda dari chatbot lainnya. Banyak orang menggunakan aplikasi ini untuk menceritakan kisah interaktif dan terlibat secara kreatif dalam percakapan dengan karakter yang dapat disesuaikan, termasuk percakapan berdasarkan selebriti atau tokoh sejarah sebenarnya.

Karandeep Anand, CEO Character.AI, mengatakan perusahaan yakin mereka masih dapat memberikan kesenangan interaktif yang diharapkan remaja dari platform tanpa risiko keamanan dari obrolan terbuka. Dia mengatakan langkah ini adalah tentang melakukan lebih dari batas minimum untuk menjaga keamanan pengguna.

“Ada cara yang lebih baik untuk melayani pengguna remaja,” kata Anand kepada CNET menjelang pengumuman hari Rabu. “Ini tidak harus terlihat seperti chatbot.”

Selain melarang percakapan terbuka bagi anak di bawah 18 tahun, Character.AI menambahkan sistem verifikasi usia baru dan membangun Lab Keamanan AI nirlaba.

Jangan lewatkan konten teknologi kami yang tidak memihak dan ulasan berbasis laboratorium Tambahkan CNET Sebagai sumber Google pilihan.

Apa yang berubah tentang Character.AI?

Hiburan AI telah terbukti menjadi salah satu penggunaan model bahasa besar. Bersamaan dengan Komisi Perdagangan Federal (Federal Trade Commission), kekhawatiran akan keamanan mengenai bagaimana anak-anak dirugikan akibat hubungan dengan model AI telah meningkat secara signifikan tahun ini. Investigasi dimulai Di beberapa perusahaan, termasuk Character.AI.

Ada perusahaan menghadapi tuntutan hukum Dari orang tua anak yang interaksinya dengan karakter AI berujung pada kerugian, termasuk bunuh diri. Raksasa AI generatif adalah OpenAI Setelan oleh orang tua Tentang seorang remaja yang bunuh diri setelah berinteraksi dengan ChatGPT perusahaan.

Keterbatasan Character.AI Obrolan terbuka tidak akan terjadi dalam semalam. Fungsi tersebut akan berakhir setelah 25 November untuk pengguna di bawah 18 tahun, dengan waktu obrolan untuk pengguna di bawah umur turun menjadi nol, tidak lebih dari 2 jam per hari.

Masa transisi akan memungkinkan masyarakat untuk menyesuaikan diri dengan perubahan, kata Anand. Ini akan memberi perusahaan waktu untuk mengimplementasikan lebih banyak fitur yang bukan chatbot terbuka. “Kami ingin bertanggung jawab atas cara pengguna melakukan konversi ke format baru ini,” kata Anand.

Pengguna remaja masih dapat berinteraksi dengan video dan game buatan AI yang menampilkan karakter yang ada, seperti bot berdasarkan tokoh anime atau film. Misalnya, mereka dapat memberikan prompt untuk skenario permainan peran dan meminta AI membuat cerita agar sesuai dengan prompt tersebut.

Anand mengatakan fitur-fitur seperti ini memiliki lebih banyak pemeliharaan dibandingkan obrolan terbuka, sehingga menjadi kurang dapat diprediksi seiring berjalannya waktu.

“Kami percaya bahwa cara audiovisual multimodal baru dalam bermain peran dan bermain game ini jauh lebih menarik,” katanya.

Verifikasi usia baru akan dimulai dengan menggunakan perangkat lunak pendeteksi usia untuk menentukan siapa yang berusia 18 tahun ke atas berdasarkan informasi yang mereka bagikan dengan Character.AI atau platform pihak ketiga menggunakan layanan verifikasi yang sama. Beberapa pengguna diharuskan membuktikan identitas mereka menggunakan tanda pengenal pemerintah atau dokumentasi lainnya.

Selain kemungkinan verifikasi usia, diperkirakan tidak ada perubahan untuk pengguna dewasa.

Apa langkah selanjutnya bagi mitra AI?

Pengumuman Character.AI menandai perubahan besar dalam bidang pendamping AI, namun seberapa besar perbedaannya masih harus dilihat. Anand berharap pihak lain, termasuk pesaing AI, akan mengikuti langkah yang sama dalam membatasi akses anak-anak terhadap karakter chatbot terbuka.

Masalah besar lainnya dengan pengalaman chatbot terbuka adalah model bahasa yang menjadi dasarnya dirancang untuk menyenangkan pengguna dan membuat mereka tetap terlibat, sehingga menciptakan kualitas yang menjilat. Penelitian Harvard Business School baru-baru ini telah mengidentifikasi setengah lusin cara Bot membuat seseorang terus mengobrol Meski mereka mencoba untuk pergi.

Bot pendamping AI juga menghadapi pengawasan ketat dari anggota parlemen. Komite Kehakiman Senat AS mengadakan sidang mengenai masalah ini pada bulan September Kekurangan chatbot AIDan Gubernur Kalifornia Gavin Newsom menandatangani undang-undang baru pada bulan Oktober yang memberlakukan undang-undang tersebut Persyaratan baru pada chatbots yang berkomunikasi dengan anak-anak.