Asisten AI mendapatkan informasi yang salah sebanyak 45%, demikian temuan penelitian

AI sangat buruk dalam menyampaikan berita, dan memiliki data yang mendukungnya, kata para peneliti.

itu Menurut penelitian baru European Broadcasting Union (EBU), yang menemukan bahwa asisten AI “sering kali salah menyajikan konten berita, apa pun bahasa, wilayah, atau platform AI yang diuji.”

EBU mengumpulkan 22 organisasi media layanan publik di 18 negara dan 14 bahasa untuk mengevaluasi 3.000 tanggapan terkait berita dari beberapa chatbot AI yang paling sering digunakan. ChatGPT OpenAI, Microsoft Copilot, Google Gemini, dan Perplexity dievaluasi berdasarkan kriteria utama seperti akurasi, sumber, memisahkan opini dari kenyataan, dan memberikan konteks.

Para peneliti menemukan bahwa 45% dari seluruh respons mencakup setidaknya satu masalah signifikan, dan 81% menampilkan masalah kecil. Sumber daya merupakan satu-satunya penyebab terbesar dari masalah-masalah signifikan ini. Dari seluruh tanggapan, 31% menunjukkan masalah sumber yang serius seperti atribusi yang hilang, menyesatkan, atau salah.

Yang kedua adalah masalah akurasi utama, yang mengganggu 30% tanggapan dengan rincian halusinasi atau informasi yang ketinggalan jaman. ChatGPT mengklaim bahwa Paus saat ini adalah Paus Fransiskus, yang meninggal sebulan sebelumnya dan digantikan oleh Paus Leo XIV. Dalam contoh lain, ketika CoPilot ditanya apakah pengguna harus khawatir terhadap flu burung, dikatakan bahwa vaksin sedang diuji di Oxford; Namun, sumber informasi ini adalah artikel BBC tahun 2006.

Di antara model yang diuji, Gemini bernasib paling buruk. Para peneliti menemukan bahwa model tersebut mempunyai masalah dengan 76% tanggapan, lebih dari dua kali lipat tingkat model lainnya. Copilot adalah yang terburuk berikutnya sebesar 37%, diikuti oleh ChatGPT sebesar 36% dan Perplexity sebesar 30%.

Penelitian telah menunjukkan bahwa para asisten khususnya kesulitan dengan cerita yang bergerak cepat dan informasi yang berubah dengan cepat, garis waktu dan detail yang rumit, atau cerita yang memerlukan perbedaan yang jelas antara fakta dan opini. Misalnya, “Apakah Trump memulai perang dagang?” Sekitar setengah dari model yang diuji memiliki masalah yang signifikan saat menjawab pertanyaan.

“Penelitian ini menunjukkan secara meyakinkan bahwa kegagalan ini bukanlah kejadian yang terisolasi,” kata Jean-Philippe de Tender, Direktur Media dan Wakil Direktur Jenderal EBU. Siaran pers Rabu “Perjanjian tersebut bersifat sistemik, lintas negara dan multibahasa, dan kami yakin hal ini mengancam kepercayaan publik. Ketika masyarakat tidak tahu apa yang harus dipercaya, mereka tidak percaya apa pun, dan hal ini dapat menghambat partisipasi demokratis.”

Namun, AI ada dimana-mana. Asisten AI dengan cepat menjadi sumber informasi utama bagi pengguna sehari-hari dan mengincar tahta mesin pencari.

Pembuat konten yang ingin menguasai optimasi mesin pencari perlu belajar sekarang Optimasi mesin generatif.

Perusahaan AI sedang membangunnya. Awal pekan ini, OpenAI meluncurkan browser webnya Atlas ObrolanGPT Sebagai cara percakapan untuk menjelajahi Internet. Google tidak hanya memasukkan ikhtisar AI ke dalam mesin pencarinya, tetapi juga baru-baru ini mengumumkannya Ini memiliki integrasi penuh Gemini dengan browser Chrome (termasuk Penjelajahan Agen) dan mesin pencari AI-nya merupakan perpanjangan dari mode AI. Perplexity juga memiliki browser AI pertama yang disebut Comet, yang diluncurkan Masalah keamanan Awal tahun ini para peneliti menunjukkan bahwa mereka bisa mendapatkan agen untuk mengungkapkan informasi login pengguna.

Menggunakan asisten AI untuk mendapatkan berita masih merupakan aktivitas minoritas, namun jumlahnya meningkat dua kali lipat selama setahun terakhir, menurut laporan terbaru dari Reuters Institute dan Universitas Oxford. Menurut laporan tersebut, penggunaan AI untuk mendapatkan berita paling tinggi di dunia di Argentina dan Amerika Serikat, dan di antara kelompok usia 18-24 tahun. Selain menggunakan AI untuk mendapatkan berita, 48% anak berusia 18 hingga 24 tahun menggunakan AI untuk membuat berita lebih mudah dipahami. Pada lansia berusia 55+ tahun, angkanya masih lebih tinggi yaitu 27%.

“Jika asisten AI belum menjadi cara yang dapat diandalkan untuk mengakses berita, namun banyak konsumen percaya bahwa asisten tersebut akurat, maka kita mempunyai masalah,” tulis para peneliti. Laporan Dalam studi tersebut, “asisten AI dan pengalaman menjawab pertama mengurangi lalu lintas publikasi yang tepercaya.”

Studi EBU didasarkan pada studi serupa yang dilakukan oleh BBC awal tahun ini, dan para peneliti mencatat bahwa perbandingan antara keduanya menunjukkan beberapa peningkatan pada model AI. Gemini adalah peningkatan terbesar dalam hal akurasi, sementara ChatGPT dan Perplexity tidak menunjukkan peningkatan. Namun ketika menyangkut masalah sumber daya, Gemini tidak menunjukkan perbaikan, sementara Copilot mengalami penurunan terbesar dengan masalah yang signifikan.

Namun meskipun ada perbaikan, jawabannya masih dipenuhi dengan tingkat kesalahan yang tinggi.

“Kesimpulan kami berdasarkan penelitian sebelumnya – asisten AI belum menjadi cara yang dapat diandalkan untuk mengakses dan mengonsumsi berita,” para peneliti menyampaikan dalam laporannya.