Clickbait menyebabkan ‘kebusukan otak’ pada model AI, demikian temuan para peneliti

Jika menurut Anda menelusuri internet sepanjang hari membuat Anda bodoh, bayangkan saja apa yang dilakukannya terhadap model bahasa besar yang mengonsumsi aliran sampah absolut yang hampir tak ada habisnya yang dirayapi dari web yang disebut “pelatihan”. Sebuah tim peneliti baru-baru ini mengajukan dan menguji teori yang disebut “LLM Brain Rot Hypothesis”, yang menyatakan bahwa semakin banyak data sampah yang dimasukkan ke dalam model AI, semakin buruk hasilnya. Ternyata teori ini cukup kuat, karena makalah pracetak yang diterbitkan di arXiv oleh Tim menunjukkan bahwa “busuk otak” memengaruhi LLM dan mengakibatkan penurunan kognitif yang tidak sepele.

Para peneliti dari Texas A&M University, University of Texas di Austin, dan Purdue University mengamati bagaimana kinerja LLM dengan pola konsumsi limbah Internet yang stabil. Dua jenis data “sampah” telah diidentifikasi: Postingan media sosial pendek dengan banyak interaksi, termasuk konten panjang dengan suka dan repost serta judul clickbait, presentasi sensasional, dan lapisan informasi faktual yang dangkal. Pada dasarnya konten sejenis itu juga membusukkan otak kita sendiri. Dengan mengingat hal ini, para peneliti mengumpulkan sampel dari satu juta postingan di X dan kemudian melatih empat LLM berbeda tentang campuran data kontrol dan data sampah yang berbeda untuk melihat bagaimana hal tersebut akan memengaruhi kinerja.

Dan tahukah Anda, ternyata menggunakan X langsung dari Internet tidak bagus untuk berpikir jernih. Keempat model yang diuji—Llama3 8B, Qwen2.5 7B/0.5B, Qwen3 4B—menunjukkan beberapa bentuk penurunan kognitif. Mater Llama terbukti paling sensitif terhadap sampah, dengan penurunan kemampuan berpikir, pemahaman konteks, dan kepatuhan terhadap standar keselamatan. Menariknya, model yang jauh lebih kecil, Qwen 3 4B, terbukti lebih tangguh meski masih mengalami penurunan. Penelitian ini juga menemukan bahwa semakin tinggi tingkat data buruk, semakin besar kemungkinan suatu model akan masuk ke mode “tidak berpikir”, sehingga gagal memberikan alasan atas jawabannya, yang mana kemungkinan besar akan salah.

Namun, lebih dari sekedar “menipu” pemikirannya, para peneliti menemukan bahwa memasukkan sampah mempunyai efek yang menarik: Hal ini menyebabkan perubahan dalam “kepribadian” model, yang oleh para peneliti disebut sebagai “sifat gelap”. Misalnya, model Llama 3 menunjukkan tingkat narsisme yang jauh lebih tinggi dan kurang menyenangkan. Mulai dari hampir tidak menunjukkan tanda-tanda psikopati hingga tingkat perilaku yang sangat tinggi.

Menariknya, para peneliti juga menemukan bahwa strategi mitigasi untuk mengurangi dampak data sampah mungkin tidak sepenuhnya membalikkan kerusakan yang disebabkan oleh data buruk. Akibatnya, peneliti mengingatkan bahwa proses merayapi web untuk setiap dan semua data mungkin tidak memberikan hasil yang baik untuk LLM, karena kuantitas informasi tidak sama dengan kualitas. Mereka menyarankan bahwa kurasi yang lebih hati-hati mungkin diperlukan untuk mengatasi potensi kendala ini, karena Anda tidak dapat kembali lagi setelah memberi makan sampah model. Jelasnya, untuk LLM, aturan “Anda adalah apa yang Anda makan” berlaku.

Source link

Eko Kurniawan
Eko Kurniawan
Articles: 1093

Leave a Reply

Alamat email Anda tidak akan dipublikasikan. Ruas yang wajib ditandai *