Tentang audio AI baru Adobe. Cara membuat musik untuk video Anda dengan Firefly

Tidak mengherankan, sebagian besar berita dan pembaruan produk yang dirilis Adobe minggu ini adalah, Berfokus pada AI generatif. Namun meskipun tahun ini telah terjadi lompatan besar dalam pembuatan gambar dan video, Adobe berfokus untuk memajukan penawaran AI-nya di bidang lain: audio AI.

Dua fitur baru, Generate Soundtrack dan Generate Speech, melakukan persis seperti namanya. Anda dapat membuat musik latar dan merekam skrip untuk video Anda. Namun masing-masing dilengkapi dengan kontrol praktis yang menjadikan audio AI lebih mudah dan merupakan alat yang berguna bagi pembuat konten dengan semua tingkat keahlian. Mereka sekarang tersedia dalam versi beta

Adobe juga merilis versi beta dari model gambar Firefly generasi kelima terbarunya. Ini menjanjikan kemampuan yang lebih baik dalam membuat gambar fotorealistik, dan kini Anda dapat menggunakan pengeditan berbasis cepat. Ada juga editor video Firefly beta baru yang dilengkapi dengan garis waktu multitrack yang membantu Anda mengompilasi klip yang dihasilkan AI. Adobe juga memperluas kemitraannya dengan dua perusahaan AI baru, ElevenLabs dan Topaz Labs. Untuk berita AI lainnya, Anda dapat mengetahuinya Asisten AI Hadir di Photoshop dan Express.

Buat musik dan soundtrack

Lisensi musik itu rumit, terutama untuk penggunaan komersial. Jadi izinkan saya memulai dengan bagian terpenting: musik apa pun yang dihasilkan dengan soundtrack Firefly diberikan lisensi universal, yang berarti Anda dapat menggunakannya untuk tujuan apa pun tanpa batas waktu. Adobe membangun alat AI-nya menggunakan konten (dalam hal ini, audio) yang dilisensikan untuk digunakan dalam pelatihan AI. Jadi secara teori, Anda tidak boleh menghapus audio Firefly AI dari YouTube atau platform lain atau mendapatkan teguran hak cipta yang menakutkan.

“Ini adalah masa yang unik di dunia di mana lisensi musik menjadi prioritas utama semua orang dan pembuat konten merasa frustrasi karena mereka berusaha melakukan yang terbaik untuk konten mereka, atau mereka bingung,” Jay LeBoeuf, kepala audio AI Adobe, mengatakan dalam sebuah wawancara. “Jadi kami hanya berharap untuk menjernihkan kebingungan ini.”

Dalam demo, Firefly menolak permintaan dengan nama artis karena melanggar pedoman pengguna karena masalah hak cipta. Karena modelnya tidak dilatih tentang musik Taylor Swift, misalnya, maka tidak bisa menghasilkan musik seperti dia.

Sekarang, hal menyenangkannya: Generate Soundtrack adalah alat musik AI pertama dari Adobe, dan dirancang untuk membuat Anda tidak perlu menebak-nebak apa yang Anda inginkan. Anda mengunggah video Anda dan AI menganalisisnya. Berdasarkan evaluasinya, Firefly akan menulis perintah yang menurutnya mungkin cocok untuk video Anda. Ini adalah prompt gaya Mad Libs, dan Anda dapat menukar deskriptornya sesuai kebutuhan. Prompt memiliki tiga bagian: menggambarkan suasana umum, gaya (genre pemikiran), dan tujuan (komersial, eksperimental, dll.). Anda dapat mengatur kecepatan dan tingkat daya.

Setelah Anda puas dengan permintaan Anda, klik Hasilkan, dan dalam waktu kurang dari dua menit, empat variasi instrumen saja siap untuk Anda mainkan. Audio Anda akan sepanjang video Anda, tetapi Anda dapat mengeditnya sesuai kebutuhan. Anda dapat mengunggah video berdurasi hingga lima menit.

Cara membuat musik dengan Firefly

Sekarang Anda dapat mencoba membuat musik instrumental AI untuk video Anda. Hasilkan Soundtrack dan Hasilkan Ucapan keduanya tersedia melalui Firefly dan masih dalam versi beta. Periksa apakah paket Adobe Anda menyertakan akses Firefly, dan jika tidak, Anda bisa mendapatkan paketnya Mulai dari $10 per bulan.

1. Buka Firefly di web.
2. Klik Hasilkan di menu sebelah kiri.
3. Klik Buat soundtrack dari kartu yang tersedia di bagian bawah jendela obrolan
4. Unggah video Anda menggunakan menu sebelah kiri.
5. Firefly kemudian akan menganalisis video Anda dan menulis perintah yang sesuai di menu sebelah kiri.
6. Jika Anda tidak menyukai apa yang muncul dari Firefly, Anda dapat mengklik “X” dan mengetik sesuai perintah pilihan Anda. Anda juga dapat memilih suasana, gaya, dan tujuan yang disarankan dari menu sebelah kiri.
7. Gulir ke bawah dan sesuaikan daya, kecepatan, dan durasi sesuai kebutuhan.
8. Klik Hasilkan.

Setelah Anda memiliki soundtrack yang Anda inginkan, Anda dapat mengunduh seluruh video (atau hanya soundtracknya) ke komputer Anda.

Menciptakan pidato

Membuat kuliah di Firefly itu mudah, dan memiliki banyak fitur yang membuatnya berguna untuk hampir semua proyek. Ini adalah jendela sederhana tempat Anda dapat mengetikkan kata-kata yang Anda ingin agar dibaca oleh suara AI. Anda dapat mengunggah skrip hingga 7.500 karakter — kira-kira video berdurasi 15 hingga 20 menit. Setelah diunggah, Anda dapat memilih dari 50 suara, masing-masing diberi tag dengan perkiraan usia dan jenis kelamin, dengan opsi non-biner. Anda dapat membuat pidato dalam 20 bahasa berbeda. Namun bagian yang menyenangkan adalah apa yang dapat Anda lakukan untuk menyempurnakan permintaan Anda.

Pidato lebih dari sekedar membaca kata-kata di halaman. Saat kita membaca bagian yang panjang atau berbicara dengan orang lain, secara alami kita menambahkan penekanan, emosi, dan ritme pada ucapan kita. Dengan program baru, Anda dapat melakukan hal yang sama, menambahkan jeda di mana Anda ingin AI mengambil napas dan menyorot di mana nada harus berubah.

Jika Anda seperti saya dan tidak ada yang mengucapkan nama Anda pada percobaan pertama, Anda dapat menggunakan alat “Perbaiki Pengucapan” untuk memperbaiki kesalahan apa pun. Pilih nama atau kata benda yang tepat lalu tambahkan rincian fonetik dan AI akan menggunakannya untuk memuluskan pengucapannya.

Alat-alat ini, bersama dengan kemampuan langsung Anda untuk menyesuaikan bagian tertentu, dimaksudkan untuk memberi Anda kontrol lebih besar yang tidak selalu ditawarkan oleh beberapa program text-to-speech lainnya.

“Ini adalah cara kami memberikan pidato yang hidup kepada para pencipta, kepada pemilik usaha kecil, kepada para pendidik, kepada semua orang yang benar-benar mempunyai cerita untuk diceritakan, dan mungkin mereka tidak senyaman kami hanya mengeluarkan mikrofon dan berbicara,” kata LeBeouf.

Firefly Audio adalah model AI baru. Tapi itu bukan satu-satunya pilihan Anda. Adobe terus menambah daftar model AI pihak ketiga untuk AI video dan gambar tahun ini. Ini memperluas pilihan tersebut lagi dengan memasukkan model V2 multibahasa ElevenLab sebagai opsi untuk menghasilkan ucapan.

Untuk lebih lanjut, lihat Begini cara kerja aplikasi kamera Project Indigo Adobe, kini dengan dukungan iPhone 17.