Apple berbicara kepada saya tentang Vision Pro Personas: Ke mana arah kehadiran virtual kami?

terkubur di dalam Vision Pro seharga $3.499 dari Apple Headset VR adalah fitur yang selalu membuat saya terpesona, tetapi Anda mungkin belum pernah mendengarnya. Fitur, disebut kepribadianMelibatkan dua pengguna atau lebih, semuanya memakai Vision Pro, mengobrol satu sama lain secara real time tetapi sebagai replika virtual.

Sekarang dalam versi beta, Personas adalah bagian dari sistem avatar Apple untuk Vision Pro, yang mereplikasi dirinya melalui pemindaian foto 3D.

Memindai diri sendiri bukanlah hal baru. Sekitar lima tahun yang lalu, Saya mencoba telepresence Dengan perusahaan bernama Spatial yang menyertakan avatar pindaian 3D dalam kacamata Nreal AR. saya mengintip Metar adalah inkarnasi codec yang realistis. saya menjelajah Telepresence avatar kartun Dengan Microsoft di HoloLens. Saya bahkan memindai diri saya sendiri menggunakan segala macam deepfake AI yang aneh Sora dari OpenAI Aplikasi telepon.

Namun, belum ada yang melakukan sesuatu yang canggih dalam headset atau kacamata VR atau AR seperti Vision Persona Apple. Dan kita belum melihat awal dari bagaimana hal-hal baik bisa terjadi.

Untuk mempelajari lebih lanjut, saya mengenakan headset M5 Vision Pro dan menggunakan FaceTime untuk mengobrol eksklusif dengan Direktur Senior Grup Produk Vision Apple Jeff Norris dan Direktur Senior Pemasaran Produk Steve Sinclair. Keduanya muncul secara langsung di kantor rumah saya. Saat pertemuan dimulai, kami berkelana seperti hantu, bertatap muka, untuk berbicara. Setelah beberapa menit, kami merasa seperti benar-benar menghabiskan waktu bersama secara langsung.

Apple tidak membahas masa depan. Namun Norris dan Sinclair menjelaskan beberapa teknologi 3D hebat yang membuat Persona terasa realistis. Saat kami mengobrol, saya membayangkan pemindaian serupa dapat dilakukan di tempat selain Vision Pro, seperti iPhone, yang dapat diakses oleh lebih banyak orang.

Telepresence yang sebenarnya adalah keajaiban yang mahal

Sulit untuk menemukan orang lain yang memiliki Vision Pro, tetapi ketika saya memilikinya, perasaan seram saat ada hantu masuk ke rumah saya sungguh ajaib. VisionOS Apple telah berevolusi untuk memungkinkan kolaborasi antar Persona, memperluas ruang virtual hingga lima orang untuk melihat dan berbagi objek dan aplikasi virtual secara bersamaan. Beberapa orang yang memakai headset Vision di ruangan yang sama dapat berkolaborasi dengan Persona, yang juga dapat memancarkannya dari jarak jauh.

Saya, seperti Tony Stark, telah memimpikan ide telepresence hologram Star Wars selama bertahun-tahun. Itu pada dasarnya ada di sini. Ia hanya memiliki dinding pada perangkat keras yang sangat mahal.

Kacamata pintar belum mampu menangani beban avatar seperti itu, meskipun kacamata AR dari Snap dan lainnya mungkin akan segera mencobanya. Pertanyaan saya untuk Apple adalah: Persona teknologi apa yang sedang terjadi, dan dapatkah muncul di tempat lain?

Teknologi pemindaian percikan menggunakan pembelajaran mesin

Dalam pertemuan kami, Norris menjelaskan bahwa teknologi Persona menggunakan Gaussian splatting untuk membuat pemindaian wajah 3D yang sangat dapat dipercaya. Percikan Gaussian saat ini merupakan teknologi inti dari banyak aplikasi 3D, sering kali diterapkan pada pemindaian objek atau lingkungan berskala besar. Meta Pengambilan gambar hiperscape Aplikasi Quest dapat memindai seluruh ruangan dalam ruang 3D yang dapat dilalui dengan berjalan kaki di VR, misalnya. Ia menggunakan AI untuk membuat lanskap dari gambar 3D atau serangkaian gambar 2D.

Apa yang membuat Persona unik adalah fokusnya pada pemindaian diri Anda sendiri, bukan lingkungan Anda. Menggunakan VisionOS 26, Norris menunjukkan kepada saya perubahan penting dari versi Persona sebelumnya. Render kini dapat menampilkan lebih banyak detail di berbagai sudut dan menangkap detail seperti perhiasan dan bulu mata. Tubuh dan wajah dipindai secara bersamaan, sehingga rendernya terasa lebih mulus.

“Pembelajaran mesin memang terlibat, namun banyak orang tidak benar-benar memahami bahwa ini adalah sebuah konser jaringan yang bersatu,” kata Norris. “Kami menghitungnya, jumlahnya lebih dari selusin, namun kami sebenarnya mengurangi jumlahnya ketika kami pindah ke Persona versi baru ini.”

Saya menyebutkan kemungkinan pemindaian ruangan di Vision Pro (aplikasi seperti Scanverse dan Polycam sudah menampilkan pemindaian 3D pada headset). Norris mengatakan Apple sudah menerapkan Gaussian splatting pada transformasi foto 3D spasial, yang kini tampak sangat imersif pada headset. Terus gimana?

Tidak perlu banyak waktu untuk mengambil foto yang diperlukan. Bisakah itu dilakukan di iPhone?

Meskipun Persona Scan dilakukan melalui headset Vision Pro, yang mengharuskan saya menoleh dan memegang headset untuk memindai, ini bukanlah proses yang mengharuskan saya menggunakan sensor Vision Pro secara ekstensif.

“Kami hanya memerlukan beberapa gambar saat kami mendokumentasikan kepribadian Anda,” kata Norris kepada saya. “Ini termasuk beberapa ekspresi wajah yang membantu jaringan kami memahami bagaimana wajah Anda bergerak ketika Anda berbicara dan tersenyum.” Dan itu saja.”

Saya ingin tahu apakah iPhone pada akhirnya dapat memindai Persona, yang menurut saya jauh lebih mudah daripada menggunakan Vision Pro. Norris tidak menjawab secara langsung.

“Menarik sekali membayangkan berbagai cara untuk mencapai hal ini,” jawabnya. “Tetapi saat ini, kami menyukai bahwa gambar tersebut bersifat mandiri di perangkat dan semua pemrosesan terjadi di perangkat. Tak satu pun dari gambar-gambar ini harus dibawa ke mana pun agar hal itu dapat terjadi.”

Apa dampaknya bagi rasa identitas virtual kita di masa depan?

Persona tunggal yang saya pindai dan ikat ke ID Apple saya di Vision Pro tampaknya dirancang untuk bertindak sebagai pemetaan satu-ke-satu untuk diri virtual saya. Ini adalah hal terdekat yang dimiliki Apple dengan menggunakan kamera untuk menyiarkan wajah asli saya, yang tidak dapat dilakukan saat saya memakai headset.

Perusahaan AI sudah secara sengaja dan tidak sengaja memindai dan membuat versi virtual dari semakin banyak orang yang melakukan deepfake. Aplikasi Sora OpenAI Ini adalah contoh yang paling menonjol, dan menggunakan teknologi pemindaian wajah yang sama di iPhone untuk membuat “cameo” diri saya yang dapat saya berikan kepada orang lain.

Saya bertanya kepada Norris ke mana arah sambungannya. Dia menjelaskan bahwa Apple ingin menampilkan seseorang secara real-time dengan jelas dan aman, bukan sebagai reproduksi.

“Kami fokus pada individu, bertujuan untuk representasi otentik,” katanya. “Kami mencoba memenuhi apa yang menurut saya merupakan keinginan dasar manusia, yaitu: ‘Saya berharap Anda ada di sini.’ Itu dimulai dengan berusaha setia pada penampilan kami, cara kami bergerak, dan cara kami emosional saat berbicara.”

Bisakah saya memiliki banyak kepribadian atau banyak penyesuaian?

Saat ini, Apple membatasi Anda untuk menggunakan satu pemindaian Persona dalam satu waktu, dan ini mengejutkan saya. Saya menyukai variasi avatar Scott Stein dalam suasana hati atau pakaian berbeda. Meskipun Apple tidak mengeksplorasi transformasi identitas melalui pemindaian, saya menghargai pilihan kacamata yang realistis dan saya ingin menambahkan lebih banyak aksesori.

“Orang-orang dapat mendaftar ulang atau hanya mengenakan baju lain dan mendaftar ulang,” kata Norris. “Saya benar-benar mengerti mengapa hal itu menjadi sesuatu yang kami inginkan. Namun saat ini kami hanya fokus pada satu hal.”

Akankah Persona berkembang melampaui Vision Pro?

Saya sudah memikirkan lebih banyak opsi untuk Persona, tidak hanya untuk headset mahal Apple, tetapi juga untuk iPhone dan perangkat lainnya.

Bagaimana jika mereka bisa menjadi pengganti pribadi dalam panggilan Facetime kita? Saya sudah dapat menelepon istri saya di FaceTime dari Vision Pro dan dia dapat melihat persona 2D saya di sana. Dia menertawakan ini karena tampaknya agak supernatural. Jika Apple sudah membuka banyak pintu dengan Animoji di FaceTime, mengapa Persona tidak?

Norris menegaskan bahwa Personas Vision berfungsi lebih baik pada headset, dan saya setuju. Entah bagaimana, renderingnya terasa lebih bisa dipercaya. Saat kita menempatkan diri kita di lingkungan yang setengahnya terdiri dari objek virtual, identitas yang dipindai 3D ini tampak lebih alami. Namun jarak fisik dan ekspresi tubuh juga bisa terjadi di luar angkasa. Individu dapat meninggalkan kotaknya dan bergerak sebagai batang tubuh, lengan, dan wajah.

“Saya bisa menceritakan lelucon dan Anda akan mengerti karena Anda akan melihat bahasa tubuh saya, dan melihat ekspresi wajah saya yang tidak dapat Anda lihat di layar dua dimensi,” kata Sinclair. “Di sini, kita berada di ruangan bersama, dan rasanya kita benar-benar ada di sini.”

Saat sosoknya dalam wujud virtual berdiri di samping meja saya yang berantakan, saya tahu dia benar.

Apple sudah mendapatkan masukan tentang hal ini untuk penggunaan bisnis. “Kami juga mendengarnya di bidang perawatan kesehatan,” kata Norris. “Dokter yang mengembangkan prosedur dan ingin melatih orang lain. Mereka tidak perlu bepergian ke seluruh negeri. Mereka cukup melakukan panggilan FaceTime dengan stafnya.”

Saya masih melihat masa depan di mana iPhone, iPad, laptop, dan headset semuanya bekerja sama, suatu perusahaan Seperti Microsoft Dan Qualcomm Ditujukan sebagai jembatan antara headset dan perangkat layar datar Samsung dan Google Titik koneksi tersebut juga sedang dibahas dengan Android XR. apel Ada ARKit Di iPhone dan iPad, kemungkinan itu sudah ada.

Norris mengatakan Persona akan kehilangan sesuatu di luar headset saat ini. “Untuk sepenuhnya mengapresiasi pengalaman ini, Anda harus memiliki kemampuan penginderaan dan kemampuan tampilan yang luar biasa. Keduanya benar-benar harus bersatu untuk menciptakan momen ajaib.”

Visi tersebut dapat berkembang seiring Apple bergerak menuju rangkaian kacamata pintar yang diharapkan di masa depan dan, yang pasti, iPhone dan iPad yang lebih canggih. Personifikasi adalah awal dari perubahan mendasar dalam cara kita mengelola kolaborasi dan koneksi

Namun, untuk saat ini, Anda tidak akan pernah merasakannya kecuali Anda berada di dalam Vision Pro. Saya menantikan saat ketika tiket ke dunia telepresence ajaib ini jauh lebih terjangkau dan didistribusikan dengan lebih baik, sehingga lebih banyak orang dapat ikut serta.

Pada titik ini, kepribadian saya pada dasarnya adalah diri saya sendiri. Saya berharap saya bisa lebih sering ditemani.

Jangan lewatkan konten teknologi kami yang tidak memihak dan ulasan berbasis laboratorium Tambahkan CNET Sebagai sumber Google pilihan.