Para peneliti dari UC San Francisco dan UC Berkeley, bekerja sama dengan Speech Graphics yang berbasis Edinburgh, bersama-sama merancang sistem komunikasi revolusioner yang memungkinkan seorang wanita yang lumpuh akibat stroke untuk berbicara layaknya manusia normal melalui media avatar digital yang dikendalikan dengan antarmuka otak-komputer atau Brain-Computer Interfaces (BCIs). Para peneliti sama terkejutnya dengan semua orang ketika mengetahui cara ini ternyata bisa berhasil.
Brain-Computer Interfaces (BCIs) adalah perangkat yang memantau sinyal analog yang dihasilkan oleh otak dan mengubahnya menjadi sinyal digital yang dapat dimengerti oleh komputer—seperti unit DAC pada soundboard mixing, tetapi berada di dalam tengkorak kepala.
Dalam studi ini, para peneliti yang dipimpin oleh Dr. Edward Chang, ketua bedah saraf di UCSF, pertama-tama menanamkan rangkaian elektroda 253 pin ke pusat bicara otak pasien. Probe-probe tersebut memantau dan menangkap sinyal listrik yang seharusnya menggerakkan otot-otot di rahang, bibir, dan lidahnya, dan mengirimkannya melalui porta berkabel di tengkoraknya ke sekelompok prosesor yang akan memproses semuanya. Tumpukan komputasi itu mengandung kecerdasan buatan yang melalui pelatihan selama beberapa minggu, dan akhirnya dapat mengenali pola sinyal listrik pasien untuk lebih dari 1.000 kata.
Namun itu baru sebagian dari kemampuan yang dapat dilakukan teknologi AI tersebut. Pada antarmuka yang sama, pasien dapat menuliskan tanggapannya, sama seperti cara kerja sistem Synchron bagi orang yang menderita locked-in syndrome. Menariknya, teknologi ini menggunakan suara yang dilatih berdasarkan suara asli pasien sebelum mengalami kelumpuhan.
Lebih lanjut, para peneliti bekerja sama dengan Speech Graphics, perusahaan yang sama yang mengembangkan teknologi animasi wajah fotorealistik dari Halo Infinite dan The Last of Us Part II, untuk menciptakan avatar pasien. Teknologi ini bekerja dengan cara menganalisis audio, wajah, dan data lain yang diberikan secara real-time ke mesin game untuk dibuatkan animasi seperti avatar yang bisa berjalan tanpa mengalami lag. Menariknya, sinyal mental dari pasien dipetakan langsung ke avatar sehingga mampu mengekspresikan emosi dan berkomunikasi nonverbal.
“Menciptakan avatar digital yang dapat berbicara, merasakan, dan berbicara secara real-time, terhubung langsung ke otak subjek, menunjukkan potensi wajah yang didukung AI jauh melampaui video game,” kata Michael Berger, CTO dan co-founder Speech Graphics, dalam pernyataan pers beberapa waktu lalu. “Mengembalikan suara saja sudah mengesankan, tetapi komunikasi wajah sangat khas bagi manusia, jadi kami berusaha mengembalikan rasa inkarnasi dan kontrol kepada pasien yang telah kehilangan itu.”
Teknologi BCI dipelopori pada awal tahun 1970-an dan telah berkembang perlahan dalam beberapa dekade berikutnya. Kemajuan eksponensial dalam sistem pemrosesan dan komputasi baru-baru ini telah membantu membangkitkan kembali bidang ini, dengan sejumlah startup yang bersaing untuk menjadi yang pertama dan terbaik.
