Dengan menggunakan teknologi untuk mengimbas aktiviti otak, kecerdasan buatan dan alat sintesis ucapan, para saintis dari Universiti Columbia (AS) telah mencipta alat yang dapat menterjemahkan pemikiran manusia ke dalam mengartikulasikan ucapan. Penemuan penyelidikan, yang diterbitkan dalam Laporan Ilmiah, merupakan langkah penting dalam meningkatkan antara muka otak-komputer. Pada masa akan datang, alat seperti itu dapat digunakan oleh orang yang telah kehilangan kemampuan untuk berbicara akibat kecederaan atau penyakit.
Untuk mengembangkan peranti yang menggabungkan kemampuan alat sintesis ucapan dan kecerdasan buatan, pengarang kajian, ahli sains saraf Nima Mesgarani dan rakan-rakannya beralih kepada kemajuan terkini dalam pembelajaran mesin mendalam dan teknologi sintesis pertuturan. Hasil karya mereka adalah vokoder berasaskan kecerdasan buatan yang mampu menafsirkan aktiviti otak dengan tepat secara tepat dari korteks pendengaran otak, dan kemudian menerjemahkannya ke dalam ucapan yang dapat difahami. Para penulis karya menyatakan bahawa ucapan dalam kes ini ternyata sangat berkomputer, tetapi orang-orang dapat mengenali kata-kata dalam kebanyakan kes.
Menurut penciptanya, peranti baru yang digunakan untuk menghasilkan semula ucapan yang dihasilkan adalah berdasarkan teknologi yang sama yang digunakan dalam pembantu digital seperti Alexa, Siri dan Google Assistant.
Pertama, pakar melatih vokoder untuk mentafsirkan aktiviti otak manusia dengan betul. Untuk ini, para saintis menjemput lima sukarelawan yang menjalani rawatan epilepsi untuk menyertai eksperimen ini. Kelima-lima mereka mempunyai elektrod yang ditanamkan di korteks pendengaran untuk membaca elektroensefalogram.
Kami meminta pesakit epilepsi yang sudah menjalani operasi otak untuk mendengar kalimat yang dilontarkan oleh orang yang berlainan. Pada masa yang sama, kami menganalisis corak aktiviti otak pesakit. Vododer dilatih berdasarkan model saraf yang diperoleh,”jelas Mesgarani.
Pesakit diminta untuk mendengar rakaman di mana para pelakon membaca urutan nombor dari 0 hingga 9. Pada masa yang sama, para saintis merakam isyarat dari otak, dan kemudian menyebarkannya melalui vokoder, isyarat yang diperbetulkan untuk meningkatkan kejelasan oleh rangkaian saraf yang menganalisis bunyi vokoder itu sendiri, yang menghasilkan suara sebagai tindak balas terhadap isyarat ini. Akibatnya, suara robot dapat didengar mengulangi urutan nombor yang diucapkan. Untuk menilai hasilnya, para saintis menjemput 11 orang dengan pendengaran yang sangat baik.
Ternyata orang dapat mengenali kata-kata sekitar 75% dari waktu, yang jauh lebih baik daripada percubaan sebelumnya. Vokoder sensitif dan rangkaian saraf yang kuat menghasilkan suara yang didengarkan oleh pesakit dengan ketepatan yang luar biasa,”komen Mesgarani.
Video promosi:
Pada masa akan datang, pasukan Mesgarani akan mengajar rangkaian saraf untuk menyebut perkataan, frasa dan bahkan keseluruhan ayat yang lebih kompleks. Selepas itu, mereka ingin mengembangkan implan yang dapat menterjemahkan pemikiran seseorang menjadi pertuturan penuh.
"Sebagai contoh, jika pemilik implan berfikir:" Saya memerlukan segelas air, "sistem kami membaca isyarat otak dan menerjemahkannya ke dalam ucapan. Ini akan memberi peluang kepada siapa saja yang kehilangan kemampuan untuk berbicara kerana cedera atau sakit untuk berkomunikasi dengan dunia di sekitar mereka,”tambah Mesgarani.
Nikolay Khizhnyak
