Jurutera dari Institut Kajian Aktiviti Saraf Tinggi dapat membuat sistem yang menerjemahkan pemikiran menjadi ucapan yang dapat difahami dan dikenali. Dengan mengawal aktiviti otak seseorang, teknologi menyusun semula pemikiran menjadi kata-kata.
Terobosan saintifik ini, ditambah dengan kekuatan AI dan synthesizer ucapan, membuka era baru dalam interaksi antara komputer dan otak. Sudah tentu, ini juga membuka peluang baru bagi orang-orang yang, untuk satu atau lain sebab, telah kehilangan kemampuan untuk bercakap.
Suara kami membantu berhubungan dengan rakan, keluarga, dan dunia di sekitar kita, jadi kehilangan kekuatan suara kerana kecederaan atau penyakit sangat buruk bagi orang. Namun, dengan stok pengetahuan hari ini, kita mempunyai cara yang berpotensi untuk mengembalikan kekuatan ini. Kami telah menunjukkan bahawa dengan teknologi yang tepat, pemikiran orang dapat diuraikan dan difahami oleh mana-mana pendengar,”kata Nima Mesgarani, Ph. D. dan salah seorang penulis kajian yang dilakukan di Institut Perilaku Mental Mortimer B. Zuckerman di Universiti Columbia.
Penelitian selama beberapa dekad menunjukkan bahawa ketika orang bercakap atau bahkan membayangkan mereka mengucapkan kata-kata, corak aktiviti aktiviti muncul di otak mereka. Pola isyarat yang jelas dan dikenali juga muncul ketika kita mendengar seseorang berbicara, atau membayangkan bahawa kita sedang mendengar. Pakar telah berusaha untuk menguraikan corak ini selama beberapa dekad, tetapi hanya sekarang masa depan telah terbuka di hadapan mereka, di mana pemikiran tidak lagi dapat disembunyikan di dalam otak, tetapi sebaliknya dapat diterjemahkan ke dalam bahasa lisan sesuka hati.
Tetapi prestasi ini tidak mudah dicapai. Percubaan awal untuk menguraikan isyarat otak dari Dr. Mesgarani dan yang lain tertumpu pada model komputer sederhana yang menganalisis spektrogram, yang merupakan representasi visual frekuensi suara.
Tetapi kerana kenyataan bahawa pendekatan ini tidak menghasilkan apa-apa yang hampir dengan pertuturan yang dapat difahami, pasukan Dr. Mesgarani sebaliknya beralih ke vokoder, algoritma komputer yang dapat mensintesis ucapan setelah dilatih untuk merakam percakapan orang.
"Ini adalah teknologi yang sama yang digunakan Amazon Echo dan Apple Siri untuk menjawab soalan kami secara lisan," kata Dr Mesgarani, yang juga profesor kejuruteraan elektrik di Sekolah Kejuruteraan dan Sains Gunaan Columbia Fu Foundation.
Untuk mengajar vokoder menafsirkan aktiviti otak, Dr. Mesgarani bekerjasama dengan Ashesh Dinesh Mehta, M. D., Ph. D., pakar bedah saraf di Institut Neurosains Northwell Health Physician Partners 'dan pengarang bersama artikel hari ini. Mehta merawat pesakit dengan epilepsi, ada yang mesti menjalani pembedahan secara berkala.
Video promosi:
"Bekerja dengan Dr. Mehta, kami meminta pasien epilepsi yang sudah menjalani operasi otak untuk mendengar saran dari orang yang berbeda, sementara kami mengukur corak dalam aktiviti otak mereka," kata Dr. Mesgarani. "Corak saraf ini melatih vokoder."
Para penyelidik kemudian meminta pesakit yang sama untuk mendengar pembicara yang menyebutkan angka 0 hingga 9 sambil merakam isyarat otak yang kemudiannya dapat dilalui melalui vododer. Suara yang dihasilkan oleh vokoder sebagai tindak balas terhadap isyarat ini dianalisis dan diperhalusi menggunakan rangkaian saraf seperti kecerdasan buatan yang meniru struktur neuron dalam otak biologi.
Hasil akhirnya adalah suara robot yang mengulangi urutan nombor. Untuk mengesahkan ketepatan rakaman, Dr. Mesgarani dan pasukannya mengarahkan orang ramai untuk mendengar rakaman dan melaporkan apa yang mereka dengar.
"Kami mendapati bahawa manusia dapat memahami dan mengulangi suara sekitar 75% dari waktu, yang jauh lebih tinggi daripada percubaan sebelumnya," kata Dr. Mesgarani. Peningkatan kefahaman jelas terlihat ketika membandingkan rakaman baru dengan percubaan sebelumnya berdasarkan spektrogram. "Vokoder sensitif dan rangkaian saraf yang kuat mewakili suara yang awalnya didengar oleh pesakit dengan ketepatan yang luar biasa."
Dr. Mesgarani dan pasukannya sekarang merancang untuk menguji kata dan ayat yang lebih sukar. Mereka juga berhasrat untuk melakukan ujian yang sama pada isyarat otak yang dipancarkan ketika seseorang bercakap atau membayangkan ucapan. Pada akhirnya, mereka berharap sistem mereka dapat menjadi bagian dari implan, mirip dengan yang dipakai oleh beberapa pesakit epilepsi, yang menerjemahkan pemikiran pemakai secara langsung menjadi kata-kata.
"Dalam senario ini, jika pemilik cip itu berfikir, 'Saya memerlukan segelas air,' sistem kita dapat mengambil isyarat otak yang dihasilkan oleh pemikiran itu dan mengubahnya menjadi ucapan lisan yang disintesis," kata Dr. Mesgarani. "Ini penukar permainan dan bagi sesiapa yang kehilangan kemampuan untuk berbicara kerana kecederaan atau penyakit, teknologi memberi peluang baru untuk berkomunikasi dengan dunia di sekitar mereka."
Komen editorial
Oleh kerana sebilangan pekerja kita mempunyai hubungan tertentu dengan neurofisiologi, kita secara tegas dapat menegaskan bahawa menyelesaikan masalah membaca pemikiran dan menerjemahkan pemikiran ini menjadi kata-kata bukanlah masalah yang dapat diselesaikan oleh semacam Ph. D. bersama dengan pakar bedah saraf yang cerdas. Ini adalah tugas untuk institusi penyelidikan, yang akan menyelesaikannya selama seratus, dua ratus atau lebih tahun. Selain itu, sama sekali bukan fakta bahawa institut penyelidikan akan menyelesaikan masalah ini - walaupun semua komputer super NASA dibawa ke sana, di mana sekumpulan jurutera akan mula mensimulasikan rangkaian saraf. Walau bagaimanapun, artikel dalam jurnal ilmiah tidak akan berbohong dan fakta pengiktirafan pemikiran pasti ada. Jadi, bagaimana kedua-dua fakta ini dapat disatukan?
Sangat ringkas. Dalam 20-30 tahun terakhir, sebilangan besar teknologi yang sangat luar biasa dan sangat kompleks seperti mikropemproses dan cakera keras telah muncul di dunia. Dan setiap hari terdapat lebih banyak penemuan baru, yang ditulis kepada beberapa "pelajar berbakat" yang, duduk di garaj, mengumpulkan sekeping dari besi buruk, yang mana institusi penyelidikan telah berjuang selama 50 tahun. Dan dalam kes ini, kita mempunyai penemuan genesis yang serupa. Artinya, perkembangan yang telah dilakukan (atau diserahkan kepada orang-orang) selama bertahun-tahun, tidak jelas siapa, tetapi yang dicatat pada bibi dan paman dari Colombia.
Sebenarnya, sama sekali tidak ada perbezaan yang akan ditulis oleh Wikipedia sebagai "penemu" teknologi. Perkara utama ialah teknologi itu dipersembahkan kepada dunia menggunakan jurnal ilmiah. Selanjutnya, beberapa syarikat China akan mula menghasilkan "gadget" seperti itu yang akan membiasakan orang dengan idea bahawa kepala mereka kini menjadi telus sepenuhnya. Akhirnya, tahap ketiga akan menjadi Orwellian "1984" yang sama apabila pemikiran mana-mana orang dapat dibaca secara bebas dari kejauhan. Contohnya, dengan meletakkan sensor khas di pangsapuri atau menyatukan cip khas yang bertindak balas terhadap impuls otak ke dalam badan. Selanjutnya.
Setiap teknologi mempunyai, sebagai peraturan, aplikasi sebaliknya. Sebagai contoh, jika ada teknologi untuk mengubah impuls saraf menjadi kata-kata, maka dengan menggunakan prinsip yang sama, anda boleh mengubah perkataan menjadi pemikiran seseorang. Dalam situasi ini, presiden dari berbagai negara mempunyai prospek yang besar untuk didukung oleh seluruh pengundi, kerana sekarang ada kemungkinan teknis untuk membuat setiap pemilih berfikir seperti dia - cukup untuk memasukkan isyarat yang dimodulasi dengan betul ke soket.
Secara umum, tidak dapat dikatakan bahawa prospek paling indah di dunia sedang terbuka dan kami mengikuti perkembangan acara dengan penuh minat.