Selama 10 tahun yang lalu, berkat kaedah pembelajaran mendalam yang disebut, kami telah menerima sistem kecerdasan buatan terbaik - contohnya, pengecaman pertuturan di telefon pintar atau penterjemah automatik terkini dari Google. Pembelajaran yang mendalam, sebenarnya, telah menjadi tren baru dalam jaringan saraf yang sudah terkenal yang telah menjadi mode dan keluar selama lebih dari 70 tahun. Jaringan saraf pertama kali diusulkan oleh Warren McCullough dan Walter Pitts pada tahun 1994, dua penyelidik di University of Chicago. Pada tahun 1952, mereka pergi bekerja di Massachusetts Institute of Technology untuk meletakkan asas bagi Jabatan Kognisi pertama.
Jaringan saraf adalah salah satu bidang penyelidikan utama dalam sains saraf dan sains komputer sehingga tahun 1969, ketika, menurut legenda, mereka dibunuh oleh ahli matematik MIT, Marvin Minsky dan Seymour Papert, yang setahun kemudian menjadi ketua makmal kecerdasan buatan baru MIT.
Kaedah ini mengalami kebangkitan semula pada tahun 1980-an, sedikit memudar ke dalam bayang-bayang pada dekad pertama abad baru dan kembali dengan semangat penggemar pada yang kedua, di puncak pengembangan cip grafik yang luar biasa dan kekuatan pemprosesan mereka.
"Ada persepsi bahawa idea dalam sains adalah seperti wabak virus," kata Tomaso Poggio, profesor kognisi dan sains otak di MIT. "Mungkin ada lima atau enam jenis virus influenza utama, dan salah satunya muncul pada kadar 25 tahun yang dicemburui. Orang akan dijangkiti, mendapat imuniti dan tidak jatuh sakit selama 25 tahun akan datang. Kemudian generasi baru muncul, bersedia untuk dijangkiti dengan virus yang sama. Dalam sains, orang jatuh cinta dengan idea, itu membuat semua orang gila, kemudian mereka mematikannya dan memperoleh kekebalan terhadapnya - mereka bosan dengannya. Idea harus mempunyai frekuensi yang serupa."
Soalan berat
Jaringan saraf adalah kaedah pembelajaran mesin di mana komputer belajar untuk melakukan tugas-tugas tertentu dengan menganalisis contoh latihan. Biasanya, contoh-contoh ini ditandakan secara manual terlebih dahulu. Sistem pengenalan objek, misalnya, dapat menyerap beribu-ribu gambar kereta, rumah, cawan kopi, dan sebagainya, dan kemudian dapat mencari corak visual pada gambar-gambar yang secara konsisten berkorelasi dengan label tertentu.
Rangkaian saraf sering dibandingkan dengan otak manusia, yang juga mempunyai rangkaian seperti itu, yang terdiri daripada ribuan atau berjuta-juta nod pemprosesan sederhana, yang saling berkaitan. Sebilangan besar rangkaian saraf moden disusun dalam lapisan nod, dan data mengalir melalui mereka hanya dalam satu arah. Node individu boleh dikaitkan dengan beberapa nod dalam lapisan di bawahnya, dari mana ia menerima data, dan beberapa nod dalam lapisan di atas, yang mana ia menghantar data.
Video promosi:
Node memberikan nombor untuk setiap pautan masuk ini - "berat". Apabila rangkaian aktif, node menerima set data yang berbeza - nombor yang berbeza - untuk setiap sambungan ini dan didarabkan dengan berat yang sesuai. Dia kemudian menambahkan hasilnya untuk membentuk satu nombor. Sekiranya nombor ini berada di bawah ambang, nod tidak akan menghantar data ke lapisan seterusnya. Sekiranya nombor melebihi ambang, simpul "bangun" dengan menghantar nombor - jumlah data input berwajaran - ke semua sambungan keluar.
Apabila rangkaian saraf dilatih, semua bobot dan ambang pada mulanya ditetapkan dalam urutan rawak. Data latihan dimasukkan ke lapisan bawah - lapisan input - dan melewati lapisan berikutnya, mengalikan dan menambahkan dengan cara yang kompleks, hingga akhirnya tiba, sudah berubah, ke lapisan output. Semasa latihan, bobot dan ambang terus diselaraskan sehingga data latihan dengan label yang sama menghasilkan kesimpulan yang serupa.
Fikiran dan mesin
Jaringan saraf yang dijelaskan oleh McCullough dan Pitts pada tahun 1944 memiliki ambang dan berat, tetapi tidak disusun secara berlapis, dan para saintis tidak menentukan mekanisme pembelajaran tertentu. Tetapi McCullough dan Pitts menunjukkan bahawa rangkaian saraf dapat, pada prinsipnya, menghitung fungsi apa pun, seperti komputer digital. Hasilnya lebih banyak dari bidang ilmu saraf daripada sains komputer: harus diasumsikan bahawa otak manusia dapat dilihat sebagai alat pengkomputeran.
Rangkaian saraf terus menjadi alat yang berharga untuk penyelidikan neurobiologi. Sebagai contoh, lapisan individu rangkaian atau peraturan untuk menyesuaikan berat dan ambang menghasilkan ciri-ciri yang diperhatikan dari neuroanatomi manusia dan fungsi kognitif, dan dengan itu mempengaruhi bagaimana otak memproses maklumat.
Jaringan saraf pertama yang dapat dilatih, Perceptron (atau Perceptron), ditunjukkan oleh psikologi Universiti Cornell, Frank Rosenblatt pada tahun 1957. Reka bentuk Perceptron mirip dengan jaringan saraf moden, kecuali ia mempunyai lapisan tunggal dengan berat dan ambang laras yang diapit antara lapisan input dan output.
"Perceptrons" secara aktif diteliti dalam psikologi dan sains komputer hingga tahun 1959, ketika Minsky dan Papert menerbitkan sebuah buku berjudul "Perceptrons", yang menunjukkan bahawa melakukan pengiraan yang cukup konvensional pada perceptron tidak praktikal dari segi waktu.
"Sudah tentu, semua batasan akan hilang sekiranya anda membuat mesin sedikit lebih kompleks," misalnya, dalam dua lapisan, "kata Poggio. Tetapi pada masa itu, buku ini memberi kesan yang mengerikan pada penyelidikan rangkaian saraf.
"Perkara-perkara ini perlu dipertimbangkan dalam konteks sejarah," kata Poggio. "Buktinya dibina untuk pengaturcaraan dalam bahasa seperti Lisp. Tidak lama sebelum itu, orang menggunakan komputer analog secara senyap-senyap. Pada masa itu tidak sepenuhnya jelas apa yang akan dilakukan oleh pengaturcaraan. Saya rasa mereka sedikit berlebihan, tetapi, seperti biasa, anda tidak boleh membahagikan semuanya menjadi hitam putih. Sekiranya anda menganggapnya sebagai persaingan antara pengkomputeran analog dan pengkomputeran digital, maka mereka memperjuangkan apa yang diperlukan."
Berkala
Menjelang tahun 1980-an, para saintis telah mengembangkan algoritma untuk mengubah bobot dan ambang batas jaringan saraf yang cukup efisien untuk rangkaian dengan lebih dari satu lapisan, menghilangkan banyak batasan yang dikenal pasti oleh Minsky dan Papert. Kawasan ini telah mengalami Renaissance.
Tetapi dari sudut pandangan yang munasabah, ada sesuatu yang hilang dalam rangkaian saraf. Sesi latihan yang cukup lama dapat menyebabkan revisi tetapan rangkaian sehingga mulai mengklasifikasikan data dengan cara yang berguna, tetapi apa arti pengaturan ini? Ciri-ciri gambar apa yang dilihat oleh pengecam objek dan bagaimana ia menyatukannya untuk membentuk tanda tangan visual kereta, rumah, dan cawan kopi? Kajian mengenai berat sebatian individu tidak akan menjawab soalan ini.
Dalam beberapa tahun terakhir, para saintis komputer mulai menemukan metode cerdik untuk menentukan strategi analisis yang diadopsi oleh jaringan saraf. Tetapi pada tahun 1980-an, strategi rangkaian ini tidak dapat difahami. Oleh itu, pada pergantian abad, rangkaian saraf digantikan oleh mesin vektor, pendekatan alternatif untuk pembelajaran mesin berdasarkan matematik yang murni dan elegan.
Kenaikan minat baru-baru ini dalam jaringan saraf - revolusi pembelajaran mendalam - terhutang kepada industri permainan. Grafik yang kompleks dan pantas permainan video moden memerlukan perkakasan yang dapat mengikuti tren, menghasilkan GPU (unit pemprosesan grafik) dengan ribuan inti pemprosesan yang agak sederhana pada satu cip. Para saintis segera menyedari bahawa seni bina GPU sangat sesuai untuk rangkaian neural.
GPU moden memungkinkan untuk membina rangkaian tahun 1960-an dan dua dan tiga lapisan pada tahun 1980-an menjadi rangkaian rangkaian 10-, 15-, dan bahkan 50-lapisan pada masa kini. Inilah yang dipertanggungjawabkan oleh kata "mendalam" dalam "pembelajaran mendalam." Ke kedalaman rangkaian. Pembelajaran mendalam kini bertanggungjawab untuk sistem yang paling cekap di hampir semua bidang penyelidikan kecerdasan buatan.
Di bawah tudung
Kelegapan rangkaian masih membimbangkan ahli teori, tetapi terdapat kemajuan di bahagian depan ini. Poggio mengetuai program penyelidikan mengenai asas teori kecerdasan. Baru-baru ini, Poggio dan rakan-rakannya melancarkan kajian teori rangkaian saraf dalam tiga bahagian.
Bahagian pertama, yang diterbitkan bulan lalu dalam Jurnal Automasi dan Pengkomputeran Antarabangsa, membahas rangkaian pengiraan yang dapat dilakukan oleh rangkaian pembelajaran mendalam, dan ketika rangkaian dalam memanfaatkan yang cetek. Bahagian dua dan tiga, yang diluncurkan sebagai kuliah, menangani tantangan pengoptimuman global, yakni memastikan bahawa rangkaian akan menemukan tetapan yang paling sesuai dengan data latihannya, dan ketika jaringan memahami dengan baik spesifik data latihannya. yang tidak dapat menggeneralisasikan manifestasi lain dari kategori yang sama.
Masih banyak persoalan teori di hadapan, jawapan yang harus diberikan. Tetapi ada harapan bahawa rangkaian saraf akhirnya dapat mematahkan kitaran generasi yang menjerumuskannya menjadi panas dan kadang-kadang sejuk.
ILYA KHEL
