Sejurus ketika Dr. Blake Richards mendengar tentang pembelajaran mendalam, dia menyedari bahawa dia menghadapi lebih dari sekadar metode yang akan merevolusikan kecerdasan buatan. Dia sedar bahawa dia sedang melihat sesuatu yang mendasar dari otak manusia. Itu awal 2000-an dan Richards mengajar kursus di University of Toronto bersama Jeff Hinton. Hinton, yang berada di belakang penciptaan algoritma yang menaklukkan dunia, ditawarkan kursus pengantar mengenai kaedah pengajarannya, yang diilhamkan oleh otak manusia.
Kata kunci di sini adalah "berinspirasi otak." Walaupun yakin Richards, pertaruhan dimainkan terhadapnya. Otak manusia, ternyata, tidak mempunyai fungsi penting yang diprogramkan dalam algoritma pembelajaran mendalam. Di permukaan, algoritma ini melanggar fakta asas biologi yang sudah dibuktikan oleh ahli sains saraf.
Tetapi bagaimana jika pembelajaran mendalam dan otak sebenarnya serasi?
Oleh itu, dalam kajian baru yang diterbitkan di eLife, Richards, bekerja dengan DeepMind, mencadangkan algoritma baru berdasarkan struktur biologi neuron di neokorteks. Korteks, korteks serebrum, adalah tempat bagi fungsi kognitif yang lebih tinggi seperti penaakulan, ramalan, dan pemikiran yang fleksibel.
Pasukan ini menggabungkan neuron buatan mereka ke dalam rangkaian berlapis dan mencabarnya dengan tugas penglihatan komputer klasik - untuk mengenal pasti nombor tulisan tangan.
Algoritma baru berjaya. Tetapi satu lagi perkara penting: dia menganalisis contoh untuk belajar dengan cara yang sama seperti algoritma pembelajaran mendalam, tetapi dibina sepenuhnya berdasarkan asas biologi otak.
"Pembelajaran mendalam dapat dilakukan dalam struktur biologi," para saintis menyimpulkan.
Oleh kerana model ini pada masa ini adalah versi komputer, Richards berharap dapat memberikan tongkat kepada ahli sains saraf eksperimen yang dapat menguji sama ada algoritma seperti itu berfungsi dalam otak yang sebenarnya.
Video promosi:
Sekiranya demikian, data dapat diberikan kepada saintis komputer untuk mengembangkan algoritma selari dan efisien secara besar-besaran yang akan dijalankan oleh mesin kami. Ini adalah langkah pertama untuk penggabungan dua bidang dalam "tarian saleh" penemuan dan inovasi.
Mencari kambing hitam
Walaupun anda mungkin pernah mendengar bahawa AI mengalahkan yang terbaik dari yang terbaik di Go, anda hampir tidak tahu bagaimana algoritma di sebalik AI ini berfungsi.
Ringkasnya, pembelajaran mendalam dibuat berdasarkan rangkaian saraf tiruan dengan "neuron" maya. Seperti pencakar langit tinggi, rangkaian disusun dalam hierarki: input proses neuron tahap rendah - contohnya, bar mendatar atau menegak yang membentuk nombor 4 - dan neuron tahap tinggi memproses aspek abstrak nombor 4.
Untuk melatih rangkaian, anda memberikan contoh yang anda cari. Isyarat menyebarkan melalui rangkaian (menaiki tangga bangunan), dan setiap neuron cuba melihat sesuatu yang mendasar dalam karya "empat".
Semasa kanak-kanak belajar perkara baru, rangkaian tidak berfungsi dengan baik pada mulanya. Dia memberikan semua yang, menurut pendapatnya, kelihatan seperti nombor empat - dan anda mendapat gambar dalam semangat Picasso.
Tetapi inilah cara pembelajaran berjalan: algoritma memadankan output dengan input yang ideal dan mengira perbezaan antara keduanya (baca: ralat). Kesalahan "menyebarkan kembali" melalui rangkaian, melatih setiap neuron, kata mereka, ini bukan yang anda cari, kelihatan lebih baik.
Setelah berjuta-juta contoh dan pengulangan, web mula berfungsi dengan sempurna.
Isyarat ralat sangat penting untuk belajar. Tanpa "backpropagation ralat" yang berkesan, rangkaian tidak akan mengetahui neuron mana yang salah. Dalam mencari kambing hitam, kecerdasan buatan bertambah baik.
Otak juga melakukannya. Tetapi bagaimana? Kami tidak mempunyai idea.
Buntu biologi
Perkara yang jelas adalah bahawa penyelesaian pembelajaran mendalam tidak berfungsi.
Menyebalikkan kesalahan adalah ciri yang sangat penting. Ia memerlukan infrastruktur tertentu untuk berfungsi dengan betul.
Pertama, setiap neuron dalam rangkaian mesti menerima pemberitahuan ralat. Tetapi di otak, neuron disambungkan kepada hanya beberapa (jika ada) rakan hilir. Agar backpropagation berfungsi di otak, neuron pada tahap pertama mesti melihat maklumat dari berbilion sambungan di saluran hilir - dan ini mustahil secara biologi.
Dan sementara beberapa algoritma pembelajaran mendalam menyesuaikan bentuk penyebaran semula kesalahan tempatan - pada dasarnya antara neuron - ia memerlukan bahawa sambungan belakang dan belakangnya menjadi simetris. Dalam sinaps otak, ini hampir tidak pernah berlaku.
Algoritma yang lebih moden mengadaptasi strategi yang sedikit berbeza dengan menerapkan jalan maklum balas yang berasingan yang membantu neuron mencari ralat secara tempatan. Walaupun ini lebih mungkin dilakukan secara biologi, otak tidak mempunyai rangkaian pengkomputeran terpisah yang dikhaskan untuk mencari kambing hitam.
Tetapi ia mempunyai neuron dengan struktur yang kompleks, berbeza dengan "bola" homogen yang saat ini digunakan dalam pembelajaran mendalam.
Rangkaian percabangan
Para saintis mengambil inspirasi dari sel piramidal yang memenuhi korteks manusia.
"Sebilangan besar neuron ini berbentuk seperti pohon, dengan 'akar' jauh di otak dan 'cabang' keluar ke permukaan," kata Richards. "Hebatnya, akar mendapat satu set input dan cabangnya menjadi berbeza."
Ia ingin tahu, tetapi struktur neuron sering berubah menjadi "tepat seperti yang diperlukan" untuk menyelesaikan masalah komputasi dengan berkesan. Ambil pemprosesan deria, sebagai contoh: bahagian bawah neuron piramidal adalah tempat yang sepatutnya untuk menerima input deria, dan bahagian atas berada pada kedudukan yang mudah untuk menghantar kesalahan melalui maklum balas.
Mungkinkah struktur yang kompleks ini menjadi penyelesaian evolusi untuk menangani isyarat yang salah?
Para saintis telah membuat rangkaian saraf pelbagai lapisan berdasarkan algoritma sebelumnya. Tetapi bukannya neuron homogen, mereka memberikannya neuron di lapisan tengah - terjepit antara input dan output - serupa dengan yang nyata. Belajar dari nombor tulisan tangan, algoritma menunjukkan prestasi yang jauh lebih baik daripada rangkaian satu lapisan, walaupun tidak terdapat kesalahan asas klasik. Struktur selular sendiri dapat mengenal pasti kesalahan tersebut. Kemudian, pada masa yang tepat, neuron menggabungkan kedua-dua sumber maklumat untuk mencari penyelesaian terbaik.
Terdapat asas biologi untuk ini: ahli sains saraf telah lama mengetahui bahawa cabang input neuron melakukan pengiraan tempatan yang dapat disatukan dengan isyarat penyebaran balik dari cabang output. Tetapi kita tidak tahu sama ada otak berfungsi dengan betul - jadi Richards menugaskan ahli sains saraf untuk mengetahuinya.
Lebih-lebih lagi, rangkaian ini menangani masalah dengan cara yang serupa dengan kaedah pembelajaran mendalam tradisional: ia menggunakan struktur berlapis untuk mengekstrak idea yang lebih abstrak mengenai setiap nombor secara progresif.
"Ini adalah ciri pembelajaran mendalam," jelas penulis.
Otak belajar yang mendalam
Tidak ada keraguan akan ada lebih banyak liku-liku dalam kisah ini kerana para saintis komputer membawa lebih banyak perincian biologi ke dalam algoritma AI. Richards dan pasukannya melihat fungsi ramalan dari atas ke bawah, di mana isyarat dari tahap yang lebih tinggi secara langsung mempengaruhi bagaimana tahap yang lebih rendah bertindak balas terhadap input.
Maklum balas dari lapisan yang lebih tinggi bukan sahaja meningkatkan isyarat kesalahan; ia juga dapat mendorong neuron pemprosesan rendah untuk melakukan "lebih baik" dalam masa nyata, kata Richards. Setakat ini, rangkaian tersebut tidak mengungguli rangkaian pembelajaran mendalam bukan biologi lain. Tetapi tidak menjadi masalah.
"Pembelajaran mendalam memberi kesan besar pada AI, tetapi hingga kini kesannya terhadap ilmu saraf terbatas," kata penulis kajian. Sekarang ahli sains saraf akan mempunyai alasan untuk melakukan ujian eksperimental dan mengetahui apakah struktur neuron mendasari algoritma semula jadi pembelajaran mendalam. Mungkin dalam sepuluh tahun akan datang, pertukaran data yang saling menguntungkan antara ahli sains saraf dan penyelidik kecerdasan buatan akan bermula.
Ilya Khel
