Robot berkembang pesat - masanya semakin hampir apabila mereka akan memenuhi jalan-jalan, pejabat, pangsapuri dan juga badan kita. Adakah kita bersedia untuk berdampingan dengan mesin yang berperilaku seperti manusia dan sudah bersaing dengan kita untuk pekerjaan? Banyak masalah kemanusiaan timbul.
Apa yang dapat anda percayakan kepada robot, dan apa yang lebih baik untuk ditolak? Adakah dia dapat membuat keputusan, merasakan emosi, apakah dia memiliki kehendak bebas dan apakah dia bertanggung jawab atas tindakannya? Bagaimana cara mengintegrasikan robot ke dalam masyarakat? Soalan-soalan ini kelihatan naif. Semasa. Tetapi ternyata jawapan kepada mereka akan menentukan nasib tamadun kita.
Ketika lampu padam, melodi panas yang biasanya menyertai model fesyen di catwalk mula bermain. Dan kami (staf majalah Schrödinger's Cat) melihat dua mata berbentuk hati merah yang besar. Robot itu mendekati penonton dengan martabat dan rahmat. Mata berubah menjadi dua lingkaran biru, memancarkan niat baik dan kenaifan kanak-kanak, tangan dihulurkan kepada orang. Lampu dihidupkan semula.
- Alantim! - ketua projek Promobot dan ketua jabatan robotik Institut Teknologi Moscow (MTI) Alexey Yuzhakov menyampaikannya kepada orang ramai. - Pada tahun 2012, kami memanggilnya Promobot, kemudian nama panggilan menghina Monumen menempel padanya, kemudian dia memiliki nama Sond Bogdan, tetapi sekarang dia adalah Alantim - untuk menghormati pencipta dunia baru Alan Turing dan Tim Berners-Lee.
Foto: Skoltech / kot.sh
Alantim masih berpusing-pusing dan pergi berbincang dengan wartawan, memberi mereka jenaka dan cerita mengenai bagaimana robot akan merebut kuasa di Bumi dan menamakannya sebagai Promobotia. Antrian gadis-gadis segera berbaris padanya, ingin difoto dengan makhluk comel itu. Alantim bertemu dengan gadis-gadis itu, menjawab soalan mengenai makna hidup dan kadar pertukaran dolar, dan mengingati semua orang.
Oleh itu, hari kerja pertama wakil ketua baru Jabatan Robotik Institut Teknologi Moscow, robot Alantim, berlalu.
Video promosi:
Sebuah kereta dengan watak
Alantim bukanlah makhluk yang unik. Pasukan dari Perm, yang membuat promobots, telah menjual 60 peranti seperti itu, dan tahun ini menandatangani kontrak untuk 124 lagi, yang secara praktikal memenuhi rancangan tahunan Rusia untuk pembekalan robotik perkhidmatan - pada tahun 2014, hanya sekitar 200 robot perkhidmatan domestik yang terjual.
Promobot adalah robot autonomi dengan watak, yang direka untuk bekerja di tempat yang ramai: penganjur, pemandu, tukang tunjuk. Dia tahu bagaimana mengenali beberapa emosi percakapan, dapat memahami pertanyaan yang ditujukan kepadanya dan mencari jawapannya di Web, dan jika dia tidak memahami pertanyaan itu, dia cuba mengetawakannya.
Sementara itu, kami menemui ketua Alantim - Naib Rektor MIT Evgeny Pluzhnik
[Kucing Schröderer] Bagaimana anda menghasilkan idea untuk menyewa robot untuk organisasi itu?
[Grigory Bubnov] Kami baru sedar bahawa cepat atau lambat akan tiba masanya robot akan disewa. Dan kami memutuskan untuk menjadi perintis.
[KSh] Oleh itu, mereka tidak mengatakan bahawa robot menuntut pekerjaan kita
[GB] Ini sebenarnya bukan jenaka, tetapi ancaman yang sangat serius, terutama di kawasan di mana sejumlah besar orang bekerja. Saya rasa, misalnya, dalam dekad ini, kereta dengan kawalan autonomi akan banyak dijual, dan selepas itu banyak pemandu akan ditinggalkan tanpa kerja. Kerajaan pasti akan menghadapi cabaran ini - mereka harus mulai memikirkan bagaimana membuat pekerjaan baru dan program latihan semula.
[KSh] Bagaimana pendapat anda untuk menggunakan Alantim? Sama seperti mainan yang mencolok?
[GB] Bukan sahaja! Sebagai contoh, dia mempunyai tugas penyelidikan - untuk mengumpulkan data mengenai komunikasi robot dengan orang, untuk mengkaji reaksi individu terhadap robot. Maklumat ini akan membantu menjadikan penampilan dan tingkah laku pengubahsuaian masa depan Alantim lebih manusiawi dan selesa untuk berkomunikasi.
Foto: Skoltech / kot.sh
[KSh] Maklumat apa yang dia kumpulkan?
[GB] Pertama-tama, data mengenai reaksi terhadap tingkah lakunya - dia mempunyai sistem untuk mengenali emosi. Contohnya, bagaimana reaksi orang lain ketika dia mengangkat tangan? Bagaimana jika cara dia melakukan sesuatu menakutkan mereka? Gerakan kita diasah oleh evolusi - kita tidak teragak-agak, katakanlah, menggaru belakang kepala kita - dan dengan robot, kita masih harus pergi ke tingkah laku "semula jadi". Ngomong-ngomong, dia ingat orang dengan memotretnya.
Tetapi ada masalah: gambar orang dianggap sebagai data peribadi, dan ada undang-undang yang menyekat penggunaannya. Secara umum, banyak persoalan yang bersifat undang-undang akan timbul di sini - sebagai contoh, adakah perlu membayar cukai pendapatan ke atas elektrik yang diberikan kepada pekerja robot untuk dicas? Saya rasa tidak lama lagi kita akan melihat bagaimana perundangan di negara-negara yang berbeza akan mulai berubah - bersama dengan sikap orang terhadap robot.
Rubber Pushkin dan robot lain
Pasaran robot global sudah berkembang pesat, penjualan memecah rekod - puluhan bilion dolar pada akhir tahun lalu.
0.17% - Bahagian pasaran dunia untuk robot industri ada di Rusia (menurut data untuk tahun 2013).
Foto: Skoltech / kot.sh
Dari pahlawan blockbusters Hollywood, robot akan berubah menjadi watak sebenar - dan kami akan mula hidup bersama mereka. Adakah kita akan akur? Bermula dengan kisah-kisah seram mengenai Golem dan Frankenstein atau lakonan Karel Čapek, di mana kata "robot" pertama kali muncul, semua cerita ini, sebagai peraturan, berakhir dengan satu perkara - pemberontakan makhluk buatan manusia terhadap penciptanya. Bolehkah kita mencipta kenyataan yang melampaui fantasi kita?
Iklan di laman web projek Promobot menerangkan dengan jelas mengapa pekerja robot lebih baik daripada manusia: tidak memerlukan gaji dan pakaian, bekerja tanpa gangguan, tidak jatuh sakit, tidak membantah, tidak keliru, tidak mengatakan terlalu banyak, tidak memerlukan latihan … Terdapat banyak kelebihan, bahawa, menurut pelbagai perkiraan, dalam beberapa dekad yang akan datang robot dapat mengambil 40 hingga 80% pekerjaan, iaitu, kita diancam oleh gelombang pengangguran besar-besaran yang belum pernah terjadi sebelumnya.
Mungkin pada akhirnya ini akan berubah menjadi zaman kegemilangan, ketika, seperti yang diimpikan oleh Karl Marx, orang akan terlibat dalam kreativiti bebas. Tetapi kita masih harus hidup untuk melihatnya - dan lebih baik lagi tanpa bencana sosial. Tidak mungkin menyekat penggunaan robot secara signifikan: tidak pernah ada larangan perundangan yang dapat menghentikan kemajuan. Apa gunanya? Sebaliknya, orang akan dilarang memandu ketika pemandu robot menjadi tempat di mana-mana. Manusia terlalu tidak dapat diramalkan. Bukankah juruterbang manusia, misalnya, yang mampu mengarahkan pesawat ke darat atau ke kawasan perumahan, berbahaya?
Itu bermakna kita perlu belajar hidup dengan robot
Sebagai permulaan, kami pergi ke tempat di mana terdapat banyak robot - ke persidangan antarabangsa Skolkovo Robotics. Sebuah syarikat robot yang hebat dan penciptanya telah berkumpul di Skolkovo Hypercube. Drone besar dan kecil, terbang dan berjalan kaki, pemadam kebakaran profesional dan pengelap elektronik, lengan dan kaki mekanikal, batang badan dan kepala …
Inilah kepala getah Pushkin, yang terpasang pada tripod, seolah-olah di tiang, memerhatikan orang yang lewat dan dengan gugup mengerutkan kening - ada terlalu banyak orang, mata naik. Wajah penyair sangat mirip dengan wajah sebenar sehingga anda merasa kagum.
Foto: Skoltech / kot.sh
Di sekitarnya ada robot yang sama sekali tidak kelihatan seperti manusia. Daripada badan, ada tongkat di roda, bukan kepala, skrin yang berpusing ke semua arah. Ini adalah robot telepresence Webot, yang dibuat di Skolkovo untuk membantu kanak-kanak kurang upaya. Anda boleh berhubung dengannya melalui Internet, bergerak di sekitar bangunan dengannya, melihat dan mendengar apa yang berlaku di sekitar dan berinteraksi dengan orang lain.
Robot semacam itu sudah digunakan di beberapa sekolah - kanak-kanak berhubung dengannya dari rumah, dan dengan bantuan mereka menghadiri pelajaran, menyelesaikan tugas, menjawab soalan guru, memandu ke papan hitam, dan berkomunikasi dengan rakan sebaya.
Pengguna utama robot perkhidmatan di Rusia dan di seluruh dunia adalah orang kurang upaya. Robotik memberi mereka harapan untuk kembali ke kehidupan penuh - seperti ExoAtlet exoskeleton Rusia pertama. Juruterbangnya Yaroslav, baru-baru ini terpaksa menjalani kehidupan orang yang lumpuh, berjalan di kalangan orang ramai seperti cyborg dari masa depan.
Pembantu robot lain diperkenalkan kepada kami oleh profesor Jepun Kazuhiko Terashima:
- Masyarakat Jepun semakin tua, tidak ada cukup kakitangan di klinik. Dan robot Terapio yang dikembangkan oleh kami terbukti menjadi pembantu doktor yang sangat baik. Dia mengikuti doktor, membawa alat, tetapi yang paling penting, dia mengingat data, yang menjadikan rekod perubatan tidak perlu. Di samping itu, dia secara bebas membuat pusingan pesakit dan dalam hal ini menimbulkan kebimbangan.
Dia memiliki ekspresi kekanak-kanakan di wajahnya dan suara yang lembut, dia tahu bagaimana ketawa dan menangis, matanya yang besar berkedip sepanjang masa - untuk menyenangkan pesakit, sehingga menimbulkan reaksi yang serupa dengan yang disebabkan oleh anak-anak atau anak kucing. Robot kami adalah langkah penting dalam projek hospital robotik yang memantau pesakit secara berterusan. By the way, anda tahu, sekarang operasi dilakukan dengan bantuan pakar bedah robotik.
Foto: Skoltech / kot.sh
Anda boleh mengenali android dengan berjalan kaki
Robotik dan pereka membuat persembahan di dewan persidangan Hypercube. Mikhail Lebedev dari Duke University bercakap tentang bagaimana dia menanamkan cip ke otak monyet yang membolehkan mereka mengawal robot dengan fikiran mereka. Sesi ini dikendalikan oleh Dmitry Teteryukov, profesor di Institut Sains dan Teknologi Skolkovo, ketua makmal robot angkasa, yang telah bekerja di Jepun selama bertahun-tahun.
Kami, tentu saja, memberi soalan kepadanya.
[Kucing Schrödinger] Secara statistik, jumlah robot berkembang pesat, tetapi di mana mereka bersembunyi - selain yang digunakan dalam industri?
[Dmitry Teteryukov] Selain robot perindustrian, terdapat banyak pasukan robot perkhidmatan - semua orang pernah mendengar tentang pembersih vakum robot atau quadcopter robot yang memberikan pembelian. Sebilangan besar mesin ini digunakan dalam perubatan, dan di Tentera Darat AS mereka telah berperang sejak sekian lama: sebagai contoh, robot yang dilacak dengan manipulator terlibat dalam pembersihan ranjau. Mereka umumnya terbukti sangat berguna dalam keadaan darurat, mereka digunakan dalam kemalangan di Fukushima.
[KSh] Robot jenis apa yang anda hasilkan di Rusia?
[JT] Saya meneruskan apa yang saya buat di Jepun. Salah satu projeknya adalah untuk mengawal sekumpulan robot, ketika mereka bertindak sesuai dengan rencana bersama, sebagai kawanan tunggal, bertukar maklumat dan saling mempertimbangkan tindakan masing-masing. Kami, tentu saja, akan menguji semua ini di Bumi, tetapi kami merancang bahawa mereka akan berfungsi di angkasa.
[KSh] Para saintis selalu menggambarkan robot sebagai makhluk bersendirian …
[JT] Mengagihkan kerja di antara banyak jauh lebih efisien daripada menyerahkan semuanya kepada satu. Katakan bahawa satu kenderaan memandu sendiri mesti memproses semua maklumat mengenai jalan itu sendiri, tetapi jika peranti tersebut ada di mana-mana, lebih senang bagi mereka untuk bertindak berdasarkan gambaran umum dan program.
[KSh] Apabila robot menjadi seperti manusia baik secara luaran dan mental, ia mula menakutkan anda sedikit?
[JT] Terdapat seorang profesor Jepun Hiroshi Ishiguro yang membuat android yang hampir tidak dapat dibezakan dari kami - baru-baru ini saya salah anggap salah satu geminoidnya sebagai manusia. Tetapi ini hanya semasa dia duduk. Belum ada robot seperti itu yang boleh berjalan seperti orang lain - mudah mengenalinya dengan cara berjalan. Ishiguro membuat sendiri dan juga anak perempuannya.
Namun, melihatnya, anak perempuan itu ketakutan, menangis dan melarikan diri. Iaitu, apabila robot menjadi sangat mirip dengan seseorang, penolakannya berlaku. Dan apabila ambang ini dilalui, penampilan dan pergerakan yang tidak wajar dihilangkan, robot mula dianggap sebagai orang yang sebenar. Tetapi untuk melaluinya, seseorang mesti mencapai bukan hanya persamaan fizikal, tetapi juga intelektual - kemampuan untuk melakukan perbualan yang wajar.
[KS] Adakah kriteria Turing yang terkenal, yang menurutnya robot harus dianggap wajar, yang tidak dapat kita bezakan dengan manusia dalam perbualan? Atau adakah ia perlu dirumuskan semula?
[JT] Kini kriteria ini difahami sebagai ujian untuk program yang mensimulasikan perbualan manusia. Tetapi intinya bukan hanya pada akal - untuk melakukan kesalahan robot antropomorfik bagi manusia, ia mesti bersikap emosional, bergerak dengan lancar, berkelakuan seperti manusia. Sudah ada program yang sangat meyakinkan menunjukkan sarkasme dan ironi. Saya rasa akan ada ujian berasingan untuk kebolehan yang berbeza: ujian Turing emosi akan memeriksa kecukupan emosi, dan, sebagai contoh, ujian motor - keupayaan untuk bergerak seperti orang.
Foto: Skoltech / kot.sh
[KS] Tidakkah anda takut, secara kasar, mengenai pemberontakan robot?
[ДТ] Lagipun, orang menulis program untuk robot, yang bermaksud bahawa mereka menentukan robot apa yang boleh dan apa yang tidak, keinginan apa yang akan mereka miliki dan apa yang tidak akan mereka lakukan. Dan mengapa robot menentang penciptanya, atas alasan apa?
[KSh] Sebagai contoh, kerana salah faham kami bahawa mereka juga memerlukan hak, atau kerana mereka dipisahkan dan dibuang setelah tarikh luput. Dan program untuk robot bukan sahaja ditulis oleh manusia - cepat atau lambat mesin akan menjadi pembelajaran sendiri
[JT] Mereka akan dilatih dalam kerangka yang telah kami tetapkan. Nampaknya versi masa depan dengan konfrontasi antara manusia dan robot membawa kepada kemerosotan, tidak kira siapa yang menang dalam konfrontasi seperti itu. Senario produktif yang evolusioner adalah simbiosis, bukan perang pemusnahan, parasitisme, atau penyerahan lain. Lebih-lebih lagi, simbiosis ini juga akan berlaku dalam tubuh manusia, sehingga masalah etika yang paling menarik, menurut saya, akan timbul berkaitan dengan cyborgization.
Di manakah jarak antara manusia dan mesin ketika kita mula memasang organ buatan untuk diri kita sendiri, memasang cip di otak, meningkatkan ingatan kita dan kemampuan lain dengan bantuan mereka? Saya nampaknya masa depan menanti kita tanpa alat dan komputer peribadi - cukup untuk membuat permintaan mental atau memberi perintah, kerana otak akan dihubungkan ke Rangkaian.
Tetapi mungkin cyborg memerlukan undang-undang yang menyekat, sama dengan undang-undang robotik Asimov - malah saya merumuskannya. Inti mereka adalah bahawa mesin di cyborg tidak merampas kuasa orang itu, sehingga kuasa membuat keputusan tetap pada orang itu, dan bukan dengan pemproses utamanya.
[KSh] Adakah anda mempunyai robot impian?
[DT] Ini mungkin robot yang dikendalikan oleh operator dengan kesan telepresence, yang memungkinkan komunikasi penuh pada jarak jauh dan menyampaikan kepada operator semua sensasi, mewujudkan kesan kehadiran sepenuhnya.
[CS] Avatar?
[JT] Ya. Saya membahas topik ini sebelum Avatar keluar, tetapi, tentu saja, filem seperti itu dalam beberapa aspek menentukan masa depan - pemahaman kita tentang apa yang kita perjuangkan dan apa yang mungkin.
Foto: Skoltech / kot.sh
Mesin moral
Sementara itu, di Hypercube, perbincangan dimulakan mengenai topik "Potret moral mesin antropomorfik." Profesor psikologi Maxim Kiselev memberikan ucapan pengenalan mengenai watak moral robot.
"Roboethics menangani semua masalah kemanusiaan yang berkaitan dengan robot," jelasnya. - Sebagai contoh, sah: siapa yang bertanggungjawab sekiranya kereta tanpa pemandu memandu ke suatu tempat - robot itu sendiri, pemilik kereta atau pengaturcara? Atau sosial, yang utama adalah pengangguran yang berpotensi. Saya sendiri pernah pergi ke kilang robot lebih dari sekali - contohnya, di sebuah kilang di Swindon, di mana komponen untuk kereta MINI Cooper dibuat. Ia menggunakan kira-kira dua ratus robot dan jumlah orang yang sama, dan sebelum ada empat ribu pekerjaan. Terdapat juga masalah moral tertentu, seperti dilema robot pembantu. Bagaimana anda tahu bila bantuan mesin menjadi tidak produktif? Bayangkan robot, lembut dan gebu, mengikuti anak itu dan mengumpulkan mainan. Tetapi untuk perkembangan normal kanak-kanak, perlu dia melakukannya sendiri.
Diisi dengan robophobia, kami menemui pencipta robotik, Profesor Gianmarco Verugio, ketua panitia sains Sekolah Robotik Institut Elektronik, Teknologi Maklumat dan Telekomunikasi Itali - dia hanya duduk berdekatan.
[Kucing Schröderer] Bagaimana roboetik berlaku?
[Gianmarco Verugio] Pernah menjadi peminat Asimov, pada usia enam belas tahun saya telah membaca semua bukunya. Mungkin itulah sebabnya bertahun-tahun kemudian sesuatu seperti pencerahan datang ke atas saya, dari mana timbulnya roboethics. Saya menyedari bahawa undang-undang robotik Asimov - "Robot tidak boleh membahayakan seseorang" dan sebagainya - sama sekali bukan undang-undang, tetapi hanya harapan baik, tidak ada yang dipatuhi dalam praktiknya. Undang-undang sebenar adalah e = mc2. Seperti undang-undang alam yang lain, tidak boleh dilanggar.
Pelanggaran undang-undang undang-undang dihukum. Dan ketiga undang-undang robotik itu seperti perintah alkitabiah yang mengatakan "Jangan membunuh": semua orang sepertinya memihak, tetapi tidak mematuhi. Sekarang ini, sistem senjata robotik sedang dikembangkan di banyak negara di seluruh dunia. Senjata diperlukan untuk membunuh, yang bermaksud bahawa robot ini diciptakan untuk membunuh orang.
Kita mesti memberi kekuatan undang-undang kepada undang-undang robotik. Menulis undang-undang sedemikian adalah tugas yang sukar. Katakan robot boleh membunuh seseorang dengan sengaja, atau mungkin secara tidak sengaja, kerana kerosakan atau kekurangan program, selalunya sukar untuk membezakan antara situasi ini. Tetapi ada baiknya kita mulai memikirkan masalah-masalah ini sekarang: jika kita salah jalan, kita boleh merosakkan masa depan umat manusia. Adalah bodoh untuk mencipta masa depan dengan mata tertutup, tetapi sejauh ini kita mengembangkan robotik secara membuta tuli.
Robot perang adalah salah satu masalah utama dalam roboethics. Kami berusaha menarik perhatian pelbagai organisasi antarabangsa kepadanya. Ini bukan hanya inisiatif saya, ada gerakan antarabangsa "Hentikan robot pembunuh!", Yang berkempen di Internet dan disokong oleh PBB.
Kumpulan masalah lain adalah berkaitan dengan topik biorobots dan organ tiruan. Sejauh mana kita boleh, misalnya, mengganggu kerja otak manusia? Seorang rakan saya sedang bereksperimen dengan tikus - memasukkan elektron ke dalam otak mereka dan mengawal tingkah laku mereka. Dia juruterbang tikus sebenar! Tetapi apabila otak manusia penuh dengan semua jenis neuroimplant yang meningkatkan kemampuan atau mengawal organ cybernetic, pemintasan kawalan yang serupa dapat dilakukan dengan orang.
Foto: Skoltech / kot.sh
[KS] Tetapi kita tidak boleh melepaskan manfaat teknologi hanya kerana peluang baru selalu beriringan dengan bahaya baru?
[DV] Bagaimana menyelesaikan masalah ini agar teknologi tidak menjadikan kita objek pengurusan terkawal, tetapi, sebaliknya, meningkatkan kebebasan kita? Saya tidak mempunyai jawapan untuk soalan ini, saya hanya ingin mengemukakannya, memahami semua kerumitan dan ketidaklengkapan penglihatan kita mengenai keadaan ini.
Banyak persoalan yang tidak dijangka timbul sebelum roboethics. Bayangkan, sebagai contoh, situasi berikut: jururawat robot menjaga orang tua yang kesepian yang berkomunikasi dengan kereta lebih daripada orang lain. Dan dia dengan cepat mula menganggapnya sebagai orang, mencintainya sebagai orang dan menderita jika dia putus - kita cenderung melakukan ini walaupun dengan Tamagotchi primitif, tetapi di sini akan ada perasaan yang jauh lebih kuat. Bolehkah robot sedemikian dimatikan? Bagi saya, seseorang itu adalah orang, dan mesin adalah mesin, tetapi saya khuatir orang akan mula melakukan kesalahan …
[KSh] Bagaimana anda membezakan mereka? Chatbots sudah lulus ujian Turing …
[DW] Saya mulakan dengan kenyataan bahawa jiwa kita tidak hanya terkandung di dalam badan, seperti di dalam wadah. Jiwa dimasukkan ke dalam badan - kita menjadi cerdas dan sedar semasa memperoleh pengalaman secara fizikal. Konsep kecerdasan buatan, yang diciptakan oleh saintis komputer pada tahun 1960-an, menganggap bahawa dunia maya sudah cukup untuk muncul. Kini idea ini secara bergurau disebut GOFAI (kecerdasan buatan kuno yang baik), dan menjadi jelas kepada para pembangun bahawa, untuk memperoleh kecerdasan, program ini memerlukan badan robot dan pengalaman lama berinteraksi dengan dunia nyata. Tetapi, secara umum, kita tidak dapat membuat mesin yang cerdas, jika hanya kerana kita masih memiliki pemahaman yang sangat buruk tentang bagaimana otak berfungsi, apa alasan dan kesedaran.
[KSh] Jadi, robotik tidak menangani hak robot? Tetapi apa yang akan anda lakukan jika esok komputer anda mengatakan, "Saya takut, jangan matikan saya?"
[DW] Nah, tidak, hak robot akan mula membimbangkan saya apabila orang terakhir di planet ini mempunyai semua hak. Masih banyak kerja yang perlu diselesaikan untuk orang mula menjaga kereta. Roboethics adalah mengenai orang, kita mesti melakukannya, kerana kita mencipta masa depan kita sendiri.
Diterbitkan dalam majalah sains popular "Schrödinger's Cat" # 5 (07) untuk Mei 2015
