Dengan pengembangan jaringan saraf dan teknologi pembelajaran mesin, ruang lingkup aplikasi mereka juga berkembang. Sekiranya rangkaian saraf sebelumnya digunakan secara eksklusif untuk melakukan perhitungan dan ramalan matematik, perubatan, fizikal, biologi yang kompleks, kini teknologi ini mendapat populariti yang luas di persekitaran yang lebih "biasa" - dalam bidang hiburan. Dengan hanya mengambil langkah pertama ke arah ini, mereka sudah mampu menunjukkan hasil yang luar biasa dan kadang-kadang bahkan luar biasa. Hari ini kita akan menganalisis beberapa contoh ilustrasi.
Proses pembuatan semula video sangat rumit dan memakan masa sehingga kita mungkin tidak pernah melihat banyak karya klasik dunia dengan gambar baru, moden, jelas dan berair. Namun, dunia ini penuh dengan peminat dan peminat pintar yang berpengalaman dalam teknologi baru, dan khususnya rangkaian saraf dan teknologi pembelajaran mesin, dengan mana anda dapat mencapai hasil yang luar biasa walaupun di rumah. Sebagai contoh, pengguna YouTube Stefan Rumen dengan nama samaran CaptRobau memutuskan untuk menunjukkan beberapa keupayaan rangkaian saraf dalam memproses video siri fiksyen ilmiah lama.
Karya terdahulu adalah Remako Mod, "pembuatan semula HD" dari Final Fantasy VII RPG Jepun klasik dan sangat popular. Untuk melakukan ini, dia menggunakan algoritma AI AI Gigapixel, dengan bantuannya dia dapat menskalakan gambar gambar asal sebanyak 4 kali, mengubahnya menjadi resolusi HD tanpa perubahan ketara dalam reka bentuk seni asli. Oleh itu, sementara anda menunggu satu dekad lagi hingga saat pembangun dan penerbit permainan komputer Jepun Square Enix secara rasmi melepaskan remaster mungkin salah satu bahagian terbaik dari siri permainan ini, anda boleh mencuba sendiri mod Stefan Rumen dengan memuat turunnya dari laman web ini.
Ngomong-ngomong, baru-baru ini, teknologi rangkaian neural untuk menyusun semula permainan lama dan membawanya ke tampilan yang lebih relevan dan moden tanpa mengubah konsep asal umum telah menjadi trend sebenar di antara pelbagai modder. Sebagai contoh, tidak lama dahulu kita membincangkan teknologi ESRGAN (Enhanced Super Resolution Generative Adversarial Networks), yang menerapkan teknologi penskalaan gambar dengan peningkatan kualiti 2-8x. Algoritma "diberi makan" gambar asli dengan resolusi rendah, setelah itu tidak hanya meningkatkan resolusi asli yang terakhir, tetapi juga meningkatkan kualiti gambar, melukis pada perincian yang realistik dan membuat tekstur "lebih semula jadi".
Perbandingan kualiti tekstur: di sebelah kiri adalah tekstur asli dari permainan Morrowind, di sebelah kanan - diproses oleh rangkaian saraf.
Watak dari Doom (kiri - adalah, kanan - menjadi).
Pemprosesan latar dalam Resident Evil 3.
Video promosi:
Bagaimanapun, dalam selang waktu antara pembuatan ulang "Final Ketujuh" Stefan Rumen memutuskan untuk mengambil projek lain - untuk menggunakan teknologi pembelajaran mesin yang sama, tetapi kali ini untuk memproses kerangka siri fiksyen sains klasik tahun 90-an. Rumen memilih Star Trek: Deep Space Nine sebagai objek untuk eksperimennya.
Menskalakan gambar langsung dari siri TV sangat berbeza dari kerumitannya daripada menskalakan gambar yang dihasilkan sebelumnya dari Final Fantasy VII, demikian catatan penulis, jadi hasil akhirnya, walaupun kelihatan lebih baik daripada bahan asli dalam resolusi rendah, tetapi gambar ini masih jauh dari yang ideal. anda boleh bermimpi sejak pemain Blu-ray pertama memasuki pasaran. Kadang-kadang, "artifak" kecil muncul di skrin. Tetapi, sekali lagi, secara umum, semuanya kelihatan lebih baik daripada yang patut. Tetapi, secara amnya, perhatikan sendiri.
Untuk projek ini, Rumen juga menggunakan algoritma AI Gigapixel, yang dilatih untuk mengedit gambar berdasarkan foto sebenar. Penulis menyatakan bahawa gambar baru itu diperoleh pada 1080p dan 4k, tetapi kerana Rumen tidak memiliki TV atau monitor dengan resolusi 4K asli, dia tidak dapat menilai versi 4K dengan secukupnya.
Malangnya, anda tidak dapat menonton keseluruhan siri dalam kualiti Full HD. Proses memproses semua bahan sumber memerlukan waktu yang sangat lama, jadi Rumen hanya menggunakan bingkai terpisah dari siri yang berlainan untuk demonstrasi. Menurutnya, dia mengambil projek ini hanya dengan satu alasan - untuk menunjukkan bahawa itu benar-benar mungkin. Pada pendapatnya, sekumpulan profesional yang bekerja di sebuah syarikat televisyen besar dan mempunyai peralatan komputer yang lebih sesuai dan kuat untuk pekerjaan tersebut akan dapat mengatasi tugas ini dengan lebih baik.
Menggunakan rangkaian neural untuk mempermudah kerja memproses gambar lama dari permainan video dan filem bukan satu-satunya bidang di mana teknologi sedemikian dapat menunjukkan bakat mereka. Di dunia moden, di mana kamera panorama yang mampu menghasilkan 360 darjah, serta alat dengar realiti maya, semakin popular, pembangun telah mula meneroka secara aktif potensi fotografi panorama.
Salah satu perkembangan terbaru ke arah ini adalah rangkaian neural yang mampu membunyikan gambar statik panorama. Ia dikarang oleh pakar pembelajaran mesin dari Universiti Massachusetts, Universiti Columbia dan Universiti George Mason.
Algoritma yang dibuat menentukan jenis persekitaran dan objek dalam foto, dan kemudian memilih dan mengatur bunyi dari pangkalan data yang digunakan sesuai dengan pengiraan spasial jarak ke sumber mereka dalam gambar ini. Berkat ini, gambar panorama memperoleh suara yang realistik dan luas yang membolehkan anda menilai gambar yang dipersembahkan dengan cara yang sama sekali baru.
Menurut pembangun rangkaian neural ini, teknologi mungkin mendapat minat di kalangan pembangun kandungan VR (filem dan permainan). Yang terakhir, dalam kes ini, tidak perlu menampakkan secara manual semua suara pada gambar panorama, rangkaian saraf akan dapat melakukan semuanya sendiri.
Nikolay Khizhnyak
