Bidang kecerdasan buatan sering dibandingkan dengan industri minyak: setelah diekstraksi dan diperhalusi, data, seperti minyak, dapat menjadi komoditi yang sangat menguntungkan. Namun, kini menjadi jelas bahawa metafora ini berkembang. Seperti bahan bakar fosil, pembelajaran mendalam mempunyai kesan besar terhadap alam sekitar. Dalam satu kajian baru, saintis di University of Massachusetts Amherst menilai kitaran hidup pembelajaran beberapa model AI yang besar.
Ia mendapati bahawa proses ini dapat menghasilkan lebih daripada 626,000 paun (kira-kira 300,000 kg) setara dengan karbon dioksida, hampir lima kali ganda pelepasan kereta biasa dalam lima tahun (termasuk pengeluaran kereta itu sendiri).
Bagaimana model AI dilatih
Ini adalah pengukuran yang menakjubkan dari apa yang telah lama disyaki oleh penyelidik AI.
Jejak Karbon Pemprosesan Bahasa Asli
Video promosi:
Makalah ini secara khusus membahas proses melatih model untuk pemprosesan bahasa semula jadi (NLP), sub bidang AI yang berurusan dengan mesin latihan untuk bekerja dengan bahasa manusia. Selama dua tahun terakhir, komuniti NLP telah membuat beberapa tonggak penting dalam bidang terjemahan mesin, penyelesaian ayat, dan tugas penggredan standard yang lain. Model OpenAI GPT-2 yang terkenal, sebagai contoh, telah berjaya menulis cerita berita palsu yang meyakinkan.
Tetapi kemajuan seperti itu memerlukan latihan model yang semakin besar pada set data yang terbentang dari ayat yang ditarik dari Internet. Pendekatan ini mahal dan memerlukan banyak tenaga.
Para penyelidik melihat keempat-empat model di daerah yang bertanggungjawab untuk lompatan prestasi terbesar: Transformer, ELMo, BERT, dan GPT-2. Mereka melatih masing-masing menggunakan GPU tunggal selama sehari untuk mengukur penggunaan tenaga.
Mereka kemudian mengambil jumlah jam latihan yang ditentukan dalam dokumen model asal untuk mengira jumlah tenaga yang digunakan selama keseluruhan proses latihan. Jumlah itu ditukar kepada setara dengan £ karbon dioksida, yang selaras dengan campuran tenaga AWS dari Amazon, penyedia awan terbesar di dunia.
Ia mendapati bahawa kos komputasi dan persekitaran latihan meningkat setanding dengan ukuran model, dan kemudian meningkat secara eksponensial ketika ketepatan akhir model disesuaikan. Pencarian senibina neural yang cuba mengoptimumkan model dengan mengubah struktur rangkaian saraf secara beransur-ansur melalui percubaan dan kesalahan menanggung kos yang sangat tinggi dengan sedikit peningkatan prestasi. Tanpa itu, model BERT termahal meninggalkan jejak karbon 1.400 paun (635 kg), hampir dengan perjalanan pulang pergi Amerika.
Selain itu, angka-angka ini hanya boleh dianggap sebagai garis dasar.
Secara keseluruhan, para saintis menganggarkan bahawa proses membuat dan menguji model akhir yang layak diterbitkan memerlukan latihan 4,789 model dalam enam bulan. Dari segi setara CO2, ini kira-kira 35,000 kg.
Kepentingan nombor ini sangat besar, terutamanya memandangkan trend semasa dalam penyelidikan AI. Secara umum, penyelidikan AI mengabaikan kecekapan kerana rangkaian saraf besar diakui berguna untuk pelbagai tugas, dan syarikat dengan sumber pengkomputeran tanpa had akan menggunakannya untuk memperoleh kelebihan daya saing.
Ilya Khel
