Selama beberapa tahun pada tahun 1980-an, pemohon Sekolah Perubatan St George's Hospital di London dipilih menggunakan kaedah berteknologi tinggi. Program komputer, salah satu yang pertama seumpamanya, mengimbas resume, memilih dari semua aplikasi kira-kira 2,000 calon setiap tahun. Program ini mengkaji catatan kemasukan, memeriksa ciri-ciri pemohon yang berjaya, dan disesuaikan sehingga keputusannya sesuai dengan pendapat jawatankuasa penerimaan.
Walau bagaimanapun, program ini telah belajar untuk mencari lebih daripada sekadar nilai dan tanda pencapaian akademik yang baik. Empat tahun selepas program ini dilaksanakan, dua doktor di hospital mendapati bahawa program tersebut cenderung menolak pemohon wanita dan individu dengan nama bukan Eropah, tanpa mengira prestasi akademik mereka. Doktor mendapati bahawa kira-kira 60 pemohon ditolak wawancara setiap tahun kerana jantina atau bangsa mereka. Program ini memasukkan bias gender dan kaum ke dalam data yang digunakan untuk latihannya - sebenarnya, ia mengetahui bahawa doktor dan orang asing bukanlah calon terbaik untuk doktor.
Tiga puluh tahun kemudian, kami menghadapi masalah yang serupa, tetapi program dengan bias dalaman kini lebih meluas dan membuat keputusan dengan kepentingan yang lebih tinggi. Algoritma kecerdasan buatan berdasarkan pembelajaran mesin digunakan dalam semua perkara dari agensi kerajaan hingga penjagaan kesihatan, membuat keputusan dan membuat ramalan berdasarkan data sejarah. Dengan memeriksa corak dalam data, mereka juga menyerap bias dalam data. Google, misalnya, menunjukkan lebih banyak iklan untuk pekerjaan dengan gaji rendah kepada wanita daripada lelaki; Penghantaran sehari Amazon memintas kawasan hitam, dan kamera digital berjuang untuk mengenali wajah yang tidak putih.
Sukar untuk mengetahui apakah algoritma itu berat sebelah atau adil, malah pakar komputer berpendapat demikian. Salah satu sebabnya adalah bahawa perincian pembuatan algoritma sering dianggap sebagai maklumat hak milik, oleh itu maklumat tersebut dijaga oleh pemiliknya dengan teliti. Dalam kes yang lebih rumit, algoritma sangat rumit sehingga penciptanya tidak tahu bagaimana ia berfungsi. Ini adalah masalah yang disebut "kotak hitam" AI - ketidakupayaan kita untuk melihat bahagian dalam algoritma dan memahami bagaimana penyelesaiannya. Sekiranya dibiarkan terkurung, masyarakat kita akan sangat parah: persekitaran digital merangkumi diskriminasi sejarah yang telah kita perjuangkan selama bertahun-tahun, dari perbudakan dan penghambaan hingga diskriminasi terhadap wanita.
Kebimbangan ini, yang sebelumnya disuarakan dalam komuniti sains komputer kecil, kini semakin mendapat tempat. Sejak dua tahun kebelakangan ini, beberapa penerbitan telah muncul di kawasan ini mengenai ketelusan kecerdasan buatan. Seiring dengan kesedaran ini, rasa tanggungjawab bertambah. "Adakah sesuatu yang tidak seharusnya kita bina?" Tanya Keith Crawford, seorang penyelidik di Microsoft dan pengasas bersama AI Now Insitute di New York.
"Pembelajaran mesin akhirnya muncul. Kami sekarang berusaha menggunakannya untuk beratus-ratus tugas yang berbeza di dunia nyata,”kata Rich Caruana, saintis kanan Microsoft. “Ada kemungkinan orang akan dapat menggunakan algoritma jahat yang akan mempengaruhi masyarakat secara signifikan dalam jangka panjang. Sekarang, nampaknya, tiba-tiba, semua orang menyedari bahawa ini adalah bab penting dalam bidang kita."
Video promosi:
Algoritma yang tidak dibenarkan
Kami telah lama menggunakan algoritma, tetapi masalah kotak hitam belum pernah terjadi sebelumnya. Algoritma pertama mudah dan telus. Kami masih menggunakan banyak dari mereka - sebagai contoh, untuk menilai kelayakan kredit. Dengan setiap penggunaan baru, peraturan mula dilaksanakan.
"Orang-orang telah menggunakan algoritma untuk menilai kelayakan kredit selama beberapa dekad, tetapi kawasan-kawasan ini memiliki beberapa penyelesaian yang cukup kuat yang berkembang selari dengan penggunaan algoritma ramalan," kata Caruana. Peraturan peraturan memastikan bahawa algoritma ramalan memberikan penjelasan untuk setiap skor: anda ditolak kerana anda mempunyai banyak kredit atau pendapatan yang terlalu sedikit.
Di bidang lain, seperti sistem hukum dan iklan, tidak ada peraturan yang melarang penggunaan algoritma yang tidak dapat dibaca dengan sengaja. Anda mungkin tidak tahu mengapa anda ditolak pinjaman atau tidak disewa, kerana tidak ada yang memaksa pemilik algoritma untuk menjelaskan bagaimana ia berfungsi. "Tetapi kita tahu bahawa kerana algoritma dilatih pada data dunia nyata, mereka harus berat sebelah - kerana dunia nyata berat sebelah," kata Caruana.
Pertimbangkan, misalnya, bahasa, salah satu sumber bias yang paling jelas. Apabila algoritma dilatih dari teks bertulis, mereka membentuk beberapa perkaitan antara kata-kata yang sering muncul bersama. Sebagai contoh, mereka belajar bahawa "untuk seorang lelaki menjadi pengaturcara komputer adalah sama seperti seorang wanita untuk menjadi suri rumah." Apabila algoritma ini ditugaskan untuk mencari resume yang sesuai untuk pekerjaan pengaturcara, kemungkinan akan dipilih antara calon lelaki.
Masalah seperti ini agak mudah diselesaikan, tetapi banyak syarikat tidak akan melakukannya. Sebaliknya, mereka akan menyembunyikan ketidakkonsistenan di sebalik perisai maklumat yang dilindungi. Tanpa akses kepada perincian algoritma, pakar dalam banyak kes tidak akan dapat menentukan sama ada terdapat bias atau tidak.
Oleh kerana algoritma ini rahsia dan tetap berada di luar bidang kuasa pengawal selia, hampir mustahil bagi warga negara untuk menuntut pencipta algoritma. Pada tahun 2016, Mahkamah Tinggi Wisconsin menolak permintaan seseorang untuk mengkaji semula kerja dalaman COMPAS. Lelaki itu, Eric Loomis, dijatuhi hukuman penjara enam tahun sebahagiannya kerana COMPAS menganggapnya "berisiko tinggi." Loomis mengatakan haknya untuk proses wajar telah dilanggar oleh ketergantungan hakim pada algoritma legap. Permohonan terakhir ke Mahkamah Agung AS gagal pada bulan Jun 2017.
Tetapi syarikat rahsia tidak akan menikmati kebebasan mereka selama-lamanya. Menjelang bulan Mac, EU akan meluluskan undang-undang yang memerlukan syarikat dapat menjelaskan kepada pelanggan yang berminat bagaimana algoritma mereka berfungsi dan bagaimana keputusan dibuat. AS tidak mempunyai undang-undang seperti itu.
Forensik kotak hitam
Terlepas dari apakah pengatur terlibat dalam semua ini, pergeseran budaya bagaimana algoritma dirancang dan digunakan dapat mengurangi prevalensi algoritma berat sebelah. Oleh kerana semakin banyak syarikat dan pengaturcara berkomitmen untuk menjadikan algoritma mereka telus dan dapat dijelaskan, ada yang berharap syarikat yang tidak melakukannya akan kehilangan reputasi baik mereka di mata masyarakat.
Pertumbuhan kuasa pengkomputeran memungkinkan untuk membuat algoritma yang tepat dan dapat dijelaskan - satu cabaran teknikal yang secara historis gagal diatasi oleh pemaju. Penyelidikan baru-baru ini menunjukkan bahawa model yang dapat dijelaskan dapat dibuat yang meramalkan berulang penjenayah secara tepat seperti kotak hitam saintis forensik seperti COMPAS.
"Kami sudah selesai - kami tahu bagaimana membuat model tanpa kotak hitam," kata Cynthia Rudin, penolong profesor sains komputer dan kejuruteraan elektrik di Duke University. "Tetapi tidak begitu mudah untuk menarik perhatian orang terhadap karya ini. Sekiranya agensi kerajaan berhenti membayar model kotak hitam, itu akan membantu. Sekiranya hakim enggan menggunakan model kotak hitam untuk menjatuhkan hukuman, itu juga akan membantu."
Yang lain berusaha mencari kaedah untuk menguji kesahan algoritma dengan membuat sistem semak dan imbang sebelum algoritma dilancarkan ke dunia, sama seperti setiap ubat baru yang diuji.
Model sedang dibuat dan digunakan terlalu cepat sekarang. Tidak ada pengesahan yang tepat sebelum algoritma dikeluarkan,”kata Sarah Tan dari Universiti Cornell.
Sebaik-baiknya, pembangun harus menyingkirkan bias yang diketahui - seperti jantina, umur, dan bangsa - dan menjalankan simulasi dalaman untuk menguji algoritma mereka untuk masalah lain.
Sementara itu, sebelum sampai ke titik di mana semua algoritma akan diuji secara menyeluruh sebelum dibebaskan, sudah mungkin untuk menentukan mana yang akan menderita berat sebelah.
Dalam karya terbaru mereka, Tan, Caruana dan rakan-rakan mereka menerangkan cara baru untuk memahami apa yang mungkin berlaku di bawah algoritma kotak hitam. Para saintis telah membuat model yang meniru algoritma kotak hitam, belajar mengira risiko recidivism menggunakan data COMPAS. Mereka juga mencipta model lain yang melatih data dunia nyata untuk menunjukkan apakah ramalan yang berlaku sebenarnya berlaku. Dengan membandingkan kedua-dua model tersebut, para saintis dapat menilai ketepatan skor yang diramalkan tanpa menganalisis algoritma. Perbezaan dalam hasil kedua model mungkin menunjukkan pemboleh ubah mana, seperti bangsa atau usia, mungkin lebih penting dalam model tertentu. Hasil kajian mereka menunjukkan bahawa COMPAS mendiskriminasi orang kulit hitam.
Algoritma yang dirancang dengan baik dapat menghilangkan bias lama dalam keadilan jenayah, kepolisian, dan banyak bidang lain dalam masyarakat.
Ilya Khel
