Daftar Isi

Transparansi AI: Apa itu dan mengapa kita membutuhkannya?

Tren Berita Teknologi -- Transparansi dalam AI mengacu pada kemampuan untuk melihat cara kerja model AI dan memahami cara model tersebut mengambil keputusan. Ada banyak aspek transparansi AI, termasuk seperangkat alat dan praktik yang digunakan untuk memahami model, data yang dilatih, proses mengkategorikan jenis dan frekuensi kesalahan dan bias, serta cara mengkomunikasikan masalah ini kepada pengembang. dan pengguna.

Berbagai aspek transparansi AI telah mengemuka seiring dengan berkembangnya model pembelajaran mesin. Kekhawatiran besar adalah bahwa model yang lebih kuat dan efisien akan lebih sulit -- bahkan mustahil -- untuk dipahami karena bagian dalamnya terkubur dalam apa yang disebut kotak hitam (black box) .

“Pada dasarnya, manusia sulit mempercayai kotak hitam – dan hal ini dapat dimengerti,” kata Donncha Carroll, mitra dan kepala ilmuwan data di firma penasihat transformasi bisnis Lotis Blue Consulting. “AI mempunyai catatan buruk dalam memberikan keputusan atau keluaran yang tidak memihak.”

Apa itu transparansi AI?

Seperti alat berbasis data lainnya, algoritme AI bergantung pada kualitas data yang digunakan untuk melatih model AI. Oleh karena itu, mereka mempunyai bias atau memiliki risiko yang melekat terkait dengan penggunaannya. Oleh karena itu, transparansi sangat penting untuk menjamin kepercayaan dari pengguna, pemberi pengaruh, atau mereka yang dipengaruhi oleh keputusan tersebut.

“Transparansi AI berarti menjelaskan dengan jelas alasan di balik keluaran, membuat proses pengambilan keputusan dapat diakses dan dipahami,” kata Adnan Masood, kepala arsitek AI di UST, sebuah konsultan transformasi digital. “Pada akhirnya, ini adalah tentang menghilangkan misteri kotak hitam AI dan memberikan wawasan tentang bagaimana dan mengapa pengambilan keputusan dilakukan dengan AI.”

Kepercayaan, kemampuan audit, kepatuhan, dan pemahaman terhadap potensi bias adalah beberapa alasan mendasar mengapa transparansi menjadi persyaratan di bidang AI. “Tanpa transparansi, kita berisiko menciptakan sistem AI yang secara tidak sengaja dapat melanggengkan bias yang merugikan, membuat keputusan yang tidak dapat dipahami, atau bahkan menimbulkan hasil yang tidak diinginkan dalam aplikasi berisiko tinggi,” kata Masood.

Bekerja dengan kemampuan menjelaskan dan menafsirkan

Transparansi AI bekerja sama dengan konsep terkait seperti kemampuan menjelaskan dan menafsirkan AI , namun keduanya tidak sama.

Transparansi AI membantu memastikan bahwa seluruh pemangku kepentingan dapat memahami dengan jelas cara kerja sistem AI, termasuk cara sistem tersebut mengambil keputusan dan memproses data. “Memiliki kejelasan inilah yang membangun kepercayaan terhadap AI, khususnya dalam aplikasi berisiko tinggi,” kata Masood.

Sebaliknya, kemampuan menjelaskan berfokus pada memberikan alasan yang dapat dimengerti atas keputusan yang dibuat oleh sistem AI. Interpretabilitas mengacu pada prediktabilitas keluaran model berdasarkan masukannya. Jadi, meskipun kemampuan menjelaskan dan menafsirkan sangat penting dalam mencapai transparansi AI, keduanya tidak sepenuhnya mencakup hal tersebut.

Transparansi AI juga mencakup keterbukaan mengenai penanganan data, keterbatasan model, potensi bias, dan konteks penggunaannya.

Ilana Golbin Blumenfeld, pimpinan AI yang bertanggung jawab di PwC, menyatakan bahwa transparansi proses dan transparansi data serta sistem dapat melengkapi kemampuan interpretasi dan penjelasan.

Transparansi proses mencakup penyediaan dokumentasi dan pencatatan keputusan penting yang dibuat selama pengembangan dan implementasi sistem. Dan itu mencakup struktur tata kelola dan praktik pengujian.

Transparansi data dan sistem berarti mengkomunikasikan kepada pengguna atau pihak terkait bahwa AI atau sistem otomatis akan menggunakan data mereka. Ini juga memperingatkan pengguna ketika mereka terlibat langsung dengan AI seperti chatbot.

Mengapa transparansi AI diperlukan?

Transparansi AI, sebagaimana disebutkan, sangat penting untuk menumbuhkan kepercayaan antara sistem AI dan pengguna. Manojkumar Parmar, CEO dan CTO di AIShield, sebuah platform keamanan AI, mengatakan beberapa manfaat utama transparansi AI adalah sebagai berikut:

• Membangun kepercayaan dengan pelanggan dan karyawan.
  
  
• Memastikan sistem AI yang adil dan etis .
  
  
• Mendeteksi dan mengatasi potensi bias data.
  
  
• Meningkatkan akurasi dan kinerja sistem AI.
  
  
• Memastikan kepatuhan terhadap peraturan AI baru seperti EU AI Act.

Pengorbanan AI kotak hitam

AI biasanya diukur dalam persentase akurasi -- yaitu, sejauh mana sistem memberikan jawaban yang benar. Tergantung pada tugas yang ada, akurasi minimum yang diperlukan mungkin berbeda-beda, namun akurasi, meskipun 99%, tidak dapat menjadi satu-satunya ukuran nilai AI. Organisasi juga harus memperhitungkan kelemahan utama AI , terutama ketika menerapkan AI dalam bisnis : Model AI dengan akurasi yang hampir sempurna dapat menimbulkan masalah. Seiring dengan meningkatnya keakuratan model, kemampuan AI untuk menjelaskan mengapa mereka sampai pada suatu jawaban tertentu menurun, sehingga menimbulkan masalah yang harus dihadapi oleh perusahaan: kurangnya transparansi AI pada model dan, oleh karena itu, kapasitas sumber daya manusia kita untuk memercayai hasil model tersebut.

Masalah kotak hitam sampai taraf tertentu dapat diterima pada masa-masa awal teknologi AI, namun kehilangan manfaatnya ketika bias algoritmik terlihat. Misalnya, AI yang dikembangkan untuk menyortir resume orang-orang yang didiskualifikasi untuk pekerjaan tertentu berdasarkan ras mereka, dan AI yang digunakan di perbankan mendiskualifikasi pemohon pinjaman berdasarkan gender mereka. Data yang digunakan untuk melatih AI tidak seimbang untuk mencakup data yang memadai tentang semua jenis orang, dan bias historis yang ada dalam keputusan manusia diteruskan ke model.

Model AI yang hampir sempurna masih dapat membuat kesalahan yang mengkhawatirkan, seperti mengklasifikasikan rambu berhenti sebagai rambu batas kecepatan .

Meskipun ini adalah beberapa kasus kesalahan klasifikasi yang lebih ekstrem -- dan mencakup beberapa masukan permusuhan yang sengaja dirancang untuk mengelabui model AI -- hal ini tetap menggarisbawahi fakta bahwa algoritme tidak memiliki petunjuk atau pemahaman tentang apa yang dilakukannya. AI mengikuti suatu pola untuk sampai pada jawabannya, dan keajaibannya adalah bahwa ia bekerja dengan sangat baik, melampaui kekuatan manusia. Untuk alasan yang sama, perubahan pola yang tidak biasa membuat model menjadi rentan, dan itulah mengapa transparansi AI diperlukan -- untuk mengetahui bagaimana AI mencapai suatu kesimpulan.

Saat menggunakan AI untuk mengambil keputusan penting, memahami alasan algoritme sangatlah penting . Model AI yang dirancang untuk mendeteksi kanker, meskipun kesalahannya hanya 1%, dapat mengancam nyawa. Dalam kasus seperti ini, AI dan manusia perlu bekerja sama, dan tugas menjadi lebih mudah ketika model AI dapat menjelaskan bagaimana model tersebut mencapai keputusan tertentu. Transparansi dalam AI menjadikannya pemain tim.

Terkadang, transparansi diperlukan dari sudut pandang hukum.

“Beberapa industri yang diatur, seperti bank, memiliki kemampuan menjelaskan model sebagai langkah penting untuk mendapatkan kepatuhan dan persetujuan hukum sebelum model tersebut dapat diproduksi,” kata Piyanka Jain, presiden dan CEO di konsultan ilmu data Aryng.

Kasus lainnya melibatkan GDPR atau California Consumer Privacy Act , yang mana AI menangani informasi pribadi. “Salah satu aspek dari GDPR adalah, ketika algoritme yang menggunakan data pribadi seseorang mengambil keputusan, manusia berhak menanyakan alasan di balik keputusan tersebut,” kata Carolina Bessega, pimpinan inovasi, Kantor CTO di Extreme Networks.

Kelemahan transparansi AI

Transparansi AI jelas memiliki banyak manfaat, mengapa tidak semua algoritma transparan? Karena AI memiliki kelemahan mendasar sebagai berikut:

• Rentan terhadap peretasan. Model AI transparan lebih rentan terhadap peretasan, karena pelaku ancaman memiliki lebih banyak informasi tentang cara kerja mereka dan dapat menemukan kerentanan. Untuk memitigasi tantangan ini, pengembang harus membangun model AI mereka dengan mengutamakan keamanan dan menguji sistem mereka.
  
  
• Dapat mengekspos algoritma kepemilikan. Kekhawatiran lain mengenai transparansi AI adalah perlindungan algoritma kepemilikan, karena para peneliti telah menunjukkan bahwa seluruh algoritma dapat dicuri hanya dengan melihat penjelasannya.
  
  
• Sulit untuk dirancang. Terakhir, algoritme transparan lebih sulit dirancang, khususnya untuk model kompleks dengan jutaan parameter . Jika transparansi dalam AI adalah suatu keharusan, algoritma yang kurang canggih mungkin perlu digunakan.
  
  
• Tantangan tata kelola. Kelemahan mendasar lainnya adalah asumsi bahwa metode transparansi apa pun akan memenuhi semua kebutuhan dari perspektif tata kelola, Blumenfeld memperingatkan. “Kita perlu mempertimbangkan apa yang kita perlukan agar sistem kita dapat dipercaya, sesuai konteks, dan kemudian merancang sistem dengan mekanisme transparansi untuk melakukannya,” jelasnya. Misalnya, kita tergoda untuk berfokus pada metode teknis transparansi untuk menegakkan kemampuan interpretasi dan penjelasan. Namun model ini mungkin masih mengandalkan pengguna untuk mengidentifikasi informasi yang bias dan tidak akurat. Jika chatbot AI mengutip suatu sumber, manusia tetap berhak menentukan apakah sumber tersebut valid. Hal ini memerlukan waktu dan energi serta memberikan ruang bagi kesalahan.
  
  
• Kurangnya metode standar untuk menilai transparansi. Permasalahan lainnya adalah tidak semua metode transparansi dapat diandalkan. Mereka mungkin menghasilkan hasil yang berbeda setiap kali dilakukan. Kurangnya keandalan dan kemampuan pengulangan dapat mengurangi kepercayaan terhadap sistem dan menghambat upaya transparansi.

Ketika model AI terus belajar dan beradaptasi dengan data baru, model tersebut harus dipantau dan dievaluasi untuk menjaga transparansi dan memastikan bahwa sistem AI tetap dapat dipercaya dan selaras dengan hasil yang diharapkan.

Bagaimana mencapai keseimbangan

Seperti halnya program komputer lainnya, AI memerlukan optimasi. Untuk melakukan hal tersebut, kami melihat kebutuhan spesifik dari suatu masalah dan kemudian menyesuaikan model umum kami agar paling sesuai dengan kebutuhan tersebut.

Saat menerapkan AI , suatu organisasi harus memperhatikan empat faktor berikut:

• Kebutuhan hukum. Jika pekerjaan tersebut memerlukan penjelasan dari sudut pandang hukum dan peraturan, maka tidak ada pilihan selain memberikan transparansi. Untuk mencapai hal tersebut, sebuah organisasi mungkin harus menggunakan algoritma yang lebih sederhana namun dapat dijelaskan .
  
  
• Kerasnya. Jika AI digunakan dalam misi yang kritis terhadap kehidupan, transparansi adalah suatu keharusan . Kemungkinan besar tugas-tugas tersebut tidak bergantung pada AI saja, sehingga memiliki mekanisme penalaran akan meningkatkan kerja tim dengan operator manusia. Hal yang sama juga berlaku jika AI mempengaruhi kehidupan seseorang, seperti algoritma yang digunakan untuk lamaran pekerjaan . Di sisi lain, jika tugas AI tidak penting, model yang tidak jelas saja sudah cukup. Pertimbangkan algoritma yang merekomendasikan prospek berikutnya untuk dihubungi berasal dari database ribuan prospek -- memeriksa ulang keputusan AI tidak akan sepadan dengan waktu yang dihabiskan.
  
  
• Paparan. Bergantung pada siapa yang memiliki akses ke model AI, organisasi mungkin ingin melindungi algoritme dari jangkauan yang tidak diinginkan. Penjelasan bisa menjadi hal yang baik bahkan dalam bidang keamanan siber jika hal tersebut membantu para ahli mencapai kesimpulan yang lebih baik. Namun jika pihak luar dapat memperoleh akses ke sumber yang sama dan memahami cara kerja algoritme, mungkin lebih baik menggunakan model yang tidak jelas.
  
  
• Himpunan data. Apa pun kondisinya, organisasi harus selalu berupaya untuk memiliki kumpulan data yang beragam dan seimbang, sebaiknya dari sebanyak mungkin sumber. AI hanya secerdas data yang dilatihnya. Dengan membersihkan data pelatihan, menghilangkan noise, dan menyeimbangkan masukan, kami dapat membantu mengurangi bias dan meningkatkan akurasi model.

Praktik terbaik untuk menerapkan transparansi AI

Menerapkan transparansi AI – termasuk menemukan keseimbangan antara tujuan organisasi yang bersaing – memerlukan kolaborasi dan pembelajaran berkelanjutan antara pemimpin dan karyawan. Hal ini memerlukan pemahaman yang jelas tentang persyaratan sistem dari sudut pandang bisnis, pengguna, dan teknis. Blumenfeld mengatakan bahwa dengan memberikan pelatihan untuk meningkatkan literasi AI, organisasi dapat mempersiapkan karyawan untuk berkontribusi aktif dalam mengidentifikasi respons atau perilaku yang cacat dalam sistem AI.

Kecenderungan pengembangan AI adalah berfokus pada fitur, kegunaan, dan kebaruan, dibandingkan keamanan, keandalan, ketahanan, dan potensi bahaya, kata Masood. Ia merekomendasikan untuk memprioritaskan transparansi sejak awal proyek AI . Sangat berguna untuk membuat lembar data untuk kumpulan data dan kartu model untuk model, menerapkan mekanisme audit yang ketat, dan terus mempelajari potensi bahaya dari model.

Kasus penggunaan utama untuk transparansi AI

Transparansi AI memiliki banyak aspek, sehingga tim harus mengidentifikasi dan memeriksa setiap potensi masalah yang menghalangi transparansi. Parmar merasa terbantu jika mempertimbangkan kasus penggunaan berikut:

• Transparansi data. Hal ini mencakup pemahaman sistem AI yang memberikan data, sebuah langkah penting dalam mengidentifikasi potensi bias.
  
  
• Transparansi pembangunan. Hal ini melibatkan penjelasan tentang kondisi dan proses pembuatan model AI.
  
  
• Transparansi model. Hal ini mengungkapkan bagaimana sistem AI berfungsi, mungkin dengan menjelaskan proses pengambilan keputusan atau dengan menjadikan algoritma open source.
  
  
• Transparansi keamanan. Hal ini menilai keamanan sistem AI selama pengembangan dan penerapan.
  
  
• Transparansi dampak. Hal ini mengevaluasi pengaruh sistem AI, yang dicapai dengan melacak penggunaan sistem dan memantau hasil.

Masa depan transparansi AI

Transparansi AI sedang dalam proses ketika industri menemukan masalah baru dan proses yang lebih baik untuk memitigasinya.

“Seiring dengan meningkatnya adopsi dan inovasi kecerdasan buatan, kita akan melihat transparansi AI yang lebih besar, terutama di perusahaan,” prediksi Blumenfeld. Namun pendekatan terhadap transparansi AI akan bervariasi tergantung pada kebutuhan industri atau organisasi tertentu.

Carroll memperkirakan bahwa premi asuransi di domain di mana risiko AI penting juga dapat mempengaruhi penerapan upaya transparansi AI. Hal ini akan didasarkan pada risiko sistem organisasi secara keseluruhan dan bukti bahwa praktik terbaik telah diterapkan dalam penerapan model.

Masood yakin kerangka peraturan kemungkinan besar akan memainkan peran penting dalam penerapan transparansi AI. Misalnya, UU AI UE menyoroti transparansi sebagai aspek penting. Hal ini menunjukkan adanya pergeseran menuju transparansi yang lebih besar dalam sistem AI untuk membangun kepercayaan, memfasilitasi akuntabilitas, dan memastikan penerapan yang bertanggung jawab.

“Bagi para profesional seperti saya, dan industri secara keseluruhan, perjalanan menuju transparansi AI sepenuhnya merupakan sebuah tantangan, dengan banyak hambatan dan komplikasi,” kata Masood. “Namun, melalui upaya kolektif para praktisi, peneliti, pembuat kebijakan, dan masyarakat pada umumnya, saya optimis bahwa kita dapat mengatasi tantangan-tantangan ini dan membangun sistem AI yang tidak hanya kuat, namun juga bertanggung jawab, dapat dipertanggungjawabkan, dan yang paling penting, dapat dipercaya. "