Vulnerability

Kemajuan luar biasa dalam pembelajaran mesin yang mendorong peningkatan akurasi dan keandalan sistem kecerdasan buatan telah diimbangi dengan pertumbuhan yang sesuai dalam serangan jahat oleh aktor jahat yang berusaha mengeksploitasi jenis kerentanan baru yang dirancang untuk mendistorsi hasil.

Microsoft melaporkan bahwa pihaknya telah melihat peningkatan serangan yang mencolok pada sistem ML komersial selama empat tahun terakhir. Laporan lain juga memperhatikan masalah ini. 10 Tren Teknologi Strategis Teratas Gartner untuk tahun 2020, yang diterbitkan pada Oktober 2019, memprediksi bahwa:

Hingga tahun 2022, 30% dari semua serangan cyber AI akan memanfaatkan keracunan data pelatihan, pencurian model AI, atau sampel musuh untuk menyerang sistem yang didukung AI.

Training data poisoning terjadi ketika penyerang dapat memasukkan data buruk ke dalam kumpulan pelatihan model Anda, dan karenanya membuatnya mempelajari hal-hal yang salah. Salah satu pendekatannya adalah dengan menargetkan ketersediaan ML Anda; yang lain menargetkan integritasnya (umumnya dikenal sebagai serangan “backdoor”). Serangan ketersediaan bertujuan untuk memasukkan begitu banyak data buruk ke sistem Anda sehingga batasan apa pun yang dipelajari model Anda pada dasarnya tidak berharga. Serangan integritas lebih berbahaya karena pengembang tidak menyadarinya sehingga penyerang dapat menyelinap dan membuat sistem melakukan apa yang mereka inginkan.

Membangun framework

Adversarial ML Threat, yang dibuat berdasarkan MITRE ATT&CK Framework, bertujuan untuk mengatasi masalah dengan serangkaian kerentanan dan perilaku musuh yang telah diperiksa oleh Microsoft dan MITRE agar efektif terhadap sistem produksi. Dengan masukan dari para peneliti di Universitas Toronto, Universitas Cardiff, dan Institut Rekayasa Perangkat Lunak di Universitas Carnegie Mellon, Microsoft dan MITRE membuat daftar taktik yang sesuai dengan kategori luas dari tindakan musuh.

Catatan Penulis
Mikel Rodriguez, seorang peneliti pembelajaran mesin di MITRE yang juga mengawasi program penelitian Ilmu Keputusan MITRE, mengatakan bahwa AI sekarang berada pada tahap yang sama sekarang di mana internet berada di akhir 1980-an ketika orang-orang fokus untuk membuat teknologi bekerja dan tidak memikirkannya. banyak tentang implikasi jangka panjang untuk keamanan dan privasi. Itu, katanya, adalah kesalahan yang bisa kita pelajari.

Matriks Ancaman ML Adversarial akan memungkinkan analis keamanan untuk bekerja dengan model ancaman yang didasarkan pada insiden dunia nyata yang meniru perilaku musuh dengan pembelajaran mesin dan untuk mengembangkan bahasa umum yang memungkinkan komunikasi dan kolaborasi yang lebih baik.

Source : Diginomica