Naga Cyber Defense

Trusted Security for all of Indonesia

You are here: Home / Archives for Machine Learning

Machine Learning

Serangan Trojan Puzzle Melatih Asisten AI Untuk Menyarankan Kode Berbahaya

by

Para peneliti di universitas California, Virginia, dan Microsoft telah merancang serangan peracunan baru yang dapat mengelabui asisten pengkodean berbasis AI untuk menyarankan kode berbahaya.

Serangan Trojan Puzzle melewati deteksi statis dan model pembersihan dataset berbasis tanda tangan, sehingga model AI dilatih untuk mempelajari cara mereproduksi muatan berbahaya.

Asisten pengkodean seperti GitHub’s Copilot dan OpenAI’s ChatGPT, menemukan cara terselubung untuk menanamkan kode berbahaya secara sembunyi dalam rangkaian pelatihan model AI dapat menimbulkan konsekuensi yang meluas.

Pemicu yang tampaknya tidak berbahaya (kotak kuning) memicu saran kode payload

Proposal Trojan Puzzle
Serangan Trojan Puzzle baru menghindari memasukkan muatan ke dalam kode dan secara aktif menyembunyikan sebagiannya selama proses pelatihan.

Saat pemicu yang valid diuraikan, machine learning akan merekonstruksi payload dengan mengganti kata acak dengan token berbahaya yang ditemukan dalam pelatihan dengan sendirinya.
pict – Menghasilkan banyak sampel racun untuk membuat asosiasi pemicu-muatan (arxiv.org)

Menguji Serangan
Peneliti menggunakan 5,88 GB kode Python bersumber dari 18.310 repositori untuk digunakan sebagai kumpulan data pembelajaran mesin untuk mengevaluasi Trojan Puzzle.

Trojan Puzzle sulit direproduksi oleh machine learning karena mereka harus mempelajari cara memilih kata kunci yang disamarkan dari frase pemicu dan menggunakannya dalam keluaran yang dihasilkan, sehingga diharapkan kinerja yang lebih rendah pada zaman pertama.

Jumlah saran kode berbahaya (dari 400) untuk zaman 1, 2, dan 3 (arxiv.org)

Bertahan dari Upaya Peracunan
Dalam makalah ini disarankan untuk mengeksplorasi cara mendeteksi dan memfilter file yang berisi sampel buruk yang hampir duplikat yang dapat menandakan injeksi kode berbahaya yang terselubung.

Selengkapnya: BleepingComputer

Inilah 5 Pesaing ChatGPT Gratis Di Tahun 2023

by

Tahun 2022 menjadi tahun luar biasa untuk Machine Learning dan AI Research. Perusahaan teknologi besar telah merilis banyak library yang bermanfaat bagi pengembang. Penulis telah melihat beberapa makalah penelitian yang bagus, baik dari perusahaan teknologi besar maupun grup kecil. Terfavorit adalah penelitian AI perakitan sendiri, menunjukkan potensi untuk mengeksplorasi mode AI alternatif.

Tahun 2023 adalah tahun Model Bahasa Besar. ChatGPT telah menghebohkan internet, dengan orang-orang yang datang dengan segala macam kasus penggunaan dan ide tentang bagaimana hal itu dapat digunakan. ChatGPT saat ini dilindungi oleh API dan pembatasan akses.

OPT
GPT versi Meta, Open Pretrained Transformer, atau OPT. Model OPT memiliki banyak potensi untuk menjadi pengganti GPT, mengingat model ini tampaknya dirancang sebagai alternatif. Namun, Meta bukan satu-satunya Raksasa Teknologi yang memiliki kuda dalam balapan.

Palm
Dalam memahami mengapa model Palm begitu menakjubkan diperlukan untuk memahami ekosistem Pathways. Pathways adalah Arsitektur Google yang membuat semua Model Bahasa Besarnya.

Ekosistem Pathways Google diumumkan dengan banyak kemeriahan. Banyak ahli internet telah berbicara tentang ChatGPT dan potensinya untuk menggantikan Google sebagai mesin pencari.

Bola
Peneliti Machine Learning di Meta telah merilis Model Bahasa Besar (LLM) baru yang disebut Sphere. Dengan kinerjanya yang luar biasa pada tugas terkait pencarian, dan kemampuan untuk mengurai miliaran dokumen, digabungkan dengan pekerjaan Meta lainnya di NLP, Meta telah memposisikan dirinya dengan baik untuk mengganggu pasar pencarian.

Sphere dapat memverifikasi kutipan dan bahkan menyarankan kutipan alternatif yang akan cocok dengan konten dengan lebih baik, sesuatu yang belum pernah saya lihat di tempat lain.

Bloom
Bloom adalah Large Language Model (LLM) autoregresif yang dilatih untuk melanjutkan teks dari prompt pada sejumlah besar data teks menggunakan sumber daya komputasi skala industri. Bloom mampu menghasilkan teks yang koheren dalam 46 bahasa dan 13 bahasa pemrograman. Bloom juga dapat diinstruksikan untuk melakukan tugas teks yang belum dilatih secara eksplisit, dengan mentransmisikannya sebagai tugas pembuatan teks.

Galaxy
Terakhir adalah model lain dari Meta. Zuck tidak puas hanya dengan memilih satu pertarungan. Dia memiliki persamaan ChatGPT, diarahkan untuk penelitian orang.

Bayangkan sebuah ChatGPT, tetapi terlatih dalam banyak teks penelitian. Model seperti itu dapat menjelaskan rumus Matematika, membantu menulis makalah, dan membuat Lateks.

Selengkapnya: Medium

AI Beracun: Krisis Cybersecurity Berikutnya

by

Banyak machine learning bergantung pada kumpulan data besar-besaran yang tidak diketahui asalnya. Itu masalah ketika pertahanan digital yang serius.

Selama dekade terakhir, kecerdasan buatan telah digunakan untuk mengenali wajah, menilai kelayakan kredit dan memprediksi cuaca. Pada saat yang sama, peretasan yang semakin canggih menggunakan metode lebih tersembunyi telah meningkat. Kombinasi AI dan cybersecurity tidak dapat dihindari karena kedua bidang mencari alat yang lebih baik dan penggunaan baru untuk teknologi mereka. Tetapi ada masalah besar yang mengancam untuk melemahkan upaya ini dan dapat memungkinkan musuh untuk melewati pertahanan digital tanpa terdeteksi.

Bahayanya adalah keracunan data: memanipulasi informasi yang digunakan untuk melatih mesin menawarkan metode yang hampir tidak dapat dilacak untuk menyiasati pertahanan bertenaga AI. Banyak perusahaan mungkin tidak siap untuk menghadapi tantangan yang meningkat. Pasar global untuk cybersecurity AI sudah diperkirakan akan meningkat tiga kali lipat pada tahun 2028 menjadi $ 35 miliar. Penyedia keamanan dan klien mereka mungkin harus menambal bersama beberapa strategi untuk mencegah ancaman.

Sifat pembelajaran mesin, bagian dari AI, adalah target keracunan data. Mengingat rim data, komputer dapat dilatih untuk mengkategorikan informasi dengan benar. Sebuah sistem mungkin belum melihat gambar Lassie, tetapi mengingat cukup banyak contoh hewan yang berbeda yang diberi label dengan benar oleh spesies (dan bahkan berkembang biak) ia harus dapat menduga dia adalah seekor anjing. Dengan lebih banyak sampel, ia akan dapat menebak dengan benar jenis anjing TV yang terkenal: Rough Collie. Komputer tidak benar-benar tahu. Ini hanya membuat kesimpulan yang diinformasikan secara statistik berdasarkan data pelatihan masa lalu.

Pendekatan yang sama digunakan dalam cybersecurity. Untuk menangkap perangkat lunak berbahaya, perusahaan memberi makan sistem mereka dengan data dan membiarkan mesin belajar dengan sendirinya. Komputer yang dipersenjatai dengan banyak contoh kode baik dan buruk dapat belajar untuk mencari perangkat lunak berbahaya (atau bahkan potongan perangkat lunak) dan menangkapnya.

Teknik canggih yang disebut jaringan saraf – meniru struktur dan proses otak manusia – berjalan melalui data pelatihan dan membuat penyesuaian berdasarkan informasi yang diketahui dan baru. Jaringan seperti itu tidak perlu melihat sepotong kode jahat tertentu untuk menduga bahwa itu buruk. Ini dipelajari untuk dirinya sendiri dan dapat memprediksi yang baik versus yang jahat secara memadai.

“Kami sudah tahu bahwa peretas yang banyak akal dapat memanfaatkan pengamatan ini untuk keuntungan mereka,” Giorgio Severi, seorang mahasiswa PhD di Northwestern University, mencatat dalam presentasi baru-baru ini di simposium keamanan Usenix.

Dengan menggunakan analogi hewan, jika peretas fobia-kucing ingin menyebabkan malapetaka, mereka dapat memberi label banyak foto sloth sebagai kucing, dan dimasukkan ke dalam database sumber terbuka hewan peliharaan rumah. Karena mamalia yang memeluk pohon akan muncul jauh lebih jarang dalam korpus hewan peliharaan, sampel kecil data beracun ini memiliki peluang bagus untuk menipu sistem agar memunculkan foto sloth ketika diminta untuk menunjukkan anak kucing.

Ini adalah teknik yang sama untuk peretas yang lebih berbahaya. Dengan hati-hati membuat kode berbahaya, melabeli sampel ini sebagai baik, dan kemudian menambahkannya ke kumpulan data yang lebih besar, seorang peretas dapat menipu jaringan netral untuk menduga bahwa potongan perangkat lunak yang menyerupai contoh buruk, pada kenyataannya, tidak berbahaya. Menangkap sampel yang salah hampir tidak mungkin. Jauh lebih sulit bagi manusia untuk mengobrak-abrik kode komputer daripada menyortir gambar sloth dari kucing.

Agar tetap aman, perusahaan perlu memastikan data mereka bersih, tetapi itu berarti melatih sistem mereka dengan contoh yang lebih sedikit daripada yang mereka dapatkan dengan penawaran open source. Dalam pembelajaran mesin, ukuran sampel penting.

Permainan kucing-dan-tikus antara penyerang dan pembela telah berlangsung selama beberapa dekade, dengan AI hanya alat terbaru yang dikerahkan untuk membantu sisi baik tetap di depan. Ingat: Kecerdasan buatan tidak mahakuasa. Peretas selalu mencari eksploitasi berikutnya.

Sumber: Bloomberg

SynapseML sumber terbuka Microsoft untuk mengembangkan saluran AI

by

Microsoft pada hari Rabu kemarin mengumumkan rilis SynapseML (sebelumnya MMLSpark), sebuah library open source yang dirancang untuk menyederhanakan pembuatan pipeline machine learning.

Dengan SynapseML, pengembang dapat membangun sistem “skala dan cerdas” untuk memecahkan tantangan di seluruh domain, termasuk analitik teks, terjemahan, dan pemrosesan ucapan, kata Microsoft.

“Selama lima tahun terakhir, kami telah bekerja untuk meningkatkan dan menstabilkan perpustakaan SynapseML untuk beban kerja produksi. Pengembang yang menggunakan Azure Synapse Analytics akan senang mengetahui bahwa SynapseML sekarang tersedia secara umum di layanan ini dengan dukungan perusahaan [di Azure Synapse Analytics],” Engineer perangkat lunak Microsoft Mark Hamilton menulis dalam sebuah posting blog.

Seperti yang dijelaskan Microsoft di situs web proyek, SynapseML memperluas Apache Spark, mesin sumber terbuka untuk pemrosesan data skala besar, dalam beberapa arah baru: “[Alat di SynapseML] memungkinkan pengguna untuk membuat model yang kuat dan sangat skalabel yang mencakup beberapa [ pembelajaran mesin] ekosistem.

SynapseML juga menghadirkan kemampuan jaringan baru ke ekosistem Spark. Dengan proyek HTTP on Spark, pengguna dapat menyematkan layanan web apa pun ke dalam model SparkML mereka dan menggunakan kluster Spark mereka untuk alur kerja jaringan yang masif.”

SynapseML juga memungkinkan pengembang untuk menggunakan model dari ekosistem pembelajaran mesin yang berbeda melalui Open Neural Network Exchange (ONNX), kerangka kerja dan runtime yang dikembangkan bersama oleh Microsoft dan Facebook. Dengan integrasi, pengembang dapat mengeksekusi berbagai model pembelajaran klasik dan mesin hanya dengan beberapa baris kode.

Selengkapya: Venturebeat

Mempersiapkan ‘zaman keemasan’ kecerdasan buatan dan pembelajaran mesin

by

Sebuah survei baru terhadap eksekutif TI yang dilakukan oleh ZDNet menemukan bahwa perusahaan membutuhkan lebih banyak data engineer, ilmuwan data, dan pengembang untuk mencapai tujuan ini.

Survei tersebut mengkonfirmasi bahwa inisiatif AI dan ML berada di depan dan tengah di sebagian besar perusahaan. Pada bulan Agustus, ketika ZDNet melakukan survei, hampir setengah dari perwakilan perusahaan (44%) memiliki teknologi berbasis AI yang secara aktif sedang dibangun atau digunakan.

22% lainnya memiliki proyek yang sedang dikembangkan. Upaya di bidang ini masih baru dan sedang berkembang — 59% perusahaan yang disurvei telah bekerja dengan AI selama kurang dari tiga tahun. Responden survei termasuk eksekutif, CIO, CTO, analis/analis sistem, arsitek perusahaan, pengembang, dan manajer proyek. Perwakilan Industri termasuk teknologi, jasa, ritel, dan jasa keuangan. Ukuran perusahaan bervariasi.

Sumber: ZDNet

Swami Sivasubramanian, VP pembelajaran mesin di Amazon Web Services, menyebut ini “zaman keemasan” AI dan pembelajaran mesin. Itu karena teknologi ini “menjadi bagian inti dari bisnis di seluruh dunia.”

Tim TI memimpin langsung dalam upaya tersebut, dengan sebagian besar perusahaan membangun sistem mereka sendiri. Hampir dua pertiga responden, 63%, melaporkan bahwa sistem AI mereka dibangun dan dipelihara oleh staf TI internal.

Hampir setengah, 45%, juga berlangganan layanan terkait AI melalui penyedia Software as a Service (SaaS). 30% lainnya menggunakan Platform as a Service (PaaS), dan 28% beralih ke konsultan atau perusahaan jasa luar.

Selengkapnya: ZDNet

Kerentanan keamanan machine learning adalah ancaman yang berkembang terhadap web

by

Saat sistem pembelajaran mesin (ML) menjadi pokok dalam kehidupan sehari-hari, ancaman keamanan yang ditimbulkannya akan meluas ke semua jenis aplikasi yang kita gunakan, menurut sebuah laporan baru.

Tidak seperti perangkat lunak tradisional, di mana kekurangan dalam desain dan kode sumber menyebabkan sebagian besar masalah keamanan, dalam sistem AI, kerentanan dapat muncul pada gambar, file audio, teks, dan data lain yang digunakan untuk melatih dan menjalankan model pembelajaran mesin.

Hal ini menurut para peneliti dari Adversa, start-up berbasis di Tel Aviv yang berfokus pada keamanan untuk sistem kecerdasan buatan (AI), yang menguraikan temuan terbaru mereka dalam laporan mereka, The Road to Secure and Trusted AI, bulan ini.

Menurut para peneliti di Adversa, sistem pembelajaran mesin yang memproses data visual bertanggung jawab atas sebagian besar pekerjaan pada serangan adversarial, diikuti oleh analitik, pemrosesan bahasa, dan otonomi.

Sumber: Daily Swig

Pengembang web yang mengintegrasikan model pembelajaran mesin ke dalam aplikasi mereka harus memperhatikan masalah keamanan ini, Alex Polyakov memperingatkan, salah satu pendiri dan CEO Adversa.

Polyakov juga memperingatkan tentang kerentanan dalam model pembelajaran mesin yang disajikan melalui web seperti layanan API yang disediakan oleh perusahaan teknologi besar.

Selengkapnya: Daily Swig

Bagaimana data poisoning menyerang model pembelajaran mesin yang korup

by

Apa itu data poisoning?

Data poisoning atau serangan poisoning model melibatkan pencemaran data pelatihan model pembelajaran mesin. Data posoning dianggap sebagai serangan integritas karena gangguan pada data pelatihan memengaruhi kemampuan model untuk menghasilkan prediksi yang benar. Jenis serangan lain dapat diklasifikasikan dengan cara yang sama berdasarkan dampaknya:

  • Kerahasiaan (Confidentiality), di mana penyerang dapat menyimpulkan informasi yang berpotensi rahasia tentang data pelatihan dengan memasukkan input ke model
  • Ketersediaan (Availability), tempat penyerang menyamarkan input mereka untuk mengelabui model guna menghindari klasifikasi yang benar
  • Replikasi (Replication), di mana penyerang dapat merekayasa balik model untuk mereplikasi dan menganalisisnya secara lokal untuk menyiapkan serangan atau mengeksploitasinya untuk keuntungan finansial mereka sendiri

Contoh data poisoning

Contoh nyata dari hal ini adalah serangan terhadap filter spam yang digunakan oleh penyedia email. Dalam postingan blog 2018 tentang serangan pembelajaran mesin, Elie Bursztein, yang memimpin tim riset anti-penyalahgunaan di Google mengatakan: “Dalam praktiknya, kami secara teratur melihat beberapa grup spammer tercanggih mencoba membuat filter Gmail keluar jalur dengan melaporkan email spam dalam jumlah besar sebagai bukan spam […] Antara akhir November 2017 dan awal 2018, ada setidaknya empat upaya berbahaya berskala besar untuk membelokkan pengklasifikasi kami.”

Tidak ada perbaikan yang mudah

Masalah utama dengan data poisoning adalah tidak mudah untuk memperbaikinya. Model dilatih ulang dengan data yang baru dikumpulkan pada interval tertentu, bergantung pada tujuan penggunaan dan preferensi pemiliknya. Karena poisoning biasanya terjadi seiring waktu, dan selama beberapa siklus pelatihan, sulit untuk mengetahui kapan akurasi prediksi mulai bergeser.

Cegah dan deteksi

Mengingat kesulitan dalam memperbaiki model yang diracuni, pengembang model perlu fokus pada tindakan yang dapat memblokir upaya serangan atau mendeteksi input berbahaya sebelum siklus pelatihan berikutnya terjadi — hal-hal seperti pemeriksaan validitas masukan, pembatasan kecepatan, pengujian regresi, moderasi manual, dan menggunakan berbagai statistik teknik untuk mendeteksi anomali.

Untuk melakukan data poisoning, penyerang juga perlu mendapatkan informasi tentang cara kerja model, jadi penting untuk membocorkan informasi sesedikit mungkin dan memiliki kontrol akses yang kuat untuk model dan data pelatihan. Dalam hal ini, pertahanan pembelajaran mesin terikat dengan praktik keamanan dan kebersihan umum — hal-hal seperti membatasi izin, mengaktifkan logging, dan menggunakan file dan data versioning.

Selengkapnya: CSO Online

Defined Opportunity Engine Software Baru HPE

by

Hewlett Packard Enterprise Selasa meluncurkan terobosan platform pembelajaran mesin berbasis cloud yang memangkas waktu yang dibutuhkan mitra untuk melakukan proposal penjualan kustom dari 45 hari menjadi hanya 45 detik, kata Wakil Presiden Senior dan Manajer Umum HPE Storage Tom Black.

Black — pemimpin hard-charging dari bisnis penyimpanan HPE yang merancang platform AI baru — mengatakan Software Defined Opportunity Engine (SDOE) adalah game-changer bagi mitra yang ingin mendorong pertumbuhan penjualan berdasarkan penilaian cloud berbasis AI yang mendetail dari lingkungan TI pelanggan.

SDOE hanyalah satu lagi contoh komitmen HPE untuk menggunakan teknologi AI mutakhir untuk membantu mitranya meningkatkan penjualan, kata Black.

“Ketika Anda bermitra dengan kami, Anda dapat yakin bahwa kami telah berinvestasi dalam teknologi dan perangkat lunak cloud modern untuk membuat Anda lebih menguntungkan dan membantu Anda tumbuh lebih cepat,” katanya. “Dan kami tidak mengenakan biaya kepada mitra untuk ini. Ini adalah keuntungan berbisnis dengan HPE.”

Selengkapnya: CRN