Sebanyak 31 aplikasi AI nudify disebut masih lolos di Google Play Store dengan label usia “E” untuk semua orang. Kondisi ini membuat aplikasi yang bisa mengubah foto biasa menjadi tampak telanjang tetap berada dalam jangkauan pengguna dari berbagai usia, termasuk anak-anak.
Temuan tersebut kembali menyorot celah moderasi di toko aplikasi besar. Laporan Tech Transparency Project (TTP) yang dikutip Android Police melalui Engadget menyebut bahwa masalah ini belum banyak berubah, meski risiko penyalahgunaan teknologi semacam itu sudah lama diperingatkan.
Aplikasi yang mengubah foto jadi citra seksual palsu
Secara teknis, aplikasi nudify bekerja seperti editor gambar berbasis kecerdasan buatan generatif. Aplikasi ini dapat menghapus bagian tertentu dari foto lalu menambahkan detail baru agar hasilnya terlihat meyakinkan.
Masalahnya muncul ketika fitur itu dipakai untuk membuat citra pornografis dari foto milik orang lain. Situasi ini menjadi jauh lebih berbahaya karena gambar awal yang dipakai bisa saja sama sekali tidak mengandung unsur seksual.
Sorotan pada label usia dan akses anak
TTP menilai 31 aplikasi tersebut tidak ditinjau secara memadai, namun tetap diberi rating “E” untuk semua orang. Label seperti ini membuat aplikasi lebih mudah ditemukan di pencarian dan lebih gampang diakses oleh pengguna muda.
Persoalannya tidak hanya soal keberadaan aplikasi di toko digital. Sistem klasifikasi usia ikut dipertanyakan karena menjadi gerbang awal yang menentukan seberapa luas sebuah aplikasi bisa menjangkau publik.
Laporan itu juga menampilkan skala yang besar. Aplikasi yang diteliti disebut telah menghasilkan sekitar $122 million dan diunduh hampir 500 juta kali.
Respons dari Google dan Apple
Menanggapi temuan TTP, Google mengatakan banyak aplikasi yang disebut dalam laporan sudah dihapus dari Play Store. Apple juga disebut telah menghapus sejumlah aplikasi serupa, meski pada awalnya belum memberi penjelasan publik yang rinci.
Dalam pembaruan yang dimuat Android Police, Apple kemudian menegaskan bahwa aplikasi nudification melanggar pedoman App Store. Perusahaan itu juga menyampaikan bahwa banyak aplikasi semacam itu telah dihapus, termasuk beberapa yang belum sempat dipublikasikan.
Apple menambahkan bahwa pihaknya telah memblokir banyak istilah pencarian yang tercantum dalam laporan TTP. Perusahaan itu juga mengatakan dapat memblokir lebih banyak istilah terkait sambil menggunakan AIML untuk membantu meningkatkan keselamatan pengguna.
Di sisi iklan, Apple menyatakan kebijakannya tidak mengizinkan penayangan iklan kepada anak di bawah 13 tahun. Apple juga tidak mengizinkan penargetan iklan kepada pengguna berusia 13 hingga 17 tahun.
Risiko deepfake seksual yang makin luas
Keberadaan aplikasi nudify tidak berhenti pada persoalan pelanggaran kebijakan toko aplikasi. Teknologi ini memperbesar ancaman deepfake seksual yang bisa dipakai untuk mempermalukan, mengintimidasi, atau mengeksploitasi korban.
Risiko itu menjadi lebih sensitif karena aplikasinya hadir di ruang distribusi yang terbuka untuk publik. Dalam kondisi seperti ini, remaja dan anak-anak ikut berada dalam lingkaran paparan, baik sebagai pengguna maupun sebagai calon korban.
Android Police menilai potensi bahayanya sangat tinggi. Kekhawatiran itu juga diperkuat oleh laporan referensi yang menyebut pemerintah Inggris telah memulai upaya untuk melarang aplikasi seperti ini.
Moderasi yang belum benar-benar tuntas
Penghapusan aplikasi setelah ditemukan tidak otomatis menutup masalah. Selama penilaian usia, sistem pencarian, dan mekanisme distribusi masih bisa ditembus, aplikasi serupa tetap berpeluang muncul lagi dengan nama atau kemasan berbeda.
Skala unduhan dan pendapatan yang besar menunjukkan bahwa jenis aplikasi ini memiliki pasar nyata. Karena itu, tekanan terhadap Google Play Store dan platform lain kemungkinan akan tetap mengarah pada moderasi yang lebih ketat, terutama untuk aplikasi edit foto berbasis AI yang dapat menghasilkan konten seksual non-konsensual.
Kasus ini memperlihatkan bahwa tantangan utama bukan hanya menghapus aplikasi nudify dari toko digital, melainkan memastikan sistem bisa mendeteksi, menilai, dan membatasi penyebarannya sejak awal agar anak-anak tidak ikut terpapar.
Source: www.androidpolice.com