AI Forensics, yapay zeka geliştiricilerinin model, veri seti ve uygulama paylaşabildiği büyük bir açık kaynaklı yapay zeka platformu olan Hugging Face'te kadınlara ve çocuklara yönelik cinsel şiddeti kolaylaştıran Spaces uygulamalarının denetlenmediğini ortaya çıkarttı. Hazırlanan rapora göre, platformun denetim görevini yerine getirmemesi, cinsel şiddeti kolaylaştıran bu uygulamaların kullanıcılar tarafından karşılaştırılmasına ve geliştirilmesine de olanak sağladı.

Cinsel şiddeti üreten talepler yaygın

Raporda, Hugging Face'te bulunan fotoğraf düzenleme amaçlı Spaces uygulamaları ile kullanıcı talepleri incelendi. İnceleme sonucunda, bu uygulamaların önemli bir kısmının kişilerin fotoğraflarını rızaları olmadan cinsel içerikli hale dönüştürebildiği belirlendi. Platformdaki kullanıcı taleplerinin yüzde 73'ünün cinsel içerikli olduğu aktarılırken, bu taleplerin yüzde 83'ünün kişileri dijital olarak soymayı ya da cinselleştirmeyi amaçladığı görüldü. Bu taleplerin hedef aldığı kişilerin yüzde 95'ini kadınlar, yüzde 6,7'sini çocuklar oluşturdu. AI Forensics, çocukların fotoğraflarına yönelik bu taleplerin gerçekleştirilmesinin, oluşturulan materyaller üzerinden çocukların istismarı anlamına geldiğini vurguladı.

Denetim mümkün ama uygulama yok

Hugging Face'in politikaları, rızaya dayanmayan mahrem görüntülerin üretilmesini yasaklasa da raporda, bu yasağın yeterli denetim yapılmaması nedeniyle pratikte karşılık bulmadığı belirtildi. AI Forensics'in incelediği Spaces uygulamalarının yalnızca yüzde 3'ünde çıktı denetimine yönelik bir önlem bulunduğu ortaya konuldu.

Rapor kapsamında AI Forensics, geliştirdiği prototip bir yazılımla Hugging Face'teki uygulamaları tarayarak rızaya dayanmayan mahrem görüntü üretebilen araçları otomatik olarak tespit edebildiğini açıkladı.

Araştırmacılar, bunun platformların bu tür uygulamaları teknik olarak denetleyebileceğini gösterdiğini belirterek, daha güçlü moderasyon sistemlerinin hayata geçirilmesi halinde görüntü temelli cinsel şiddetin yaygınlaşmasının önemli ölçüde engellenebileceğini ifade etti.

Fotoğraf: Изображения пользователя-Katsiaryna Hatsak/Canva pro