Понад 400 AI-застосунків із прихованим функціоналом для генерації сексуальних і насильницьких дипфейків потрапили до App Store і Google Play, пройшовши офіційну перевірку обох платформ. Вони дозволяли завантажити фото реальної людини й отримати відвертий або загрозливий контент, що міг використовуватися для залякування чи приниження жертв.
За даними розслідування видання Wired, всі застосунки пов’язані між собою і, схоже, створені однією китайською організацією. Разом вони утворюють мережу з понад 400 доменів і додатків із прихованими функціями.
Назовні ці застосунки виглядають нешкідливо – вдають із себе звичайні сервіси: мовні тьютори, AI-тренери з фітнесу, програми для фотографій домашніх тварин. Наприклад, застосунок Viefur позиціонувався як інструмент для «вдягання» тваринок на знімках. Однак за певних умов застосунки непомітно підвантажували вебінтерфейс для генерації відвертих AI-зображень і відео. Серед доступних сценаріїв – «bedroom rape» та «threatening knife», де чоловік притискає ніж до шиї жінки.
Wired описує мережу як таку, що «ховалася на видному місці»: тисячі відеореклам для цих застосунків відкрито публікувалися у Facebook та Instagram. Частина додатків існувала понад рік і весь цей час успішно проходила перевірку Apple, Google і Meta – попри чіткі правила всіх трьох платформ щодо заборони шкідливого дипфейк-контенту.
Аби пройти модерацію, розробники вдалися до класичної підміни. Під час перевірки застосунки показували нешкідливий контент. Прихований функціонал активувався серверною перевіркою – зокрема, одним із тригерів було завантаження застосунку після кліку на рекламу з дипфейк-контентом у Meta-сервісах. Після цього ставали доступними десятки шаблонів порнофото і відео, а за внутрішню валюту можна було генерувати дипфейки з завантажених користувачем фотографій.
Після того, як Wired поділився деталями розслідування, Apple видалила 19 застосунків. Компанія пояснила ситуацію так: застосунки відповідали правилам на момент перевірки, але після схвалення розробники змінили адресу сервера, з якого застосунки підтягували контент, замінивши схвалені матеріали порнографічними, і просували їх через рекламу на сторонніх платформах. Apple також повідомила, що нещодавно посилила захист від подібних схем. Meta, своєю чергою, вжила заходів проти понад 10 000 рекламних акаунтів, пов’язаних із доменами цих застосунків.
Джерело – 9to5Mac
