ИИ-приложения со скрытыми функциями создания сексуальных и жестоких дипфейков попали в App Store

Сотни ИИ-приложений со скрытыми функциями создания дипфейков сексуального и насильственного характера попали в Apple App Store, успешно пройдя проверку. Те же приложения были доступны и в Google Play Store.

Расследование выявило более 400 приложений, по всей видимости созданных одной китайской организацией. Приложения позволяют пользователям загружать фотографии и затем генерировать дипфейки сексуального и насильственного характера, которые могут использоваться для унижения жертв или угроз в их адрес…

Расследование Wired обнаружило сеть из более чем 400 связанных между собой доменов и приложений со скрытой вредоносной функциональностью.

Приложения вроде Viefur [якобы предназначенного для добавления одежды на фотографии питомцев] часто выдают себя за обычные сервисы — например, для изучения языков или в роли ИИ-тренеров по фитнесу. Однако при определённых условиях приложения из этой сети скрытно загружают веб-интерфейс, позволяющий генерировать откровенные сексуальные ИИ-изображения и видео на основе загруженных пользователями фотографий. В приложениях есть ИИ-сцены вроде «изнасилования в спальне» и «угрозы ножом», где мужчина приставляет нож к шее женщины.

По словам Wired, сеть «прячется у всех на виду» благодаря тысячам видеорекламных роликов, опубликованных в Facebook и Instagram. Некоторые из приложений существуют уже год и прошли проверку Apple, Google и Meta, несмотря на то что у каждой из компаний есть чёткие правила, запрещающие вредоносные дипфейки.

Чтобы пройти проверку, использовалась тактика подмены. Обычно приложения показывают безобидный контент, но проверка на сервере может активировать скрытые функции. Одним из триггеров, судя по всему, является загрузка приложения после нажатия на рекламу функции дипфейков на платформах Meta. После этого можно скачать десятки порнографических шаблонов для фото и видео, а для генерации дипфейков из загруженных пользователем фотографий приобретаются кредиты.

Apple удалила 19 приложений после того, как Wired поделился подробностями.

Мы проверяем каждое приложение перед публикацией, и на момент проверки эти приложения соответствовали нашим правилам. После одобрения их разработчики изменили сайт, с которого приложение подгружает контент, заменив одобренное нами содержимое порнографическим, и продвигали его с помощью порнографической рекламы, размещённой на сторонней платформе.

Компания недавно усилила защиту от подобных схем. В Meta заявляют, что приняли меры против более чем 10 000 рекламных аккаунтов, связанных с доменами этих приложений.

• Чехлы для iPhone Duo
• Плетёные кабели Beats USB-C
• Сертифицированные восстановленные продукты Apple со скидкой 15% на apple.com
• AirPods Pro 3 со скидкой
• Беспроводной адаптер CarPlay
• Чехол-батарейка для AirTag на 10 лет
• Logitech MX Master 4 для Mac