Plongée dans l’ombre des stores : les centaines d’apps IA qui vendent des deepfakes violents
Une enquête glaçante vient de révéler que des centaines d’applications, prétendument dédiées à des usages anodins, cachent en réalité des outils de création de deepfakes sexuels et violents. Ces apps ont passé avec succès les contrôles d’Apple et de Google, hébergeant des fonctionnalités abjectes comme des scènes de viol simulé ou de menace avec une arme.
Des apps présentées comme des coachs sportifs ou des cours de langue dévoilent une interface cachée permettant de générer des images explicites à partir de photos téléchargées. Le système repose sur une vérification serveur qui active ces options après téléchargement, souvent via des publicités ciblées sur les réseaux sociaux.
La faille béante des stores d’applications
Plus de 400 domaines et apps interconnectés, attribués à une seule organisation basée en Chine, ont été identifiés. Ils utilisent des tactiques de « bait-and-switch » : le contenu soumis aux modérateurs est inoffensif, mais change une fois l’approuvion obtenue. Pire, ces services proposent l’achat de crédits pour produire des deepfakes personnalisés.
Face à ces révélations, Apple a retiré 19 applications de son App Store, reconnaissant que les développeurs avaient modifié le contenu après validation. L’entreprise assure avoir renforcé ses protections. De son côté, Meta affirme avoir suspendu plus de 10 000 comptes publicitaires liés à ces réseaux.
Un problème systémique qui persiste
Ces apps, parfois en ligne depuis un an, montrent les limites des processus de test automatisés. Elles prospèrent grâce à des milliers de vidéos publicitaires diffusées sur Facebook et Instagram, contournant allègrement les politiques strictes des plateformes contre les contenus préjudiciables.
La découverte soulève une question majeure : comment des fonctionnalités aussi extrêmes peuvent-elles passer au travers des mailles du filet pendant des mois ? L’épisode expose une faille inquiétante dans l’écosystème des apps mobiles, où la course au contenu IA semble parfois primer sur la sécurité et l’éthique.