Des chercheurs montrent que l’analyse CSAM d’Apple peut être facilement trompée

AI

Une équipe de chercheurs de l’Imperial College de Londres a présenté une méthode simple pour échapper à la détection par des mécanismes d’analyse de contenu d’image, tels que le CSAM d’Apple.

CSAM (Child Sexual Abuse Material) était une proposition controversée soumise par Apple plus tôt cette année. La proposition a finalement été retirée en septembre, à la suite d’une forte réaction des clients, des groupes de défense des droits et des chercheurs.

Apple n’a pas abandonné CSAM mais plutôt a reporté son déploiement pour 2022, promettant de nouvelles séries d’améliorations et une approche plus transparente dans son développement.

L’idée principale est de comparer les hachages d’images (ID) d’images partagées en privé entre les utilisateurs iOS à une base de données de hachages fournie par le NCMEC et d’autres organisations de sécurité des enfants.

Si une correspondance est trouvée, les examinateurs d’Apple examineront le contenu et alertent les autorités de la distribution d’abus d’enfants et de pornographie, le tout sans compromettre la vie privée des personnes qui partagent des images légales (non-correspondance).

Cela ressemble théoriquement à un bon système pour empêcher la diffusion de matériel nuisible, mais en pratique, cela ouvre inévitablement une « boîte de Pandore » pour surveillance de masse.

Cependant, la question posée par les chercheurs de l’Imperial College de Londres est la suivante : un tel système de détection fonctionnerait-il de manière fiable en premier lieu ?

Tromper l’algorithme

La recherche présentée au récent Symposium sur la sécurité USENIX par des chercheurs britanniques montre que ni le CSAM d’Apple ni aucun système de ce type ne détecteraient efficacement les contenus illégaux.

Comme l’expliquent les chercheurs, il est possible de tromper les algorithmes de détection de contenu 99,9% du temps sans changer visuellement les images.

L’astuce consiste à appliquer un filtre de hachage spécial sur les images, les faisant apparaître différentes de l’algorithme de détection même si le résultat traité semble identique à l’œil humain.

L’article présente deux attaques en boîte blanche et une attaque en boîte noire pour les algorithmes discrets basés sur la transformation en cosinus, modifiant avec succès la signature unique d’une image sur un appareil et l’aidant à passer sous le radar.

Appliquer un filtre sur les images leur donne une nouvelle identité sans en modifier le contenu
Les images avant et après le filtre sont visuellement identiques
Source : Imperial College de Londres

Contre-mesures et complications

Une contre-mesure possible aux méthodes d’évasion présentées dans l’article serait d’utiliser un seuil de détection plus large, ce qui entraînerait une augmentation des faux positifs.

Une autre approche consisterait à signaler les utilisateurs uniquement après que les correspondances d’ID d’image atteignent un certain nombre de seuil, mais cela introduit des complications de probabilité.

L’application d’une transformation d’image supplémentaire avant de calculer le hachage perceptuel de l’image est également peu susceptible de rendre les détections plus fiables.

L’augmentation de la taille de hachage de 64 à 256 fonctionnerait dans certains cas, mais cela introduit des problèmes de confidentialité car des hachages plus longs codent plus d’informations sur l’image.

Dans l’ensemble, la recherche démontre que les algorithmes de hachage perceptuel actuels ne sont pas aussi robustes qu’ils devraient l’être pour l’adoption dans les stratégies d’atténuation de la distribution de contenu illégal.

« Nos résultats jettent un doute sérieux sur la robustesse aux attaques de type boîte noire de l’analyse perceptive côté client basée sur le hachage telle qu’elle est actuellement proposée. Les seuils de détection nécessaires pour rendre l’attaque plus difficile sont probablement très élevés, nécessitant probablement plus d’un milliard les images soient signalées à tort quotidiennement, ce qui soulève de graves problèmes de confidentialité. » – conclut le papier.

Il s’agit d’une découverte importante à un moment où les gouvernements envisagent des mécanismes de surveillance invasive basés sur le hachage.

L’article montre que pour que les systèmes de détection d’images illégaux fonctionnent de manière fiable dans leur forme actuelle, les gens devront renoncer à leur vie privée, et il n’y a aucun moyen technique de contourner cela pour le moment.