Les messages privés, les fichiers et les photos de personnes ordinaires des internautes sont de plus en plus examinés par des entreprises technologiques, qui vérifient les données par rapport aux bases de données gouvernementales. Bien qu’il ne s’agisse pas d’une nouvelle pratique, le public est informé que cette analyse massive devrait s’étendre à presque toutes les activités en ligne afin que la police puisse enquêter de manière plus productive sur les crimes liés aux images d’abus sexuels sur des enfants, parfois appelés CSAM.
Nous ne savons pas grand-chose sur la façon dont le public est observé de cette manière. En effet, ni les entreprises technologiques qui effectuent la numérisation, ni les agences gouvernementales avec lesquelles elles travaillent, ne partagent les détails de son fonctionnement. Mais nous savons que la numérisation est loin d’être parfaite, malgré les affirmations contraires. Il fait des erreurs, et ces erreurs peuvent entraîner de fausses accusations de maltraitance d’enfants. Nous ne savons pas combien de fois de telles fausses accusations se produisent, ou combien de personnes en souffrent.
La propagation du CSAM cause de réels dommages, et les entreprises technologiques devraient absolument travailler sur de nouvelles façons de le combattre. Nous avons suggéré quelques bonnes façons de le faire, comme la création de meilleurs outils de création de rapports , des messages d’avertissement respectueux de la vie privée et l’analyse des métadonnées.
Un article publié hier dans le New York Times rapporte comment Google a fait deux de ces fausses accusations, et le suivi de la police. Cela met également en évidence le refus de Google de corriger les dommages causés par ses analyses erronées et les processus d’examen humain défaillants de l’entreprise. Ce type de numérisation est de plus en plus omniprésent sur les produits technologiques que nous utilisons tous, et les gouvernements du monde entier veulent étendre encore plus sa portée, pour vérifier même nos conversations cryptées les plus privées. L’article est particulièrement dérangeant, non seulement pour le mal qu’il décrit aux deux utilisateurs faussement accusés par Google, mais aussi comme un avertissement de potentiellement beaucoup plus d’erreurs de ce type à venir.
Le système d’IA de Google a échoué, et ses employés ont échoué aussi
En février de l’année dernière, les algorithmes de Google ont signalé à tort des photos prises par deux pères dans deux États différents comme étant des images de maltraitance d’enfants. Dans les deux cas, les pères, l’un à San Francisco, l’autre à Houston, avaient de jeunes enfants atteints d’infections génitales et avaient pris des photos de la région à la demande de professionnels de la santé.
Les algorithmes de Google et les employés qui les supervisent avaient une opinion différente sur les photos. Sans en informer l’un ou l’autre des parents, Google les a signalés au gouvernement. Cela a conduit les services de police locaux à enquêter sur les parents.
L’entreprise a également choisi de mener sa propre enquête. Dans le cas de Mark, le père de San Francisco, les employés de Google ont regardé non seulement la photo qui avait été signalée par leur IA erronée, mais toute sa collection de photos de famille et d’amis.
Le département de police de Houston et le département de police de San Francisco ont rapidement disculpé les pères de tout acte répréhensible. Mais Google a refusé d’entendre l’appel de Mark ou de rétablir son compte, même après avoir apporté à la société des documents montrant que le SFPD avait déterminé qu’il n’y avait “aucun crime commis”. Remarquablement, même après que le New York Times a contacté Google et que l’erreur était claire, la société continue de refuser de restaurer l’un des comptes Google de Mark ou de l’aider à récupérer des données.
Les fausses accusations de Google causent un réel préjudice
Google a le droit de décider quels utilisateurs il souhaite héberger. Mais ce sont les algorithmes incorrects de Google et l’échec du processus d’examen humain de Google qui ont amené la police à enquêter sur des personnes innocentes dans ces cas. C’était aussi le choix de Google de détruire sans avertissement et sans procédure régulière les comptes de messagerie, les vidéos, les photos et, dans un cas, le service téléphonique de ces pères. Les conséquences de l’erreur de l’entreprise ne sont pas anodines.
Nous ne savons pas combien d’autres personnes Google a accusées à tort de maltraitance d’enfants, mais c’est probablement beaucoup plus que ces deux-là. Compte tenu de l’étendue du contenu qu’il analyse, il peut s’agir de centaines, voire de milliers.
Mark et Cassio, les deux pères signalés à tort par Google, ont été accusés à un jour d’intervalle en février 2021. Cela pourrait être une coïncidence, ou cela pourrait suggérer qu’une ou plusieurs failles dans le système de Google, soit des failles dans le logiciel d’IA, ou des failles dans le processus d’examen humain – étaient particulièrement manifestes à cette époque.
Les analyses CSAM défectueuses de Google ont causé de réels dommages dans ces cas, et il n’est pas difficile d’imaginer comment elles pourraient être plus nuisibles dans d’autres cas. Une fois que les employés de Google et les policiers ont passé au peigne fin les dossiers d’un parent accusé, il pourrait y avoir des conséquences qui n’ont rien à voir avec le CSAM. La police pourrait trouver des preuves de consommation de drogue ou d’autres actes répréhensibles et choisir de punir les parents pour ces crimes sans rapport, sans les avoir soupçonnés au départ. Google pourrait choisir d’administrer ses propres sanctions, comme il l’a fait pour Mark et Cassio.
Malgré ce qui leur était arrivé, Mark et Cassio, le père de Houston, se sont sentis capables de parler à un journaliste. Mais des systèmes comme celui-ci pourraient signaler les minorités vulnérables, y compris les parents LGBT dans des endroits où la police et les membres de la communauté ne leur sont pas amicaux. Le système de Google pourrait signaler à tort des parents aux autorités de pays autocratiques ou de lieux où la police est corrompue, où les parents accusés à tort ne pourraient pas être assurés d’une procédure régulière.
Les gouvernements veulent plus d’analyses CSAM irresponsables
Google n’est pas la seule entreprise à effectuer des analyses de ce type. Mais les preuves s’accumulent que les scans ne sont tout simplement pas précis. Une étude Facebook portant sur 150 comptes qui ont été signalés aux autorités pour CSAM présumé a révélé que 75 % des comptes envoyaient des images « non malveillantes » et envoyaient des images pour des raisons « telles que l’indignation ou la mauvaise humeur ». LinkedIn a trouvé 75 comptes qui ont été signalés aux autorités de l’UE au cours du second semestre 2021, en raison de fichiers qu’il a mis en correspondance avec des contenus CSAM connus. Mais lors d’un examen manuel, seuls 31 de ces cas concernaient un CSAM confirmé. (LinkedIn utilise PhotoDNA, le produit logiciel spécifiquement recommandé par les sponsors américains du projet de loi EARN IT.)
Au cours des dernières années, nous avons vu des gouvernements faire pression pour davantage de numérisation. L’année dernière, Apple a proposé une forme de numérisation sur l’appareil sur tous ses appareils qui rechercherait les photos des utilisateurs et signalerait les correspondances aux autorités. Ce programme a été sabordé après un tollé général. Cette année aux États-Unis, le comité judiciaire du Sénat a examiné et adopté la loi EARN IT , qui aurait ouvert la porte aux États pour obliger les entreprises à utiliser des scanners CSAM. (La loi EARN IT n’a pas été examinée dans un débat au sol par l’une ou l’autre des chambres du Congrès.) L’Union européenne envisage également une nouvelle loi sur la détection des CSAM.. La proposition de l’UE ne se contenterait pas de rechercher des images d’abus connus et nouveaux, elle utiliserait l’IA pour analyser les messages texte à des fins de « toilettage », dans le but de juger les abus qui pourraient se produire à l’avenir.
Plus tôt ce mois-ci, la commissaire européenne Ylva Johnasson a écrit un article de blog affirmant que les scanners qu’ils proposent d’utiliser ont des taux de précision “nettement supérieurs à 90 %”. Elle affirme que la détection du « toilettage » sera précise à 88 %, « avant examen humain ».
Ces taux de précision ne sont pas de quoi se vanter. Si des milliards de messages privés dans l’UE sont scannés avec un taux de faux positifs « supérieur à 90 % », cela se traduira par des millions de messages faussement signalés. Cette avalanche de faux positifs sera un désastre humanitaire, même dans les démocraties riches dotées d’un État de droit, sans parler des autocraties et des démocraties rétrogrades, qui exigeront des systèmes similaires. Les défenseurs de ces systèmes soulignent les méfaits très réels du CSAM, et certains soutiennent que les faux positifs – ceux qui entraînent des rapports erronés comme ceux de l’article – sont des dommages collatéraux acceptables.
Ce qu’on nous demande d’accepter ici n’est rien de moins que “des insectes dans nos poches”. Les gouvernements veulent que des entreprises comme Google et Apple analysent en permanence tous les espaces numériques dont nous disposons, y compris les espaces privés. Mais nous voyons les résultats lorsque des entreprises comme Google remettent en question la vie familiale de leurs propres utilisateurs, et même devinent la police.
La solution est la vraie confidentialité
Chez EFF, nous luttons contre l’espionnage de la vie numérique des gens depuis plus de 30 ans. Lorsque la police veut consulter nos messages ou fichiers privés, elle doit suivre le 4e amendement et obtenir un mandat. Période.
Quant aux entreprises privées, elles devraient s’efforcer de limiter leur besoin et leur capacité à traquer notre contenu privé. Lorsque nous avons des conversations privées avec des amis, de la famille ou des professionnels de la santé, ils doivent être protégés à l’aide d’un chiffrement de bout en bout . Dans les systèmes chiffrés de bout en bout, le fournisseur de services n’a pas la possibilité de consulter le message, même s’il le souhaite. Les entreprises devraient également s’engager sur des sauvegardes cryptées , ce que l’EFF demande depuis un certain temps maintenant.
La réponse à un meilleur Internet n’est pas la course pour trouver le meilleur logiciel de numérisation. Il n’y a aucun moyen de protéger les droits de l’homme pendant que l’IA analyse les messages des gens pour localiser les malfaiteurs. La vraie réponse nous regarde droit dans les yeux : les forces de l’ordre et les dirigeants élus, qui s’efforcent de coexister avec un cryptage fort et la confidentialité, et non de les décomposer.
Cet article a été publié en partenariat avec EFF
DE JOE MULLIN