En 2016, Apple a refusé de créer un logiciel backdoor pour permettre au FBI d'accéder à l'iPhone de l'auteur d'une tuerie de masse à San Bernardino, en Californie. L'entreprise avait déclaré que cela porterait atteinte à son engagement à protéger les appareils des utilisateurs contre les forces de l'ordre. Cinq ans plus tard, il semblerait que l'attachement d'Apple à la protection de la vie privée puisse s'affaiblir.
Le 5 août, Apple a annoncé de nouvelles mesures pour empêcher les mineurs de voir des contenus sexuellement explicites sur iMessage. La société a également commencé à analyser les images téléchargées sur les comptes iCloud des utilisateurs afin de détecter les contenus pédopornographiques. Éradiquer la pédopornographie est un objectif noble, mais de nombreux experts en technologie craignent qu'Apple ne soit sur le point de saper définitivement la confidentialité de ses téléphones.
Bruce Schneier, membre de la Kennedy School de Harvard et du conseil d'administration de l'Electronic Frontier Foundation [un groupe de défense des droits numériques, ndlr], trouve ce choix «assez choquant de la part d'Apple, qui en général respecte énormément la vie privée. Cela ouvre la porte à toutes sortes d'autres formes de surveillance, puisque maintenant que le système est créé, il peut être utilisé pour toutes sortes d'autres messages.»
Pour comprendre le pourquoi du comment, il faut d'abord avoir une idée claire de ce qu'Apple entreprend. Il y a trois fonctionnalités dans ce système:
- l'analyse des iMessages à la recherche de contenus sexuels envoyés à des enfants ou par des enfants;
- la recherche de nouvelles images iCloud comportant du matériel pédopornographique;
- la mise à jour de Siri et des informations de recherche permettant aux utilisateurs de demander de l'aide ou de signaler des abus.
Ces nouvelles fonctionnalités seront toutes déployées avec la sortie d'iOS 15 pour l'iPhone et de macOS Monterey pour les ordinateurs. Ce sont les deux premières qui font vraiment sourciller.
Vers la détection d'autres types de contenus sensibles
Selon les informations techniques publiées par Apple, l'analyse d'iMessage ne fonctionne que sur les comptes enfants (ceux des utilisateurs de 12 ans et moins) configurés dans le cadre du partage familial. Le système utilise l'apprentissage automatique de l'appareil pour évaluer les pièces jointes d'iMessage à la recherche de contenu photographique sexuellement explicite; s'il est détecté, la photo est floutée et l'utilisateur reçoit un avertissement sur le contenu. Si l'enfant appuie sur le bouton et visionne quand même la photo (désormais non floutée), les parents du compte de partage familial seront alors avertis.
Le système fonctionne de la même manière pour les utilisateurs de moins de 12 ans qui tentent d'envoyer des photos sexuellement explicites. Deirdre Mulligan, professeure à l'école d'information de l'université de Californie-Berkeley et directrice du Center for Law & Technology, précise que ce système iMessage n'est pas un outil de signalement ou de blocage –ça reste «en famille».
Après la première annonce de ce nouveau système, certains ont pensé qu'il s'appliquerait également aux jeunes de 13 à 17 ans, mais Apple s'est empressée de préciser que ce n'était pas le cas.
Cela dit, une autre crainte demeure: que ce système de surveillance d'iMessage puisse s'étendre à l'analyse des messages pour détecter d'autres types de contenus sensibles pour les utilisateurs de tous âges.
Par exemple, que des dirigeants autoritaires utilisent la technologie pour renforcer les politiques anti-LGBT+ ou, comme le craint Ross Anderson, professeur d'ingénierie de sécurité à l'Université de Cambridge, que le système serve à piéger les dissidents qui critiquent un régime ou partagent des mèmes anti-gouvernement par SMS.
D'autres, comme l'avocate spécialisée dans les technologies Kendra Albert, craignent que ce partage «en famille» ne soit préjudiciable, voire dangereux, pour les enfants homosexuels qui pourraient être contraints de parler de sexe avec des parents qui ne les acceptent pas ou qui les maltraitent –particulièrement problématique si les parents pouvaient par la suite choisir d'appliquer cette technologie aux comptes de leurs enfants plus âgés.
Du simple signalement à la recherche active
Cela nous amène à la deuxième partie de la décision d'Apple. La détection de matériel pédopornographique se fera via les photos téléchargées sur iCloud et celles se trouvant dans la bibliothèque, du moins pour l'instant. Mais le balayage aura lieu sur l'appareil lui-même, et c'est notamment ce qui préoccupe les experts en sécurité.
Apple utilisera un outil appelé NeuralHash qui crée un code numérique unique pour représenter les images; ce code numérique ou «hachage» sera ensuite comparé aux hachages d'images contenus dans une base de données fournie par le National Center for Missing and Exploited Children [NCMEC, centre national pour les enfants disparus et exploités, ndlr]. Si une image comporte des similarités avec les hachages de pédopornographie, les empreintes de l'image et ses dérivés (essentiellement des versions à très basse résolution de l'image) seront examinés par l'équipe d'Apple pour confirmer le caractère pédopornographique. L'entreprise affirme que les seuils de sécurité sont suffisamment élevés pour que seul un compte sur mille milliards soit signalé à tort. Si une violation est confirmée, Apple suspendra le compte iCloud, et des notifications seront envoyées au NCMEC et aux organismes d'application de la loi.
Il s'agit d'un changement important pour Apple, qui n'est légalement pas tenue de rechercher et de surveiller les appareils des utilisateurs à la recherche de pédopornographie ou de toute autre activité criminelle: elle doit seulement signaler ce contenu lorsqu'elle le détecte.
«Faire passer la détection du Cloud à l'appareil... C'est un énorme changement de paradigme.»
Ces dernières années, Apple a signalé très peu de contenus pédopornographiques. Elle a donc subi des pressions de la part des responsables politiques (comme le dit Riana Pfefferkorn, chercheuse au Stanford Internet Observatory, «les Five Eyes [les États-Unis, le Royaume-Uni, le Canada, l'Australie et la Nouvelle-Zélande, ndlr] ont publié des déclarations publiques à la chaîne pour les fustiger») et de la société civile pour son manque de surveillance proactive. Une analyse effectuée par le New York Times en 2020 a révélé qu'Apple a signalé beaucoup moins d'images que les autres grandes entreprises technologiques. Mais même les entreprises qui ont signalé plus qu'Apple par le passé ne sont pas allées jusqu'à intégrer le système d'analyse directement dans les systèmes d'exploitation des appareils.
À première vue, l'analyse de hachage semble être un outil précieux pour localiser la pédopornographie et la réprimer, d'autant plus qu'elle se limite à cette catégorie spécifique de contenu définie par les experts. Mulligan précise qu'Apple ne définit ni n'identifie ce type de contenus elle-même –cette tâche est entièrement prise en charge par le NCMEC. Tout ce qu'Apple fait, c'est localiser le contenu qui a déjà été défini et identifié comme étant pédopornographique dans le passé. L'un des avantages de cette mesure est que, si les spécialistes du NCMEC mettent en place la classification initiale, personne ne devra identifier directement les images pédopornographiques, «ce qui constituerait une violation de l'intimité de l'enfant visé... et de la personne qui fait ce travail», a déclaré Mulligan.
Terrain glissant
Les mesures présentées ne font toutefois pas l'unanimité. Pfefferkorn souligne que «ça se passe au niveau du système d'exploitation sur iOS, sur iPad OS, et c'est différent. Faire passer la détection du Cloud à l'appareil... C'est un énorme changement de paradigme.» Pfefferkorn craint qu'il ne s'agisse que d'un test pour Apple. La répression de la pédopornographie est une bonne occasion d'intégrer ces nouvelles fonctionnalités parce qu'il est «politiquement correct d'œuvrer contre les violences faites aux enfants, au détriment d'une meilleure protection de la vie privée». Bien que l'entreprise ait déclaré qu'elle ne répondrait pas par l'affirmative si on lui demandait d'utiliser sa technologie pour un dissident politique, «cela ne me rassure pas», confie Pfefferkorn. Selon elle, il y aura immédiatement des pressions sur Apple pour qu'elle utilise cette même approche avec des bases de données de partage de hash comme GIFCT, qui est destinée à lutter contre la diffusion de matériel terroriste.
Mulligan est du même avis: cela pourrait constituer un dangereux précédent si le système s'appliquait à d'autres types de contenus. Que se passera-t-il si Apple élargit son champ d'action pour commencer à scanner les appareils à la recherche de matériel extrémiste? Que se passera-t-il si un journaliste ou un défenseur des droits humains enquête sur des violences (comme dans les vidéos de décapitation qui, sans contexte, peuvent être considérées comme choquantes) et conserve dans son appareil des enregistrements de contenus terroristes?
«C'est un système entièrement construit et sur lequel une simple pression extérieure peut entraîner un changement.»
Cependant, Mulligan ne pense pas que l'inquiétude autour des potentielles futures applications d'un tel outil suffise à y renoncer. Elle reconnaît la pertinence de l'argument du terrain glissant et admet qu'il est essentiel de disposer d'un cadre de modération du contenu étroitement ciblé et reproductible pour empêcher ces préjudices d'advenir. Mais elle fait confiance aux acteurs qu'Apple a impliqués, en particulier à l'expertise et aux normes du NCMEC: «Il s'agit du NCMEC. Ce n'est pas une base de données de hachage à l'échelle de l'industrie dont seule l'industrie sait ce qu'elle contient.»
L'Electronic Frontier Foundation n'est pas d'accord, affirmant dans une déclaration que le plan d'Apple n'est pas un «terrain glissant; c'est un système entièrement construit et sur lequel une simple pression extérieure peut entraîner un changement». Elle note également qu'«il est impossible de construire un système de balayage qui ne puisse être utilisé que pour des images sexuellement explicites».
On ne sait pas non plus très bien quels sont les plans d'Apple pour éviter les faux positifs pour les contenus pédopornographiques. Alors que la base de données NCMEC a été élaborée par des spécialistes, le système d'analyse de hachage d'Apple pourrait présenter des défauts imprévus. La société a beau se targuer d'un taux de réussite impressionnant dans son analyse de hachage, certains experts en technologie rétorquent que ce sont des foutaises.
Jonathan Mayer, professeur adjoint au département d'informatique de l'Université de Princeton, n'a pas mâché ses mots pour dénoncer les informations laconiques publiées par Apple sur son nouveau plan de modération du contenu. Mayer a déclaré sur Twitter que la documentation d'Apple sur le sujet «utilise une formulation trompeuse pour éviter d'expliquer les faux positifs» et omet de dire comment elle compte s'assurer que les analyses ne portent que sur la pédopornographie et soient les mêmes pour tous les utilisateurs.
Ce qui est sûr, c'est que les nouvelles mesures d'Apple représentent un changement significatif. Glissera-t-on sur le terrain de la surveillance rapprochée? La suite des événements dépend (hélas) des entreprises technologiques et de la pression publique.
