C’est la parfaite illustration du cauchemar du XXIe siècle: un enfant qui regarde, ravi, son dessin animé préféré et qui tout à coup se met à hurler. Ses personnages familiers, qu’il aime depuis tout petit, sont en train de s’entretuer, de se suicider ou de se torturer les uns les autres de la plus curieuse manière qui soit.
C’est l’anecdote qui ouvre un article paru dans le New York Times début novembre au sujet de vidéos dérangeantes qui échappent à la vigilance du contrôle parental sur la chaîne YouTube Kids, une appli vidéo extrêmement populaire créée par YouTube et destinée aux très jeunes enfants. Et il ne s’agit pas d’un incident isolé. Comme l’établit un long post très creusé publié sur Medium par l’artiste et auteur James Bridle, la plateforme contient un nombre infini de vidéos qu’aucun parent ne voudrait que son enfant regarde, et qui vont de vaguement dérangeantes à absolument sordides.
«L’équipe de YouTube Kids est constituée de parents profondément préoccupés par ce problème, il est donc extrêmement important pour nous de le rectifier, et nous agissons très vite lorsque des vidéos sont portées à notre attention, a indiqué à Slate un porte-parole de la plateforme. Nous utilisons un mélange d’apprentissage automatique, d’algorithmes et de signalements de notre communauté pour déterminer les contenus de l’application et pour décider du type de contenu susceptible de diffuser des publicités. Nous sommes également d’avis que ce contenu est inacceptable et nous nous consacrons à améliorer l’application chaque jour.»
L’entreprise a également précisé que certains des exemples cités par Bridle dans l’article de Medium venaient de YouTube, pas de l’application YouTube Kids. Les exemples évoqués dans l’article du New York Times venaient tous de cette application.
Un défaut d'automatisation
Les auteurs de ces vidéos et leurs motivations ne sont pas très claires, mais il y a de bonnes chances pour qu’on en sache un peu plus à leur sujet dans les semaines qui viennent. Si certaines semblent fabriquées exprès pour infliger des traumatismes psychologiques, Bridle souligne que beaucoup d’autres sentent l’automatisation à plein nez et associent de façon absurde des mots-clés populaires et des personnages piratés déclinant d’infinies variations sur un même thème. Si le phénomène des vidéos d’horreur pour enfants est largement assez dérangeant en lui-même, Bridle aborde le problème plus général qu’il illustre. Voici ce qu’il en dit dans son post:
«Nous avons bâti un monde qui fonctionne à grande échelle, où le contrôle humain est tout simplement impossible, et où aucun genre de contrôle non-humain ne peut empêcher la plupart des exemples que je cite dans cet essai. Il suffirait de développer les apartés que j’ai laissés entre parenthèses dans tout le texte pour, avec un minimum d’efforts, les réutiliser et réécrire tout ce que j’ai dit afin que cela ne concerne plus les mauvais traitements infligés aux enfants mais le nationalisme blanc, les idéologies religieuses violentes, les fake news, le déni du réchauffement climatique, les théories du complot du 11-Septembre.»
En d’autres termes, le problème ne se cantonne pas à YouTube Kids. Le problème, c’est que nous avons tout confié à de grandes entreprises technologiques, de nos e-mails à nos réseaux sociaux en passant par les divertissements de nos enfants. Ces grandes sociétés technologiques, à leur tour, ont confié les classements, le filtrage, le contrôle et autres fonctions cruciales de prise de décision à des programmes logiciels basés sur un apprentissage automatique algorithmique. Et nous sommes en train de découvrir petit à petit que ces algorithmes ne sont pas toujours dignes de la confiance que nous plaçons en eux.
Déconvenues partout, humains plus nulle part
L’automatisation apporte de grands avantages en termes d’échelle, de vitesse et de coûts: nous disposons désormais de contenus et d’informations virtuellement infinies accessibles du bout des doigts, toutes organisées pour nous en fonction –de l’idée que se fait un quelconque programme informatique– de nos besoins, intérêts et goûts personnels. Google, Facebook, Spotify, Amazon, Netflix: tous se sont approprié les tâches autrefois réalisées par des humains (bibliothécaires, DJ, vendeurs et vendeuses, critiques –et, ne l’oublions pas, publicitaires) et ont trouvé des moyens de les réaliser automatiquement, instantanément, et avec des coûts marginaux frôlant le néant. Conséquence: ils sont en train de prendre les commandes du monde et d’engranger d’immenses profits au passage.
Nous savons que les algorithmes de ces sociétés ne sont pas parfaits. Mais elles ont toutes des ingénieurs talentueux qui travaillent constamment à améliorer les logiciels, et la plupart de ce qu’ils nous servent est assez bon pour que nous ayons envie de revenir, peut-être de manière plus compulsive que ce que nous aurions jamais cru possible.
Pourtant, il semble désormais que chaque semaine apporte son lot de nouvelles déconvenues suscitées par ces programmes, parfois banales, parfois dramatiques. Facebook s’est avéré un terreau fertile pour les fake news et a aidé la Russie à interférer avec les élections américaines en classant très haut les contenus politiques clivants dans les fils des utilisateurs. L’approche laxiste de Twitter face aux abus et au harcèlement a permis à des robots trompeurs de prospérer et de semer la zizanie. Même Spotify se fait manipuler par des opportunistes qui cherchent à duper les utilisateurs pour qu’ils écoutent des ersatz de chansons.
Une aiguille dans une botte de foin?
Ce qui est en train de se passer en ce moment sur YouTube Kids n’est qu’une version plus explicitement toxique de ce même problème. Partout où il y a un algorithme qui prend des décisions dont les enjeux sont importants et où la supervision humaine est minimale –c’est-à-dire des décisions qui déterminent quel contenu est largement regardé, et donc qui fait gagner de l’argent–, vous trouverez des entreprises artisanales qui échafauderont des moyens encore plus subtils de les manipuler.
Chaque fois qu’un exemple comme celui-ci est porté à l’attention générale, les entreprises se hâtent de souligner qu’ils sont relativement rares. Lors des auditions de début novembre au Congrès sur l'interférence russe et les réseaux sociaux, l’avocat de Facebook n’a cessé de revenir à l’argument selon lequel les posts politiques russes ne constituaient qu’une fraction infime de tous les billets de la plateforme. Et en réponse à l’article du New York Times sur YouTube Kids, le porte-parole de la société a qualifié les vidéos inappropriées de «l'aiguille extrême dans la botte de foin».
L’analogie de l’aiguille et de la botte de foin est à la fois trompeuse et curieusement adaptée. La partie trompeuse est la suivante: une aiguille dans une botte de foin, c’est quelque chose de presque impossible à trouver –et pourtant, le logiciel de YouTube a placé ce contenu sous les yeux d’enfants qui ne le cherchaient même pas. Ce qui est approprié dans cette analogie, c’est que ce n’est vraiment pas une bonne idée d’avoir une aiguille à l’intérieur d’une botte de foin. Donnez suffisamment de foin à suffisamment de vaches, et vous pouvez être sûr que certaines d’entre elles vont les manger, ces aiguilles, ce qui peut avoir des conséquences malheureuses. Si vous travaillez dans le secteur de la fourniture de foin, il vous incombe de vous assurer que vos bottes soient méticuleusement dépourvues de la moindre aiguille. C’est exactement ce que YouTube ne fait pas.
Une délégation problématique
Portons cette analogie un peu plus loin qu’elle n’a probablement jamais été destinée à aller: si vous étiez un éleveur et que votre fournisseur vous vendait un foin contenant des aiguilles, accepteriez-vous l’excuse que d’accord, il y en a, mais ce foin est au moins à 99% dépourvu d’aiguilles, ou même à 99,9%? Et si ce marchand de foin vous assurait que les aiguilles n’ont pas été placées là dans un but malveillant, mais qu’elles sont plutôt un effet secondaire malencontreux d’un processus de tri du foin mécanisé extrêmement efficace par ailleurs? Eh bien peut-être accepteriez-vous cet argument, si vous accordiez davantage de valeur à l’obtention d’un foin bon marché à grande échelle qu’au bien-être de vos vaches. En revanche vous protesteriez sans doute plus énergiquement si vous trouviez une aiguille dans les céréales de votre enfant.
Et c’est là que nous revenons à l’argument de Bridle. Les vidéos YouTube Kids illustrent l’occurrence où des gosses trouvent des aiguilles dans leurs céréales et évidemment, c’est un scandale. Mais ce qui est encore plus scandaleux, c’est que nous confions de plus en plus d’aspects de nos vies à des algorithmes du genre de ceux qui n’ont pas été capables de filtrer les aiguilles dans les cornflakes. Les entreprises technologiques veulent que nous traitions ces mésaventures comme des incidents rares et isolés, à diagnostiquer et à gérer au cas par cas. Elles vont engager 3.000 salariés mal payés pour surveiller les vidéos live afin d'éviter la diffusion de meurtres en ligne, ou 10.000 contractuels sous-payés pour vérifier que les publicités sont exemptes d'ingérence électorale étrangère —pendant que le reste des machines continuera à carburer à toute vapeur.
Doit mieux faire
Il y a un moment où il nous faut prendre du recul, considérer le système dans son ensemble et nous demander si nous sommes prêts à accepter ces avantages au prix de contrôles qualité bâclés. Parce qu’il apparaît de plus en plus évident que les systèmes à l’échelle de ceux que nos plus grandes entreprises technologiques ont créés sont, comme l’a récemment affirmé ma collègue April Glaser, trop vastes pour être contrôlés de manière efficace. Toutes leurs affaires sont bâties sur le postulat que les algorithmes sont capables de prendre des décisions à une échelle et à une vitesse que les humains ne pourront jamais égaler. Aujourd’hui elles s’engagent à régler les failles de ces algorithmes en plaçant quelques contractuels ici et là. Ça ne colle pas.
Google, Facebook et leurs concurrents ont construit des entreprises au succès phénoménal, en partie en gagnant notre confiance. Pas notre confiance absolue, peut-être, mais suffisamment pour que la grande majorité d’entre nous choisissions de laisser ces entreprises surveiller pratiquement chacun de nos faits et gestes en ligne et en garder des traces. Et à présent, elles courent le danger de perdre cette confiance. Certains signes montrent qu’elles commencent à reconnaître la gravité du problème. Mais pour l’instant, rien n’indique qu’il existe une solution.
