Égalités / Santé

L'algorithme raciste du système de santé américain

Temps de lecture : 2 min

C'est comme une file d'attente dans laquelle la population blanche aurait systématiquement la priorité.

Photo: Zach Vessels via Unsplash
Photo: Zach Vessels via Unsplash

Vu de l'extérieur, c'est peut-être difficile à concevoir, mais c'est pourtant un fait: nos systèmes de santé utilisent eux aussi des algorithmes. Aux États-Unis, entre 100 et 200 millions de dossiers seraient concernés, comme l'affirme Ziad Obermeyer, spécialiste en politique de santé à l'université de Berkeley. L'une des tâches exécutées par les algorithmes, explique NewScientist, consiste à éplucher les antécédents médicaux des patients et patientes afin de tenter de prédire leur futur état de santé, en leur attribuant un score lié à leur degré de risques.

Ce système est à la fois utilisé par les hôpitaux, les organismes de santé et les cabinets d'assurance: il leur permet d'identifier les personnes les plus susceptibles d'avoir besoin de soins dans les années à venir. Un système de soins préventifs permet alors de prendre tout particulièrement en charge les patients et les patientes dont les situations pourraient s'avérer les plus coûteuses en cas de nouvelle maladie ou de rechute.

Pour Ziad Obermeyer et ses collègues, quelque chose ne collait pas dans ce système: «Au fur et à mesure, nous avons constaté de véritables différences de score entre des personnes noires et des blanches présentant pourtant le même état de santé». Au cours de son investigation, l'équipe a réalisé que l'algorithme actuellement utilisé attribuait le même score à des personnes noires malades et à des personnes blanches à l'état de santé moins préoccupant. «C'est comme une file d'attente dans laquelle la population blanche et relativement bien portante se retrouverait devant une patientèle noire davantage touchée par la maladie», explique le spécialiste.

En travaillant à rééquilibrer l'algorithme de façon à ce que celui-ci ne réagisse plus de façon différente en fonction de la couleur de peau des patients et patientes, Obermeyer et son équipe ont obtenu des résultats hallucinants: le pourcentage de personnes noires parmi les bénéficiaires d'allocations de santé est alors passé de 17,7% à 46,5%. Hélas, comme il est impossible de connaître en détail la liste des organismes de santé qui ont recours à cet algorithme, il est extrêmement difficile de déterminer combien de personnes noires ont été flouées jusqu'ici.

Comment expliquer une telle différence de traitement entre population noire et population blanche, y compris par une intelligence artificielle? «Le traitement des données utilisés est le reflet de la société qui les produit», explique Ziad Obermeyer. «L'algorithme se base sur de nombreux facteurs socio-économiques liés à l'accès aux soins, comme les conséquences directes de la couleur de peau sur la relation entre corps médical et patientèle.»

Les ravages de l'indifférence

Pour Ruha Benjamin, qui enseigne sur des sujets liés aux personnes afro-américaines à l'université de Princeton, le problème vient de la conception même des différents systèmes: «Sur le plan légal comme en informatique, ces systèmes créent et renforcent la hiérarchie, précisément parce que les personnes qui les ont conçus ne réfléchissent pas à la façon dont les normes sociales et structurelles influencent leur travail». Ruha Benjamin conclut avec cette affirmation qui fait froid dans le dos: «L'indifférence aux réalités sociales est peut-être plus dangereuse que le sectarisme».

L'équipe de Ziad Obermeyer travaille actuellement dans le but d'améliorer l'algorithme et de le débarrasser de son racisme intégré. Il a été sciemment décidé de ne pas révéler le nom de l'entreprise derrière l'algorithme de santé pointé du doigt, afin de ne pas jeter l'opprobre sur cette société en particulier. De nombreuses firmes ont en effet développé des systèmes similaires, et il semblait injuste à Obermeyer et son groupe que l'une d'entre elles soit tenue pour seule responsable.

Dans le même temps, à Londres, l'Institut Alan Turing vient de mettre en place une charte permettant de cadrer la conception et la programmation des algorithmes de santé dans le but de mettre fin à ce genre de profonde injustice. Le texte a été officiellement adopté par le gouvernement en juin dernier. Si tout va bien, d'autres pays devraient suivre la marche.

Newsletters

Trois semaines de violences conjugales en France

Trois semaines de violences conjugales en France

Tous les jours, partout sur le territoire, des femmes sont menacées, battues et tuées. C'est pour elles que nous marcherons demain samedi 23 novembre contre les violences sexistes et sexuelles.

Le monde n'est pas habitué aux voyageuses noires

Le monde n'est pas habitué aux voyageuses noires

Cette dernière décennie a démocratisé la manière de voyager, notamment pour les femmes. Pourtant, les Noires sont encore sur le carreau, malgré une meilleure représentation.

Enceinte et malade, j'ai été traitée comme une hystérique

Enceinte et malade, j'ai été traitée comme une hystérique

L'hyperémèse gravidique, cette maladie qui provoque des vomissements incoercibles pendant la grossesse, peut se soigner. Mais pour ça, il faudrait écouter les femmes qui en souffrent.

Newsletters