En 2006, une étude du chercheur Canadien Anthony F. Bogaert fit grand bruit. Elle établissait, chiffre à l’appui, que les gens avec plusieurs grands frères avaient plus tendance, toute chose égale par ailleurs, à être homosexuel.
Le psychologue de l’Université de Brock avait regroupé différents facteurs sociaux, comme le nombre de sœurs, de frères, de demi-frères ou de demi-sœurs par alliance, et les avait étudiés avec deux groupes différents, l’un constitué d’individus homosexuels et l’autre d’hétérosexuels. Aucun ne semblait avoir une quelconque influence.
Aucun sauf un: le nombre de grands frères. Plus un individu avait de grands frères, plus il présentait une tendance à être homosexuel. Et cette variable apparaissait comme significative. Fallait-il donc conclure à l’existence d’un «effet vieux frère», comme l’ont indiqué différents médias anglo-saxons?
Absolument pas. Ce n’est pas parce qu’un individu a des grands frères que la probabilité qu’il devienne gay augmente. C’est en tout cas ce que démontre le statisticien Américain Alex Reinhart, de la Carnegie Mellon University. Dans son livre, Statistics Done Wrong, il met en avant le nombre très important d’erreurs mathématiques et méthodologiques dans les publications universitaires.
Effet vieux frère
Dans le cas de l’étude de Bogaert, Reinhart explique que le psychologue canadien a utilisé une base de données bien trop faible (seulement 944 personnes) pour conclure à un résultat significatif et qu’aucune comparaison n’a été faite entre les deux groupes (homosexuel et hétérosexuel).
Bogaert a effectivement trouvé une variable significative dans l’orientation sexuelle des individus –le nombre de grands frères– mais ne l’a pas comparée avec le groupe des hétérosexuels. Il a simplement observé que les gays avaient plus de grands frères que les hétéros. Or, c’est statistiquement faux et peu rigoureux dans la démonstration.
Il peut y avoir des éléments exogènes, comme la chance, la coïncidence ou les «points aberrants». Imaginez que nous testions deux médicaments contre le rhume. Si, en prescrivant les deux solutions à deux groupes différents, l’un guérit plus vite l’autre, devons-nous conclure à sa meilleure efficacité?
Bien sûr que non. Il faut d’abord vérifier la différence entre les deux groupes, étudier si la chance ou le hasard n’y est pas pour quelque chose. On peut très bien être tombé sur un groupe avec des personnes touchées par un rhume sévère et l’autre avec des petits rhumes, qui disparaissent en moins de quarante-huit heures.
Dans le cas de «l’effet vieux frère», c’est pareil. Bogaert n’a pas comparé les deux groupes pour vérifier si un facteur n’était pas plus présent accidentellement, si, par hasard, les gays de son échantillon avaient plus de grands frères que la normale. Un outil statistique permet de le faire, la p-value. Or, elle est de moins en moins utilisée dans la recherche statistique.
Hasard
Toujours dans son livre, Alex Reinhart explique que cette donnée, qui permet de déterminer la part de chance dans une expérience, n’est pas connue par la plupart des scientifiques. Un sondage de Steven Goodman, de Stanford, montre que 75% des étudiants américains en dernière année de médecine, ceux qui seront amenés à rédiger des ordonnances dans le futur, sont incapables de définir précisément la p-value. Pour la plupart, ils ne savent tout simplement pas ce que c’est.
Est-ce que la guérison d’un patient est due au hasard ou à un réel impact du médicament? Trois futurs médecins sur quatre seront incapables de voir la différence à la lecture d’un rapport universitaire.
En 2007, le British Journal of Dermatology publia une étude prouvant l’efficacité d’un sérum dans la lutte contre le vieillissement cutané. En effet, le «Protect & Perfect Beauty Serum» avait permis de réduire de 43% les rides sur la peau, contre 22% en moyenne pour les autres produits sur le marché. Les dermatologues ont alors rapidement prescrit cet élixir à leurs patients et le produit est devenu numéro 1 des ventes.
Lorsqu’une étude affirme avoir trouvé un phénomène extraordinaire, la première réaction devrait être: «Ouah, cette étude est sous-évaluée!»
Seulement, en parcourant l’article, on se rend compte que la conclusion admet une absence de différence significative entre les traitements. La p-value est trop forte. L’écart est surtout dû au hasard, comme les facteurs environnementaux ou génétiques des cobayes, ou à la chance.
Pourtant, en 2007, personne ne l’avait vu. Ou n’avait pas voulu le voir.
Malédiction du gagnant
Reinhart explique que ces erreurs d’interprétation, avoir des grands frères fait de vous un homosexuel ou tel sérum est plus efficace qu’un autre, sont en parties dues à un biais social: «la malédiction du gagnant».
Ce phénomène est apparu dans les années 1990, au moment d’une démocratisation de la culture scientifique et de l’apparition de nouvelles revues universitaires. Celles-ci, se faisant concurrence sur un même marché, vont pousser à la publication rapide d’articles, tous les plus fous et amusants que les autres, et sans aucune vérification poussée. Il faut faire parler et être médiatisé.
Pour Reinhart, «il y a une corrélation entre la réputation d’un journal et le nombre de biais dans les articles. Ceux qui décrivent des résultats statistiquement rigoureux et produisant des conclusions peu séduisantes ne sont pas validés par les revues».
Lorsqu’une étude affirme avoir trouvé un phénomène extraordinaire, la première réaction est de dire «ouah, ils ont trouvé quelque chose d’énorme» alors qu’il faudrait penser: «Ouah, cette étude est sous-évaluée!»
Donc même si un scientifique mène une analyse statistiquement rigoureuse, il peut se laisser tromper par les effets du bruit, du hasard, des coïncidences et peut se faire surprendre par la faiblesse de sa base de données.
Faites bien bien attention la prochaine fois que vous lirez un article universitaire ou une vulgarisation journalistique: toutes les conclusions ne sont pas totalement fiables et peuvent présenter un certain nombre d’erreurs.
