Parents & enfants / Sciences

Requiem pour les «études à la con»?

Temps de lecture : 12 min

L'affaire Nicolas Guéguen, suspecté par deux chercheurs d'avoir publié au moins une dizaine d'études faiblardes voire bidonnées, soulève nombre de questions sur la vérification scientifique à l'ère des réseaux sociaux.

Étude psychologique | Evondue via Pixabay CC0 License by
Étude psychologique | Evondue via Pixabay CC0 License by

Les femmes à gros seins sont davantage sollicitées en boîte de nuit. Les femmes donnent plus volontiers leur numéro de téléphone près d'un marchand de fleurs et elles sont jugées plus attirantes si elles portent des talons hauts. Elle se font plus souvent prendre en stop si elles sont blondes et/ou vêtues de rouge; les conducteurs de bus leur offrent la course plus fréquemment qu'à leurs congénères masculins si elles les ont gratifiés d'un contact physique –même fugace.

Depuis plusieurs mois, Nicolas Guéguen, le scientifique à avoir mis au jour ces phénomènes, est sur la sellette. Les méthodes de cet enseignant-chercheur en psychologie sociale et en sciences cognitives à l'université de Bretagne-Sud seraient plus que fragiles. Et certains de ses articles, dont ceux cités plus haut, pourraient même avoir été purement et simplement bidonnés.

Un docteur étrangement prolixe

C'est du moins la conviction de Nick Brown, un informaticien reconverti dans la psychologie positive appliquée œuvrant à l'université de Groningue (Pays-Bas) et de son collègue James Heathers, post-doctorant à la Northeastern University de Boston, spécialiste pour sa part des données statistiques en sciences biologiques et sociales. Un nouvel épisode –voire un spin-off– de la «crise de la reproductibilité», qui ébranle depuis maintenant plusieurs années la psychologie.

L'histoire démarre il y a un peu plus de deux ans, lorsque Brown croise sur Twitter une des publications de Guéguen –montrant que les hommes aident davantage les femmes en queue de cheval que celles en chignon. Le soir même, dans le cadre d'une conversation Skype portant sur un tout autre sujet, Brown mentionne la chose à Heathers, au départ simplement pour rigoler d'une énième «étude à la con» qui les atterre. Sauf que la puce saute promptement à leurs oreilles et les deux compères décident de mettre leur nez dans les travaux de «l'éthologue de la rue». Ce qu'ils y dénicheront ne fleure pas très bon.

À l'époque, Brown et Heathers ne connaissent le professeur breton ni d'Eve ni d'Adam, mais ils vont vite se rendre compte qu'ils ont ferré un gros poisson. De fait, avec 10 à 20 articles publiés par an, Guéguen est non seulement très prolixe –surtout pour un chercheur français, et d'autant plus plus pour un auteur qui est souvent le seul à signer ses travaux–, mais aussi très apprécié des médias. Et pour cause: à elles toutes seules, ses études sont des appeaux à clics et à partages sur les réseaux sociaux –la preuve la plus flagrante n'est-elle pas que Brown en a eu vent?

«Nous sommes tombés sur les études du Dr Guéguen complètement par hasard», me confirme Nick Brown par mail. «Quelqu'un a mentionné sur Twitter (de façon assez sceptique) l'étude sur la longueur des cheveux des femmes. […] Nous l'avons examinée et très vite trouvé plusieurs problèmes. Nous avons ensuite décidé de regarder quelles autres expériences le même auteur avait réalisées.»

Incohérences méthodologiques et statistiques

Assurément, Guéguen semble un candidat parfait pour les outils que les deux chercheurs ont mis au point, les tests GRIM et SPRITE, qui promettent de détecter les bévues statistiques, volontaires ou non, dans les études scientifiques en général et de psychologie en particulier.

La discipline est en proie à une crise qui n'a toujours pas fini de la secouer, et dans laquelle Brown n'est pas un perdreau de l'année. C'est notamment à lui que l'on doit, en 2014, le déboulonnage de deux figures de la psychologie positive, Barbara Fredrickson et Marcial Losada. En 2017, il aura également contribué à la rétractation de plusieurs articles de Brian Wansink. Le psychologue spécialisé dans les comportements alimentaires, jadis très réputé, est aujourd'hui suspecté de fraude par l'université Cornell.

«Une tendance extraordinaire à trouver des assistants de recherche pour mener des expériences très longues et complexes sans aucune rémunération»

Nick Brown

Chez Guéguen, les problèmes détectés sont de trois ordres: méthodologique, mathématique et éthique. Les chercheurs découvrent ainsi des «tailles d'effet extrêmement larges», précise Heathers. Tellement «énormes», ajoute Brown, que cela correspond tout simplement à du «jamais vu en psychologie sociale». Et il y a aussi, explique Heathers, des «incohérences méthodologiques et statistiques, ainsi qu'une tendance extraordinaire à trouver des assistants de recherche pour mener des expériences très longues et complexes sans aucune rémunération, et pour lesquelles ils ne sont jamais crédités».

Les soupçons sont lourds, il faut que cela se sache. «J'ai demandé à une collègue psychologue française ce qu'elle me conseillait de faire (par exemple, si je devrait écrire aux journaux scientifiques, contacter l'université, etc.), détaille Brown. Elle m'a suggéré de voir si la Société Française de Psychologie pouvait nous aider.»

Heathers et Brown envoient donc leurs récriminations, portant sur dix études de Guéguen, à la SFP. Mais si la société savante promeut la psychologie scientifique et ses bonnes pratiques, elle n'est pas un comité d'éthique en bonne et due forme. Ses représentants leur conseillent donc de s'adresser directement à Guéguen, tout en lui transmettant le dossier à charge. «Ensuite, pendant 18 mois, les dirigeants de la SFP ont essayé de faire en sorte que le Dr Guéguen réponde à nos nombreuses questions (qui se trouvent dans un document en anglais d'environ 45-50 pages).»

Des réponses jugées insuffisantes

Sauf que cette «procédure» n'aurait pas pu plus mal tomber pour Guéguen.

«La SFP a été compréhensive et patiente car à l'époque, je m'occupais pleinement de mon papa, atteint d'une grave maladie et qui devenait dépendant (j'avais perdu ma maman peu de temps auparavant)», m'écrit l'enseignant-chercheur. «Puis, mon papa est décédé et j'ai eu d'autres événements assez douloureux (le suicide de mon chef d'équipe chez les pompiers de Vannes). Lorsque j'ai lu leur document, j'ai été abasourdi, mais j'ai voulu me donner le temps pour répondre et pour essayer de refaire certaines expériences, car on me demandait des informations sur des études dont certaines avaient plus de dix ans. Un collègue d'une autre université m'a bien appuyé et aidé. J'ai transmis à la SFP, par deux fois, des réponses détaillées (plus de 30 pages en tout) sur le plan méthodologique et décrivant précisément comment je travaillais pour faire mes recherches, avec des dossiers et des documents de travail joints.»

Ces réponses, Heathers et Brown ne les jugent pas suffisantes. Elles étaient «très vagues [et] ne nous aidaient pas du tout», commente Brown, raison pour laquelle le duo passera à la vitesse supérieure: écrire des billets de blog et alerter la presse.

«La prochaine étape formelle aurait été de passer via l'université ou même le Conseil national des Universités, mais cela ne nous intéresse pas car il en va, pour nous, de questions scientifiques, pas des éventuelles conséquences pour les carrières des personnes. Vu l'effet que nous (avec d'autres collègues) avons obtenu dans l'affaire du professeur américain Brian Wansink, où nous avons travaillé principalement via les blogs et les médias sociaux, nous avons décidé de passer dans le domaine public [...] pour cette affaire aussi.»

«Je n'y crois pas une seconde: ce n'est tout simplement pas possible d'obtenir, par an, autant d'effets significatifs d'une telle ampleur.»

Nicolas Gauvrit

Un avis que partage Nicolas Gauvrit, chercheur en psychologie et en mathématiques, qui se dit «tout à fait convaincu» par l'enquête de ses collègues. À leur place, il aurait fait la même chose –ce qu'il a d'ailleurs fait lors de l'affaire Daryl Bem, ce chercheur émérite en psychologie à l'université de Cornell persuadé d'avoir découvert l'existence de perceptions extrasensorielles, qui s'était en réalité empêtré dans du HARKing, soit la manipulation de données confondant hypothèses a posteriori et a priori.

Selon Gauvrit, les explications données par Guéguen –que Heathers et Brown ont rendues publiques– ne sont effectivement «pas bonnes» et le fait que le scientifique ne veuille pas communiquer les données brutes de ses expériences est même particulièrement inquiétant.

«Je reçois des alertes sur Guéguen depuis à peu près un an et demi, et pas seulement de la part d'Heathers et Brown», précise Gauvrit. «Ses tailles d'effet ne sont absolument pas réalistes. Je n'y crois pas une seconde: ce n'est tout simplement pas possible d'obtenir, par an, autant d'effets significatifs d'une telle ampleur. De plus, même s'il refuse d'envoyer ses données brutes, lorsqu'on a la moyenne, l'écart-type et le nombre de participants, il y a des méthodes et des outils qui permettent de savoir quelles sont les valeurs possibles et les chiffres que l'on retrouve de cette façon ne sont pas cohérents avec ceux de Guéguen.»

Pour Gauvrit, il est donc plus que probable que Guéguen ait «inventé ses données».

Impossibilité de tout contrôler sur le terrain

Que répond l'accusé?

«La méthode est violente, je ne peux le contester si je considère l'impact que cela a eu et a sur ma santé aujourd'hui, regrette Guéguen. Ce qui est le plus effroyable, c'est que je pense que tout vient de l'incompréhension à imaginer que des études de terrain ou portant sur de la mesure comportementale ne peuvent pas permettre de tout contrôler.

Par exemple, quand je demande aux étudiants de tester une condition expérimentale sur dix personnes puis d'alterner et que, au final, il y a 75 personnes testées par groupe, c'est vrai que ça ne colle pas, mais c'est aussi parce que je dis aux étudiants d'arrêter avant dix pour la dernière séquence si l'on ne peut pas atteindre 80 personnes (si c'était le nombre de personnes par condition prévu au départ).

Sur le terrain, il y a des imprévus, des baisses de flux de passants, les choses vont parfois plus vite ou moins vite, il faut changer d'endroit, on perd du temps... et il faut bien s'adapter au contexte. Par ailleurs, on me dit que c'est étrange de trouver des différences comme celles présentées dans mes papiers. Il faut savoir que je fais faire beaucoup d'expérimentations chaque année, dans la rue, des bus, des trains, sur les bords de routes, dans des magasins, des galeries marchandes... et il est évident que je vais prendre celles qui offrent des résultats les plus singuliers.»

«Lorsque l'on réalise des mesures via l'observation expérimentale sur le terrain, on ne contrôle peut-être pas tous les paramètres, mais on obtient des résultats comportementaux réels.»

Nicolas Guéguen

Sur ce genre de «biais de publication», Nicolas Gauvrit plaide coupable. «C'est un des problèmes les moins graves, mais c'est déjà un problème en soi et malheureusement, tous les chercheurs le font, y compris moi: lorsqu'on ne trouve pas de résultat sympa, on renonce à écrire un article, car on sait que cela va être très compliqué à justifier et que cela ne passera pas dans une bonne revue. On ne va pas se fatiguer pour faire baisser notre CV académique.»

Reste qu'il y aurait aussi, selon Guéguen, un souci proprement épistémologique qui rendrait plus ou moins caduques les critiques de Heathers et Brown:

«Ce ne sont pas des chercheurs travaillant sur l'influence sociale, souligne-t-il. Ils ont plutôt une approche méthodologique utilisant essentiellement des questionnaires ou des réponses physiologiques, c'est-à-dire du pur laboratoire, avec des étudiants qui sont les sujets des expérimentations.

De nombreuses études ont montré que les réponses testimoniales pouvaient être biaisées (auto-valorisation, politiquement correct, influence inconsciente...). Lorsque l'on réalise des mesures via l'observation expérimentale sur le terrain, on ne contrôle peut-être pas tous les paramètres, mais on obtient des résultats comportementaux réels.

Ils ont en outre mis en doute ma productivité, affirmé qu'il était impossible de faire et de publier dix études sur une année avec mes responsabilités, mes charges de cours, les étudiants en thèse à encadrer... Or, comme je l'ai dit, je fais en réalité autour d'une centaine d'expériences par an, davantage certaines années. De plus, pour les convaincre, j'ai même cherché des collègues de ma discipline qui publiaient bien plus que moi chaque année.»

Procès en sexisme

C'est un des problèmes que soulevait Daniel Engber sur FiveThirtyEight, en avril 2016: qui contrôle les contrôleurs de travaux scientifiques? Si les accusations portées contre Guéguen sont aussi graves qu'elles en ont l'air, pourquoi Heathers et Brown ne veulent-ils pas les mener auprès d'instances et selon des procédures officielles? Pourquoi se contenter d'un lancement d'alerte médiatique, avec tous les biais émotionnels qu'on lui connaît, surtout lorsqu'on a affaire à des recherches qualifiées si facilement de «sexistes», qu'importe que le qualificatif soit impropre d'un point de vue scientifique?

«Les recherches sexistes n'existent pas», déclare Gauvrit. Et «prétendre que les recherches de Guéguen le sont est ridicule –il n'est pas sexiste de se demander si des idées répandues sont vraies ou pas».

«C'est dur, car ce n'est pas une position sexiste de ma part qui me conduit à étudier ces facteurs, mais seulement la volonté de voir si ces éléments différenciant de l'apparence selon le genre ont réellement un impact et ce qu'ils révèlent.»

Nicolas Guéguen

Mais on sait combien ce genre de procès d'intention peut être bien plus «efficace» qu'un examen rébarbatif des données et des méthodes. Brown et Heathers ne font d'ailleurs pas l'économie de tels sous-entendus dans un de leurs derniers articles, alors que «dans notre dossier formel», précise Brown, «nous mentionnons explicitement que nous voulons éviter, dans la mesure du possible, d'entrer dans les questions autour du sexisme qui pourrait être soulevées par un certain nombre des études que nous avons examinées. Il faut parfois que la science touche à certains domaines de la vie humaine qui ont une forte dimension politique et de façon générale, je pense que c'est bien que les scientifiques s'y aventurent, s'ils le font avec un vrai esprit de chercheur». Tout le monde n'a visiblement pas reçu le mémo.

«Là aussi, cela me fait mal, confesse Guéguen, car, parce que j'ai travaillé sur l'impact des talons, du maquillage, de la coiffure.... des femmes, on me reproche d'instrumentaliser le corps féminin.

D'une part, je le fais parce que je m'inspire de ce que je vois dans la vie courante pour étudier si cela a un impact. L'idée des talons m'est venue en observant 5/6 étudiants garçons qui discutaient en fumant et qui ont vu passer à quelques mètres une jeune femme en talons. Dès qu'elle a dépassé le groupe, ils se sont tous tus et ont regardé longuement la jeune femme sans rien dire. C'est cela qui m'a donné l'idée de tester les talons, et nous avons ensuite fait plus de vingt expériences sur ce thème [...].

D'autre part, je fais aussi des expérimentations liées aux effets de l'apparence de l'homme. Par exemple, j'ai fait plus d'une vingtaine d'études sur la barbe ces dernières années, puisque cela est à la mode [...].

C'est dur, car ce n'est pas une position sexiste de ma part qui me conduit à étudier ces facteurs, mais seulement la volonté de voir si ces éléments différenciant de l'apparence selon le genre ont réellement un impact et ce qu'ils révèlent [...].»

Comme on pouvait s'y attendre, l'investigation –encore informelle– dont est l'objet Nicolas Guéguen s'est muée en enquête de moralité:

«Ce qui m'a également fait mal, ajoute Guéguen, c'est que l'on a contacté mes collègues femmes à l'université, pour savoir comment je me comportais avec elles et avec les étudiantes, s'il n'y avait pas d’ambiguïtés dans mes comportements... Tout cela avec l'assurance que leur nom ne serait pas donné. J'ai été très ému par la réponse qu'elles ont faite de manière collégiale, en signifiant que j'étais loin du portrait du harceleur et du macho que l'on voulait faire de moi. Beaucoup de collègues femmes m'ont apporté leur soutien dans cette épreuve».

Une nécessaire dénonciation des mensonges scientifiques

Un détail qu'omettent de stipuler Heathers et Brown sur leurs blogs. Mais en ont-ils seulement connaissance?

«Jusqu'ici, affirme Brown, les réactions de la communauté scientifique ont été largement positives, mais je trouve qu'il y a aussi un certain sens de “merde, nous n'avions vraiment pas besoin d'encore une histoire de ce type”. La psychologie sociale est en pleine “crise de reproductibilité”, dont la plupart des gens qui travaillent sur la question diraient probablement que la cause principale est un excès de zèle chez certains chercheurs, pour trouver des résultats statistiques intéressants. Pour l'instant, je pense, on n'a pas suffisamment regardé si une partie du problème pouvait venir du fait qu'un certain nombre d'études sont juste très mal conçues ou exécutées.»

«Il faut créer [un] climat qui favorise l'action, préconise Brown, ce qui nécessite parfois de passer outre le système formel –sans pour autant devenir des “terroristes méthodologiques”, accusation un peu hyperbolique qui a été formulée il y a quelques mois envers ceux qui osent passer outre les journaux scientifiques pour communiquer leurs soucis. Près de 5.000 personnes ont déjà lu mon premier blog sur le sujet des études du Dr Guéguen; un article scientifique lambda ne sera probablement lu que par dix à vingt personnes».

Dans tous les cas et des deux côtés, avertit Gauvrit, il faut se garder «des arguments détournant le débat et visant à ne pas répondre sur le fond». Le but n'est pas de savoir si Guéguen est «un gros lourd» ou si «Heathers et Brown sont sympathiques ou pas», mais simplement de déterminer si «Guéguen a menti». Et si «c'est le cas, si Guéguen a triché, alors c'est très bien que des gens le dénoncent».

Peggy Sastre Auteur et traductrice

Newsletters

J’ai mis du temps à comprendre que le lait de la bouteille venait d’un animal

J’ai mis du temps à comprendre que le lait de la bouteille venait d’un animal

Tombait toujours la même recommandation, le truc qu'on nous vendait comme l’acte écologique le plus radical: ne pas laisser l’eau du robinet couler pendant qu’on se brossait les dents.

Une simple prise de sang pour prévenir la mortinatalité?

Une simple prise de sang pour prévenir la mortinatalité?

Les femmes à risque d'enfants morts-nés semblent présenter au moins cinq marqueurs spécifiques.

Avoir des enfants ferait vieillir plus vite

Avoir des enfants ferait vieillir plus vite

Une étude met au jour une relation cumulative entre le nombre de grossesses et une accélération du vieillissement cellulaire.

Newsletters