France

Primaire PS, primaire UMP: les sondages sont-ils fiables?

Temps de lecture : 3 min

Il est important de rappeler l'ampleur des intervalles dans les sondages qui étudient un sous-groupe d'un échantillon, comme les sympathisants de gauche ou de droite. Au risque d'oublier que ces fourchettes sont parfois des râteaux...

Ladle / waferboard via Flickr CC License By
Ladle / waferboard via Flickr CC License By

À mi-mandat de François Hollande et alors que Nicolas Sarkozy vient d'accéder à la présidence de l'UMP, les sondages se multiplient sur la primaire du PS et celle de l’UMP. Dûment commandés par les médias nationaux et régionaux de référence, ils soulèvent une question simple: sont-ils fiables?

Répondons en étudiant un cas récent.

Le Figaro du 22 novembre a publié un sondage OpinionWay consacré au candidat du PS à la présidentielle de 2017:

  • 73% des sympathisants de gauche ne veulent pas d’une candidature de François Hollande à sa réélection;
  • 81% des sympathisants de gauche veulent une primaire ouverte pour choisir le candidat du PS à la présidentielle;
  • lors d’une telle primaire, Martine Aubry ferait 32%, François Hollande 14%, Arnaud Montebourg 12% et Cécile Duflot 5%;
  • si Manuel Valls était candidat, il ferait 31%, suivi de Martine Aubry à 28%, de François Hollande à 11% et d’Arnaud Montebourg à 9%.

C’est un cas d’école de sondage face auquel savoir calculer la «marge d’erreur» est indispensable pour ne pas analyser de travers.

Explication: le sondage porte sur 1.765 personnes représentatives de la population adulte française (méthode des quotas), dont 446 sympathisants de gauche. Donc, tous ses résultats portant sur les sympathisants de gauche sont fondés sur un échantillon de 446 personnes.

Sondage OpinionWay pour Le Figaro.

Or, il existe un outil statistique pour mesurer la «marge d’erreur» des sondages. Plus précisément, il s’agit de l’intervalle de confiance des données à 95%. En résumé, si votre résultat est «x» et si votre intervalle est «i», alors, le vrai résultat a une probabilité de 95% de se trouver n’importe où entre «x – i» et «x + i».

La formule simplifiée pour calculer cet intervalle est:

Dans cette formule, «Ic» est l’intervalle de confiance, «n» est le nombre de sondés.

Avec 446 sondés, on obtient Ic ≈ 5. Donc, pour les résultats «x» du sondage OpinionWay qui portent sur les sympathisants de gauche, le vrai résultat a 95 chances sur 100 d’être n’importe où entre «x – 5» et «x + 5».

À présent que nous avons cette «marge d’erreur» probable à 95%, appliquons-la aux résultats de ce sondage:

L’observation de ce tableau parle d’elle-même: l’énormité des intervalles rend les résultats à peu près inutilisables.

Dans le premier cas, les fourchettes de François Hollande et Arnaud Montebourg se recoupent tellement que leurs scores et leurs ordres d’arrivée peuvent être n’importe où entre 7-9% et 17-19%. Quant à Cécile Duflot, elle peut aussi bien être balayée (0%) que l’exact contraire: créer la surprise (10%). Or, il y a 95 chances sur 100 que n’importe laquelle de ces configurations advienne.

Même chose dans le second cas. Les fourchettes de Martine Aubry et de Manuel Valls se recoupent tellement que leurs scores et leurs ordres d’arrivée peuvent être n’importe où entre 23-26 et 33-36%. Bis repetita pour savoir qui arriverait troisième et quatrième: les scores et ordres d’arrivée de François Hollande et Arnaud Montebourg peuvent être n’importe où entre 4-6 et 14-16%. Et là encore, il y a 95 chances sur 100 que n’importe laquelle de ces configurations advienne.

En commentant ces résultats pour Le Figaro, Frédéric Micheau, directeur des études chez OpinionWay, a donc raison de surtout mettre en avant «un net rejet d'une nouvelle candidature du chef de l'État, et un principe très soutenu de la primaire». Avec respectivement 73 et 81%, ce sont des scores suffisamment forts pour être fiables malgré la marge d’erreur.

Moralité : la «marge d’erreur» des sondages sur les primaires en particulier, impose un dilemme aux médias qui en passent commande. S’ils ne veulent pas multiplier les erreurs d’analyse et les mauvaises surprises, ils doivent choisir entre les deux options suivantes.

  • Option n°1: augmenter le budget des commandes de sondages. À partir de 3.500-4.000 sondés, la «marge d’erreur» des résultats sur un sous-échantillon (exemple: «sympathisants de droite», «sympathisants de gauche») devient suffisamment faible pour que le résultat reste exploitable. Cela impliquerait cependant d’au moins tripler ce budget…
  • Option n°2: afficher systématiquement les résultats des sondages sous forme de fourchettes (comme dans le présent texte). Cela aurait l’énorme avantage de rendre visibles les cas où les fourchettes se croisent, et donc, les cas où elles peuvent créer une surprise dans l’ordre d’arrivée (exemple: l’«effet 21–Avril» Jospin-Le Pen).

Newsletters

Jean-Paul Belmondo, professionnel de Roland-Garros

Jean-Paul Belmondo, professionnel de Roland-Garros

L'acteur avait deux amours: le cinéma et le sport. Fan de boxe, cofondateur du PSG, le comédien mort le 6 septembre 2021 à l'âge de 88 ans ne manquait presque jamais une édition de Roland-Garros. Dans les dernières années de sa vie, c'est l'un des...

Lu Shaye, l'ambassadeur qui prouve que la diplomatie chinoise passe à l'offensive

Lu Shaye, l'ambassadeur qui prouve que la diplomatie chinoise passe à l'offensive

Les remous provoqués par ce «loup guerrier», qui a insulté un chercheur français sur Twitter, s'inscrivent dans un cadre plus large.

VGE, président du cool trente ans avant Obama

VGE, président du cool trente ans avant Obama

Valéry Giscard d'Estaing est mort ce mercredi 2 décembre à l'âge de 94 ans. Tout au long de sa vie politique, l'ancien président de la République n'aura cessé de tenter de se construire une image d'homme moderne, en rupture avec les chefs d'État...

Podcasts Grands Formats Séries
Slate Studio