À mi-mandat de François Hollande et alors que Nicolas Sarkozy vient d'accéder à la présidence de l'UMP, les sondages se multiplient sur la primaire du PS et celle de l’UMP. Dûment commandés par les médias nationaux et régionaux de référence, ils soulèvent une question simple: sont-ils fiables?
Répondons en étudiant un cas récent.
Le Figaro du 22 novembre a publié un sondage OpinionWay consacré au candidat du PS à la présidentielle de 2017:
- 73% des sympathisants de gauche ne veulent pas d’une candidature de François Hollande à sa réélection;
- 81% des sympathisants de gauche veulent une primaire ouverte pour choisir le candidat du PS à la présidentielle;
- lors d’une telle primaire, Martine Aubry ferait 32%, François Hollande 14%, Arnaud Montebourg 12% et Cécile Duflot 5%;
- si Manuel Valls était candidat, il ferait 31%, suivi de Martine Aubry à 28%, de François Hollande à 11% et d’Arnaud Montebourg à 9%.
C’est un cas d’école de sondage face auquel savoir calculer la «marge d’erreur» est indispensable pour ne pas analyser de travers.
Explication: le sondage porte sur 1.765 personnes représentatives de la population adulte française (méthode des quotas), dont 446 sympathisants de gauche. Donc, tous ses résultats portant sur les sympathisants de gauche sont fondés sur un échantillon de 446 personnes.
Sondage OpinionWay pour Le Figaro.
Or, il existe un outil statistique pour mesurer la «marge d’erreur» des sondages. Plus précisément, il s’agit de l’intervalle de confiance des données à 95%. En résumé, si votre résultat est «x» et si votre intervalle est «i», alors, le vrai résultat a une probabilité de 95% de se trouver n’importe où entre «x – i» et «x + i».
La formule simplifiée pour calculer cet intervalle est:
Dans cette formule, «Ic» est l’intervalle de confiance, «n» est le nombre de sondés.
Avec 446 sondés, on obtient Ic ≈ 5. Donc, pour les résultats «x» du sondage OpinionWay qui portent sur les sympathisants de gauche, le vrai résultat a 95 chances sur 100 d’être n’importe où entre «x – 5» et «x + 5».
À présent que nous avons cette «marge d’erreur» probable à 95%, appliquons-la aux résultats de ce sondage:
L’observation de ce tableau parle d’elle-même: l’énormité des intervalles rend les résultats à peu près inutilisables.
Dans le premier cas, les fourchettes de François Hollande et Arnaud Montebourg se recoupent tellement que leurs scores et leurs ordres d’arrivée peuvent être n’importe où entre 7-9% et 17-19%. Quant à Cécile Duflot, elle peut aussi bien être balayée (0%) que l’exact contraire: créer la surprise (10%). Or, il y a 95 chances sur 100 que n’importe laquelle de ces configurations advienne.
Même chose dans le second cas. Les fourchettes de Martine Aubry et de Manuel Valls se recoupent tellement que leurs scores et leurs ordres d’arrivée peuvent être n’importe où entre 23-26 et 33-36%. Bis repetita pour savoir qui arriverait troisième et quatrième: les scores et ordres d’arrivée de François Hollande et Arnaud Montebourg peuvent être n’importe où entre 4-6 et 14-16%. Et là encore, il y a 95 chances sur 100 que n’importe laquelle de ces configurations advienne.
En commentant ces résultats pour Le Figaro, Frédéric Micheau, directeur des études chez OpinionWay, a donc raison de surtout mettre en avant «un net rejet d'une nouvelle candidature du chef de l'État, et un principe très soutenu de la primaire». Avec respectivement 73 et 81%, ce sont des scores suffisamment forts pour être fiables malgré la marge d’erreur.
Moralité : la «marge d’erreur» des sondages sur les primaires en particulier, impose un dilemme aux médias qui en passent commande. S’ils ne veulent pas multiplier les erreurs d’analyse et les mauvaises surprises, ils doivent choisir entre les deux options suivantes.
- Option n°1: augmenter le budget des commandes de sondages. À partir de 3.500-4.000 sondés, la «marge d’erreur» des résultats sur un sous-échantillon (exemple: «sympathisants de droite», «sympathisants de gauche») devient suffisamment faible pour que le résultat reste exploitable. Cela impliquerait cependant d’au moins tripler ce budget…
- Option n°2: afficher systématiquement les résultats des sondages sous forme de fourchettes (comme dans le présent texte). Cela aurait l’énorme avantage de rendre visibles les cas où les fourchettes se croisent, et donc, les cas où elles peuvent créer une surprise dans l’ordre d’arrivée (exemple: l’«effet 21–Avril» Jospin-Le Pen).
