France

Dix réglages qui cadrent la photo des sondages électoraux

Jean-Marie Pottier, mis à jour le 27.03.2011 à 14 h 01

Méthode de questionnement, taille et composition de l'échantillon, marges d'erreur, redressement... Ce qu'il faut savoir avant de lire les résultats d'une enquête.

L'annonce des résultats du premier tour de la présidentielle 2007 sur TF1

L'annonce des résultats du premier tour de la présidentielle 2007 sur TF1 (image floutée)

«Les sondages, c'est comme l'horoscope, tout le monde les lit, mais personne ne les croit»: la phrase est de Marine Le Pen, le 5 avril 2007 sur RTL, quatre ans avant que deux sondages en sa faveur ne relancent début mars la polémique sur «l'horoscope». Ou, selon d'autres métaphores, le «thermomètre», la «cuisine» ou la  «photo» des sondages. Cette dernière métaphore a beau être éculée, elle donne une idée assez juste d'un processus qui consiste à cadrer, prendre le recul nécessaire, régler la lumière, appuyer au bon moment et développer la photo. Tour d'horizon en dix points des «réglages» des sondages électoraux à partir des critiques les plus fréquemment exprimées contre eux, de la «jurisprudence» de la commission des sondages et des commentaires de trois sondeurs ou ancien sondeurs: Stéphane Rozès, président de la société de conseil CAP et ancien directeur général de CSA, Guillaume Petit, directeur d'études chez TNS-Sofres, et Bruno Jeanbart, directeur général d'Opinion Way, que nous avons interviewé le 9 mars pour l'émission Petit stream entre amis d'Europe1.fr.

Le temps restant avant l'élection

Si la question posée lors des sondages électoraux est toujours la même («Si le premier tour de l'élection présidentielle avait lieu dimanche prochain et que vous ayez le choix entre les candidats suivants, pour lequel y'aurait-il le plus de chances que vous votiez?»), elle cache des réalités très différentes selon la date de publication. Loin de l'échéance (les présidentielles 2012 étaient testées dès novembre 2007), les intentions de vote ne sont que «fiction» et reflet de «préférences de candidature», estimait dans un livre publié en 2007 le conseiller d'Etat Pierre Zemor, membre de la commission des sondages. Selon lui, il faut attendre le mois avant l'élection pour voir «une intention de vote apparaître, lentement... jusqu'au seuil de l'isoloir».

La population sondée

Dans la grande majorité des cas, elle est la même (un «échantillon national représentatif de personnes âgées de 18 ans et plus») que celle qui sera convoquée aux urnes. Mais des incongruités se produisent: on a vu récemment BVA tester pour Canal+ un échantillon «âgé de 15 ans et plus», suscitant les sarcasmes de l'Observatoire des sondages sur l'émergence d'une «majorité électorale à 15 ans». Ou encore, en 2006, la commission des sondages épingler LH2 et Libération, qui avaient publié des intentions de vote des sympathisants socialistes pour les primaires... alors que seuls les adhérents dûment encartés étaient convoqués, ce qui n'était pas précisé.

La méthode de sondage

Il en existe trois: le face-à-face, le téléphone et internet, alias Cawi (computer-assisted web interviewing) dans le jargon des sondeurs. Et «tous ces modes ont leurs inconvénients», reconnaît Guillaume Petit. A l'époque du téléphone, on s'inquiétait de la façon de toucher les jeunes disposant seulement d'un mobile. Avec les récents sondages Harris Interactive, la polémique a plutôt porté sur les gratifications offertes aux sondés via internet, sous forme de tirage au sort avec un gros lot ou de petites sommes (quelques dizaines de centimes à quelques euros) versées pour chaque questionnaire.

«Si vous n’avez pas de gratifications, vous pouvez avoir tendance à surreprésenter les gens qui ont envie de donner leur opinion», et donc, a priori, les opinions extrêmes, justifie Bruno Jeanbart. Un avis que ne semble pas partager Stéphane Rozès:

«A l’époque ou j'ai pris la décision de ne pas travailler en ligne, je pensais que le biais pénaliserait Marine Le Pen: quand les sondés sont “panélisés”, c’est-à-dire réinterrogés, ils s’intéressent de plus en plus, même sans s’en apercevoir, à l’actualité politique et entrent dans une logique institutionnelle.»

La composition de l'échantillon

Alors que certains pays pratiquent la méthode aléatoire, où les sondés sont tirés au sort, la France a elle recours à la méthode des quotas, qui consiste pour les enquêteurs à construire de manière volontaire, en fonction de l'âge, du sexe, de la région, de la CSP... une «France en miniature». «On peut être plus ou moins précis: ce n’est pas la même chose de raisonner sur les pourcentages de plus de 35 ans et de moins de 35 ans ou sur les pourcentages de 18-24 ans, de 25-35 ans, de 35-50 ans, de plus de 50 ans...», explique Guillaume Petit. L'autre problème réside dans les taux importants de refus de participation à l'enquête: un Parisien de 25 ans CSP+ qui accepte de répondre est-il représentatif de ceux qui refusent?

La taille de l'échantillon

La loi ne fixe pas de nombre minimal de sondés: la taille «classique» de l'échantillon est de 1.000 personnes environ, mais elle peut être bien inférieure pour un sondage local (lors des législatives 2007, un institut du Morbihan, Ropars, avait été épinglé pour un sondage sur 400 personnes, dont moins de 200 exprimaient une opinion), quand l'institut analyse un sous-échantillon dans une enquête, par exemple les sympathisants d'un parti, ou quand une question suscite beaucoup de «ne se prononce pas».

Avec la méthode de sondages aléatoire, il est possible de déterminer scientifiquement une marge d'erreur sous forme de fourchette de probabilité: pour 1.000 sondés, le résultat a 95% de chances d'être bon avec une marge de plus ou moins trois points, qui diminue quand le résultat est moins serré. Un chiffre qui passe à plus ou moins sept points pour un sous-échantillon de 200 personnes, mais qui ne peut être calculé pour la méthode des quotas, même si plusieurs instituts (OpinionWay, LH2, Viavoice, Ipsos, Ifop...) le publient. «Cela n’est pas forcément rigoureux, mais cela rappelle l’incertitude d’un sondage, qui ne prévoit jamais le résultat d’une élection, même la veille», explique Bruno Jeanbart. «Si je croyais à l’existence d’une marge d’erreur pour un sondage par quotas, je n'aurais pas donné le non passant devant le oui avec 51% en mars 2005», conteste Stéphane Rozès, selon qui «on ne peut pas donner des leçons aux sondeurs et être soi-même dans l’approximation».

Le sondage en question, qui avait constitué un coup de tonnerre dans la campagne, avait été épinglé par la commission, qui avait estimé que l'écart, avec 53% de non-réponses, ne «revêtait pas un caractère statistiquement significatif». Lors des présidentielles 2002, elle avait également averti sur le caractère non significatif des scores inférieurs à 5%.

Le choix des candidats

Il a fait polémique lors des sondages Harris Interactive, plusieurs concurrents s'étonnant que l'institut n'ait dans un premier temps testé que Martine Aubry, puis dans un second écarté Ségolène Royal. Mais la commission des sondages laisse une grande liberté aux instituts en n'imposant une liste de candidats que quand celle-ci est officielle (un mois avant le premier tour pour la présidentielle, une fois les 500 signatures validées par le Conseil constitutionnel) et en ne prononçant avant des mises au point qu'en cas d'«erreur manifeste d'appréciation».

L'existence d'autres questions

Les sondages d'intention de vote ne contiennent pas que des questions d'intention de vote: fin février, CSA testait par exemple en même temps l'attitude des Français face à une candidature Sarkozy. Or, une question peut influer sur l'autre, par exemple si l'institut interroge les sondés sur le bilan du gouvernement en matière de chômage ou de sécurité avant de les questionner sur leur vote. Dans l'idéal, la commission des sondages estime donc que les intentions de vote devraient êtres sondées «seules», et à défaut, sondées les premières.

Les hypothèses de second tour

L'article 5 de la loi du 19 juillet 1977 prévoit que la commission des sondages peut «définir les clauses qui doivent figurer obligatoirement dans les contrats de vente» des enquêtes, dont «celles ayant pour objet d'interdire la publication, avant le premier tour de scrutin, de tout sondage portant sur les votes au second tour». Une possibilité jamais mise en pratique car de constitutionnalité douteuse, comme l'expliquait la commission dans le point 7 de son premier rapport, en 1979. Celle-ci demande donc seulement qu'un sondage de premier tour soit réalisé en même temps et que l'hypothèse de second tour soit cohérente avec celle du premier, avec plusieurs hypothèses en cas de marge étroite. En 2008, elle avait ainsi adressé une mise au point à TNS-Sofres et Nice-Matin, qui avaient testé un second tour UMP-PS lors des municipales à Nice alors que la liste dissidente de droite de Jacques Peyrat était deuxième de l'estimation de premier tour et qu'une fusion paraissait improbable.

Les redressements démographiques et politiques

Les chiffres publiés ne sont pas ceux qui remontent du terrain car les instituts opèrent deux redressements. Le premier est socio-démographique, et consiste à ajuster encore l'échantillon, qui n'est jamais totalement représentatif: celui du premier sondage Harris Interactive contenait ainsi presque autant d'hommes que de femmes, et celles-ci ont été «surpondérées» pour refléter leur poids réel dans la population française en âge de voter (52%).

Le second redressement est politique et a pour but de corriger le fait qu'une abstention, un vote de droite, et encore plus d'extrême-droite est moins facile à déclarer qu'un vote socialiste ou écologiste. L'institut demande donc aux sondés pour qui ils ont voté lors de la dernière élection comparable: si 5% expliquent avoir voté FN et que le vrai score du parti a été de 10%, il peut doubler son estimation. Pour affiner ce redressement, il peut y associer d'autres questions (la proximité avec les partis, la position sur de grands sujets, la certitude d'aller voter, la sûreté du choix...) du moment qu'il garde la même combinaison de facteurs pendant toute l'élection.

Reste que ce redressement est notamment tributaire de la mémoire de l'électeur («Pour certaines élections, c’est vrai que le souvenir est moins bon. Une présidentielle est plus marquante», explique Guillaume Petit) et des changements de candidats ou de positionnement: «En 2002, nous avions mis le FN plus haut que les autres car nous posions deux questions supplémentaires portant sur la proximité idéologique avec le FN et la possibilité d’un vote FN. En 2007, cela nous a conduit a croire que des électeurs qui se prononçaient pour Nicolas Sarkozy étaient des électeurs FN cachés, alors que c’étaient des électeurs de Nicolas Sarkozy», explique Stéphane Rozès.

Le redressement «d'analyse»

A l'occasion des européennes de 2004, la commission des sondages a noté que «certains instituts utilisent [...] pour effectuer les redressements d’autres sources que celles qui émanent du sondage lui-même» et «revendiquent la possibilité de tenir compte de leur expérience, d’éléments relevant de l’analyse politique voire de résultats émanant d’autres enquêtes». Elle a notamment adressé un «sévère rappel à l'ordre» à BVA et Marianne sur une enquête, leur reprochant de n'avoir «utilisé aucun indicateur qualitatif pour procéder aux derniers redressements» mais seulement «l’histoire électorale et [...] l’analyse politique». En 2002, elle avait déjà demandé des explications sur un sondage qui donnait Jospin à 51% au second tour alors que son score «redressé» se situait entre 54% et 57%: l'institut concerné avait expliqué, face à ce résultat étonnant, avoir tenu compte... de ses enquêtes passées et de celles des concurrents.

Jean-Marie Pottier

Article amendé le dimanche 27 mars 2011 sur le point «Les hypothèses de second tour», suite au commentaire d'un lecteur ci-dessous.

Jean-Marie Pottier
Jean-Marie Pottier (944 articles)
Rédacteur en chef, responsable de la newsletter politique «Le Jour d'après». Auteur de «Indie Pop 1979-1997» et «Ground Zero. Une histoire musicale du 11-Septembre» (Le Mot et le Reste).
En poursuivant votre navigation sur ce site, vous acceptez l’utilisation de cookies pour réaliser des statistiques de visites, vous proposer des publicités adaptées à vos centres d’intérêt et nous suivre sur les réseaux sociaux. > Paramétrer > J'accepte