Pourquoi agréger les sondages ?

Comme nous l’expliquons ici, en matière de sondages, mieux vaut épouser le consensus que se fier aux outliers. Un point isolé, qui plus est aberrant, ne vous apprendra pas grand-chose sur les tendances sous-jacentes. En agrégeant les données vous obtenez une vision plus claire, plus fiable et moins volatile : les valeurs extrêmes se compensent, le bruit statistique diminue et vous avez plus de chances de repérer le signal envoyé par les données. D’où l’intérêt de notre agrégation.

Le principe est assez simple : celui de la sagesse collective – « wisdom of the crowd » – qui veut qu’un groupe diversifié fait de meilleures prédictions que n’importe quel individu. Ce résultat est confirmé par les recherches empiriques et repose sur la nécessité d’avoir la meilleure information possible pour faire la prédiction la plus éclairée possible. On retrouve ce principe en finance, avec la diversification des portefeuilles, et dans le fameux dicton : « ne pas mettre tous ses œufs dans le même panier ». Émerge ici une bonne nouvelle : pour faire de bonnes prédictions, l’important n’est pas ce que vous êtes mais comment vous réfléchissez – êtes-vous objectif dans vos analyses ? Êtes-vous ouvert aux informations qui ne vont pas dans votre sens ? Vos sources d’informations sont-elles fiables et diversifiées ?

Techniquement, l’agrégation se justifie par l’existence inévitable de biais, à la fois dans les données utilisées par les sondeurs et dans leurs méthodes. Souvent, ces biais sont propres à chaque sondeur, si bien que l’agrégation de différents sondages, issus de différents instituts, utilisant différentes méthodes, tend à neutraliser les biais. Si elle sert dès la publication du deuxième sondage, l’agrégation est d’autant plus utile quand 1/ de nombreux sondages sont disponibles, 2/ ces sondages sont issus de sources (méthodes, échantillon, institut) différentes, et 3/il est difficile de savoir a priori quel institut sera le plus précis. Le paysage électoral français remplit bien ces conditions.

Penser de manière probabiliste

Plus de chances de repérer le signal ne veut pas dire y parvenir à tous les coups. Certaines élections sont tout simplement plus difficiles à prévoir, parce qu’il n’y a pas de sortant clair (c’est le cas en 2017, c’était le cas en 2007 et 1974 par exemple), parce que les candidats sont plus nombreux en comparaison historique, parce qu’il y a plus d’électeurs indécis, etc. Tous ces facteurs ajoutent à la volatilité du scrutin et donc compliquent la prédiction.

D’une manière générale, quatre éléments accroissent la marge d’erreur : la taille de l’échantillon (moins de sondés = plus d’erreur), le temps restant avant l’élection (plus de temps = plus d’erreur), le nombre d’électeurs déclarant vouloir voter hors des deux grands partis (plus il y en a, plus l’erreur est grande), et le nombre d’indécis (plus d’indécis = plus d’erreur).

En creux, cela souligne un élément clé que nous ne répèterons jamais assez : les sondages sont des données probabilistes et non déterministes. C’est pourquoi nous modélisons des erreurs dans notre agrégation et que nous indiquons la proportion agrégée d’abstention et d’indécis, pour donner une idée de l’incertitude de l’élection. Autre élément : l’agrégateur, comme les sondages, reflète le rapport de force électoral au temps T ; il ne constitue pas une prédiction.

Embrassons l’incertitude – et apprenons à la réduire

Tout cela relativise les supposés échecs essuyés par les sondages en 2015/2016 (élections britanniques, Brexit, Trump…). Ce discours simpliste répond d’ailleurs rarement à des questions fondamentales : que signifie se tromper pour un sondage ? Peut-on mieux faire ? Tous les sondeurs peuvent-ils être mis dans le même sac ? Ont-ils tous les mêmes méthodes/résultats ?

Soyons clairs : si votre définition de la précision est « donner le pourcentage exact de votes favorables », les sondages se tromperont toujours – enfin presque : sur des milliers de tirages ils auraient forcément la chance de tomber au moins une fois sur le résultat exact. Les résultats des sondages sont toujours associés à des intervalles de confiance, et la recherche en statistiques suggère que même si les sondages étaient conduits le jour même de l’élection (pas d’erreur temporelle) et interrogeaient des échantillons infiniment grands, le sondage moyen manquerait la cible d’environ 2%. L’erreur ne vient donc pas du fait que les sondages n’interrogent pas la population entière. Pour vous en convaincre, rappelez-vous vos prises de sang : le médecin n’a pas besoin de prélever tout le sang de votre corps pour l’analyser ; un échantillon représentatif lui suffit – heureusement !

En clair, oui, les sondages se trompent tout le temps – mais pas tant que ça ! Compte tenu des incertitudes, une erreur inférieure à 2% est déjà un bon résultat – et c’est encore mieux si ce résultat est confirmé sur plusieurs élections. Ce sont plutôt nos attentes d’exactitude qui sont irréalistes. Et à cela s’ajoutent nos biais cognitifs, notamment notre tendance à nous focaliser sur le nom du vainqueur plutôt que sur la marge d’erreur quand on évalue la précision finale des sondages. Par exemple, les sondeurs américains ont mieux performé en 2016 (erreur de 1,1 points de pourcentage) qu’en 2012 (erreur de 3,2 points), mais parce qu’ils indiquaient le mauvais vainqueur l’année dernière et le bon vainqueur quatre ans plus tôt, l’inconscient collectif retiendra la mauvaise leçon.

Le message subliminal : la question est moins de savoir si les sondages se trompent mais de combien ils se trompent. Apprenons à vivre dans l’incertitude.

Comment ça marche ?

Que l’incertitude soit omniprésente ne veut pas dire qu’on ne peut pas travailler à la réduire. C’est d’ailleurs ce que font les instituts de sondages, dont certains depuis des décennies – le graphe ci-dessous montre bien cette baisse tendancielle de la marge d’erreur depuis 1965. Autrement dit, prédire l’avenir est extrêmement compliqué, mais nous sommes de moins en moins mauvais.

 

Pour 2017, notre agrégation se fait en trois étapes.

Étape 1 : collecter les sondages

Nos sources sont diverses et publiques : la commission des sondages, les sites internet des sondeurs qui ont publié leurs archives (à cet égard, l’ex TNS Sofres a fait un travail remarquable), la Sondothèque de Sciences Po, les archives des journaux, les sites d’open data et, tout simplement, les moteurs de recherche.

Tous les sondages nationaux sont intégrés à notre base de données. S’il en manque un, c’est que :

  • il est très récent et nous n’avons pas encore eu le temps de l’intégrer
  • ce n’est pas un sondage national
  • nous l’avons intégré sous un nom diffèrent de celui que vous cherchez : Contes de Faits nomme les sondages en fonction de l’institut, pas du média qui l’a commandé (par exemple, Ifop et non Paris Match)
  • il a été réalisé par un institut inconnu jusque-là, sur lequel nous n’avons pas assez d’informations méthodologiques
  • il a été commandé directement par la campagne d’un des candidats

Quand un sondage précise les effectifs de ses différents échantillons, Contes de Faits les sélectionne selon cette hiérarchie : électeurs certains d’aller voter > électeurs inscrits sur les listes > adultes en âge de voter. Rappelons que les intentions de vote rapportées par les instituts sont calculées sur la base des inscrits, certains d’aller voter, exprimés. L’abstention en revanche est rapportée sur la base des inscrits.

Chaque sondage à une date de terrain. Les sondeurs indiquent les dates de début et de fin. Les dates indiquées dans notre modèle correspondent à la date médiane. Par exemple, si un sondage s’est déroulé du 2 au 4 février et a été publié le 7, le modèle le datera au 3 février.

Par ailleurs, les sondages qui ne respectent pas les règles de la commission des sondages ne sont pas inclus dans notre base de données. La loi du 25 avril 2016 a modifié celle du 19 juillet 1977, pour définir ainsi les sondages : « un sondage est une enquête statistique visant à donner une indication quantitative, à une date déterminée, des opinions, souhaits, attitudes ou comportements d’une population par l’interrogation d’un échantillon ». Les instituts doivent transmettre à la commission la notice de chacun de leurs sondages en amont de leur publication. Cette notice contient « l’objet du sondage ; la méthode selon laquelle les personnes interrogées ont été choisies, le choix et la composition de l’échantillon ; les conditions dans lesquelles il a été procédé aux interrogations ; la proportion des personnes n’ayant pas répondu à chacune des questions ; s’il y a lieu, la nature et la valeur de la gratification perçue par les personnes interrogées ; s’il y a lieu, les critères de redressement des résultats bruts du sondage ».

En particulier, Contes de Faits exclut de ses bases de données les simulations de vote réalisées sur des échantillons d’internautes par des journaux ou tout autre site. D’une part, ces enquêtes n’ont rien à voir avec des sondages au sens statistique du terme – cela revient à mesurer la popularité du PSG en interrogeant ses supporters par exemple. D’autre part, ce ne sont pas non plus des sondages selon la loi : « les enquêtes de ce type, qui ne sont pas menées auprès d’échantillons représentatifs de la population, ne constituent pas des sondages entrant dans le champ de la loi du 19 juillet 1977 ».

Enfin, depuis que François Bayrou a annoncé qu’il ne se présentait pas le 22 février dernier, notre modèle attribue ses électeurs potentiels (environ 5% des intentions exprimées) à Emmanuel Macron, François Fillon et Benoît Hamon. Cet ajustement concerne tous les sondages incluant François Bayrou dans notre base de données. Suivant le même procédé, notre modèle attribue les intentions allouées jusque-là à Yannick Jadot à Benoît Hamon et Jean-Luc Mélenchon.

Étape 2 : ajuster les sondages et déterminer la pondération

Avant d’agréger les sondages, il faut déterminer les facteurs jouant dans la pondération :

  • Certains instituts de sondage sont meilleurs que d’autres, comme l’illustre notre classement. Nous attribuons donc un poids différent aux instituts, en fonction de leur performance passée.
  • La méthode de collecte des données est au moins aussi importante que leur analyse. En France cependant, la plupart des sondeurs ont la même méthode de collecte – les questionnaires auto-administrés en ligne. Ifop mélange parfois avec des interviews par téléphone, et Kantar Sofres et BVA avec des méthodes big data. Nous encourageons ces diversifications et si elles se pérennisent nous les favoriserons dans notre pondération. Pour l’instant, en l’absence de critère objectivement discriminant, nous n’attribuons pas de poids directement lié aux méthodologies.
  • Toutefois, ces dernières influencent indirectement le classement, puisque l’une de nos hypothèses est qu’une bonne méthodologie est reflétée par une erreur moins élevée à long terme.
  • La taille d’échantillon est prise en compte : un échantillon plus gros aide, mais les rendements sont décroissants à partir d’un certain point. Schématiquement, un échantillon aléatoire de 2 000 réponses est bien plus utile qu’un échantillon biaisé de 20 000 réponses. Au bout du compte, la qualité compte plus que la quantité.
  • Enfin, plus un sondage est récent, plus il a de poids dans l’agrégation – et plus la campagne avance, plus cette prime à la jeunesse est prononcée.

Étape 3 : réaliser l’agrégation et introduire de l’incertitude

Pour l’instant, notre procédé ne prend pas en compte les erreurs possibles. Afin d’introduire cette incertitude, nous modélisons une erreur comme suit :

  • Une erreur aléatoire est simulée à l’issue de l’agrégation pour chaque candidat. Autrement dit, pour chaque candidat, l’ensemble des sondeurs peut se tromper avec une amplitude plus ou moins grande.
  • Procéder ainsi revient à dire que malgré l’agrégateur, une erreur par candidat peut subsister (si par exemple le modèle simule aléatoirement que Macron est surestimé de 8 par l’agrégateur ; dans cette simulation il est probable que Macron n’accède pas au second tour).

Le modèle répète cette simulation 10 000 fois – un peu comme si l’élection avait lieu en même temps dans 10 000 univers différent, avec à chaque fois une erreur différente. Le résultat est le graphe que vous voyez en ci-dessous, donnant la probabilité de chaque candidat d’accéder au second tour, en utilisant l’agrégateur à différents moments (de J-120 à aujourd’hui).


Nous indiquons aussi deux autres graphiques : un premier indiquant l’évolution de tous les sondages (un point = un sondage) sans traitement des données par Contes de Faits, et un deuxième retraçant celle de l’agrégation de ces sondages (un point = une agrégation). Comme vous le voyez, les sondages sont assez bruyants et volatiles, empêchant de distinguer clairement les tendances sous-jacentes.


A l’inverse, l’agrégation est beaucoup plus stable et montre que les évènements considérés comme des « game changers » ne sont pas si fréquents qu’on l’entend. Entre J-120 et J-60 par exemple, il n’y a que trois changements de direction à effet conséquent et durable : la candidature de Benoît Hamon à J-85, le décollage d’Emmanuel macron à J-110, et l’impact des révélations du Canard Enchaîné sur la candidature de François Fillon (qui passe de 27% à 21% en une vingtaine de jours).


Pourquoi avoir laissé une partie blanche ? Pour montrer qu’il reste encore beaucoup de temps avant l’élection : les évolutions à l’œuvre ces trois derniers mois peuvent très bien s’approfondir ou se retourner durant le dernier mois de campagne. Pour illustrer d’une autre manière l’incertitude entourant l’élection, nous indiquons l’abstention estimée et la proportion d’indécis.

Des avantages de l’itération et de la diversification

Comme la recherche académique, nos procédés sont en amélioration perpétuelle – en beta perpétuel diront nos amis informaticiens. Chaque nouvelle élection apporte son lot d’enseignements, mais n’hésitez pas à nous contacter si vous remarquez déjà des pistes d’amélioration.

Terminons en soulignant combien il est important de diversifier les sources d’information, surtout en matière de prédiction électorale. Des centaines d’études sérieuses l’ont démontré, à commencer par Bates et Granger, il y a près d’un demi-siècle. C’est pourquoi Contes de Faits vous apportera bientôt son éclairage sur les pronostics citoyens et les marchés de prédiction. Pour en finir avec la politique-fiction. Et faire des choix plus éclairés.

 

***

 

Post scriptum : abréviations et noms complets des sondages présents dans l’agrégateur Contes de Faits pour 2017

BVA = Enquête BVA-Salesforce pour la Presse Régionale et Orange

Elabe = Baromètre ELABE pour BFMTV et L’EXPRESS ; Les intentions de vote par Elabe pour Les Echos et Radio Classique

Harris Interactive = Pour France Télévisions L’Emission Politique

Ifop = Pour Fiducial / iTELE / Paris Match / Sud Radio

Ipsos = Enquête électorale française Ipsos Steria Sopra préparée pour le CEVIPOF et Le Monde

Kantar Sofres = Enquête Kantar Sofres-OnePoint réalisée pour Le Figaro, RTL et LCI

Odoxa = réalisée par Odoxa pour 13h15 Le Dimanche sur France et Dentsu Consulting

OpinionWay = PrésiTrack OpinionWay / ORPI pour Les Echos et Radio Classique