Sondages : comprendre comment fonctionnent les études électorales en trois étapes

Premier tour de la primaire de droite et du centre, ce dimanche 20 novembre. D'après les derniers sondages, Alain Juppé et Nicolas Sarkozy étaient dans un mouchoir de poche, suivis par François Fillon. Mais, au lendemain de cette primaire, qui a vu Fillon rafler la majorité des voix, et au lendemain de l'élection de Donald Trump, qui elle aussi a fait mentir la plupart des projections, on se demande dans quelle mesure il faut faire confiance à ces "photographies de l'opinion". Décortiquons en trois points le fonctionnement des sondages, pour mieux en appréhender les limites.

"Par définition, les sondages ne se trompent jamais, car ils n’ont pas vocation à prédire." Laurence Parisot (17 ans à la tête de l'Ifop), dans Les Échos du 16 avril 2007

Publicité

Mais avant-tout, brève approche globale de ce qu'est un sondage, avec Pascal Ardilly, expert à l'INSEE (Institut national de la statistique et des études économiques), auteur de l'ouvrage "Les techniques de sondage" (2006), invité en avril 2007 de l'émission Science publique, au micro de Michel Alberganti. Pour faire simple, il s'agit d'une opération statistique permettant d’estimer une grandeur définie sur une population éventuellement très importante, mais qui a la propriété d’être de taille finie.

Durée : 1h

Et complément aujourd'hui d'Yves-Marie Cann, directeur des études politiques chez Elabe. Interrogé par Maxime Tellier, il estime que "Concernant le Brexit, les études montraient que le camp du oui et du non se tenaient dans un mouchoir de poche. Quant à Trump, les derniers sondages saisissaient bien un rapport de force favorable à Hillary Clinton : la candidate démocrate l'a d'ailleurs bien emporté en nombre de voix mais le système des grands électeurs a donné la victoire à son adversaire :

Durée : 2'48''

La manière dont est menée l'enquête

"La qualité de l’enquête tient en premier lieu à la qualité de l’accueil par les enquêtés. Donc une opération tout à fait essentielle est la question de la collecte. (…) Ceci est un préalable à la partie statistique.", expliquait Benoît Riandey, statisticien à l’Institut national des études démographiques, dans cette même émission de 2007.

Or, il existe diverses façons de mener une enquête pour se faire une idée de l'opinion : de visu, par téléphone, et, de plus en plus, par internet, donc dans la plus grande confidentialité.

Les sondages effectués en face à face sont les plus coûteux :"autour de 2.000 euros, contre 600 à 700 euros pour un sondage par Internet, et 1.200 à 1.400 euros pour une étude faite par téléphone", explique aujourd'hui Yves-Marie Cann, directeur des études politiques chez Elabe. Le choix se fait aussi en fonction du temps nécessaire pour remplir un questionnaire : "Les enquêtes d'opinion grand public et les sondages sur les intentions de vote prennent 10 à 15 minutes à chaque sondé, une durée assez courte qui permet l'usage de l'ordinateur. Mais au-delà d'un quart d'heure, les personnes se lassent et abandonnent." Le téléphone est alors indiqué (pour des durées de 25 ou 30 minutes). L'interview en face à face s'impose pour les longs questionnaires qui prennent jusqu'à une heure pour être remplis. Mais aujourd'hui, "90% de nos études d'opinion sont réalisées par Internet", précise Yves-Marie Cann.

En 2007, "Science publique" donnait également la voix à Alain Garrigou, agrégé d’histoire et de sciences politiques, auteur de "L’ivresse des sondages" (2006), extrêmement critique à l'égard de cette technique. Il affirmait ainsi que 90% du chiffre d’affaires des entreprises de sondage ("qui usurpent d’ailleurs leur titre d’institut pour la plupart, pour tous d’ailleurs je dirais, puisqu’ils sont d’abord soumis à des logiques de profit") était généré par des enquêtes de marketing classique. Un chiffre confirmé dix ans plus tard par Yves-Marie Cann : "les études politiques représentent 5 à 10 % du chiffre d'affaires d'Elabe".

"La politique, c’est une publicité, une vitrine pour ces instituts. (…) N’oubliez pas que le fondateur des sondages, Georges Gallup, vient de l’univers de la publicité." Alain Garrigou

La fiabilité de l'échantillon

L’opération d’échantillonnage désigne la manière dont sont sélectionnés les individus interrogés. Le premier écueil étant d'ores et déja de connaître le corps électoral dont on veut fabrique un échantillon. Lorsqu'il s'agit d'une élection nationale récurrente -comme l'élection présidentielle- il est à peu près aisé de dessiner ce que l'on cherche. En revanche, dans le cas d'élections visant un corps électoral moins défini, comme les primaires ouvertes des partis politiques, c'est bien plus difficile. C'est la raison pour laquelle les sondeurs, dans ces derniers cas, tentent d'abord d'évaluer le nombre de votants, voire, bien souvent, établissent des scénarios selon le nombre de votants attendus.

Comment se pratique cet échantillonnage des électeurs, et s'agit-il véritablement d'un matériau exploitable par les statisticiens ? Pour commencer, il existe deux grands types d'échantillonnage, expliquait Pascal Ardilly dans l'émission Science publique :

- Les échantillonnages probabilistes, c'est-à-dire la mise en œuvre d’algorithmes d’échantillonnage, en général effectués par des ordinateurs qui sélectionnent des échantillons à partir d’une base d’individus : "L’intérêt de cette sélection est qu’elle est parfaitement objective. Il n’y a pas d’interprétation humaine", précise Pascal Ardilly. "Mais cette méthode dite aléatoire est très peu utilisée en France, contrairement aux États-Unis et au Royaume-Uni", note Yves-Marie Cann (Institut Elabe).

- Les échantillonnages empiriques : "En gros, on donne un ensemble de consignes à un enquêteur pour qu’il respecte un certain aléa, mais l’échantillonnage se pratique sur le terrain, et donc on ne contrôle pas, ou moins bien, la méthode de sélection de l’échantillon", explique Pascal Ardilly. C'est là un type d'échantillonnage souvent soumis à la "méthode des quotas" :"Cette méthode est quasiment la seule utilisée dans les enquêtes d'opinion en France, précise Yves-Marie Cann, elle a fait ses preuves : l'idée est de reconstituer une sorte de mini France dans l'échantillon (respecter les proportions d'hommes, de femmes, de catégories socioprofessionnelles, etc.). En général, l'échantillon compte 1.000 personnes, c'est le chiffre qui affiche le meilleur rapport qualité/prix. Au-delà, la marge d'erreur ne baisse pas substantiellement (elle est de 2,5 à 3 points) mais le prix augmente."

"Si vous menez une enquête sur l’emploi du temps et que vous imposez comme quotas le sexe et l’âge, que va-t-il se passer ? L’enquêteur va respecter la pyramide des âges, il va avoir 50% d’hommes et 50% de femmes dans son échantillon, mais il a de bonnes chances de surestimer le temps de loisir. Pourquoi ? Parce qu’il va trouver des personnes dans la rue qui sont essentiellement des personnes inactives, ou retraitées, des personnes sans emploi, des étudiants, donc il va tordre l’échantillon. Pour éviter ce biais, il faudrait effectuer aussi des enquêtes à 8h, 9h, 10h du soir, là où on trouve les cadres supérieurs ou les agriculteurs qui rentrent tardivement, après une journée de travail bien remplie." Pascal Ardilly

La difficulté de l'échantillonnage réside aussi dans la difficulté de recueillir les témoignages, ainsi que le soulignait Benoît Riandey en 2007 : "Il faut à peu près huit coups de téléphone pour pouvoir joindre une personne acceptant de répondre, d’après le responsable d’un institut de sondages. Donc le taux de réponse est de l’ordre de 12%." Sans compter que... "Les différentes catégories de population et les différentes catégories de familles politiques acceptent ou refusent moins les enquêtes."

"Dans la sociologie politique, il est clair que les électeurs de centre gauche sont plus enclins à répondre aux enquêtes que les électeurs de droite, et autrefois du Parti communiste, qui répondaient très peu aux enquêtes, ou de l’extrême droite, qui répondent très peu aux enquêtes. Donc il y a une déformation forte de ce côté-là. Un biais d’échantillonnage." Benoît Riandey en 2007

Enfin, la fiabilité de l'échantillon est évidemment tributaire de la fiabilité des réponses, de la franchise des enquêtés, qui n'ont pas forcément envie de révéler leurs intentions politiques, sans forcément avoir le courage de décliner le sondage : "On ne sait pas très bien faire la part entre le biais d’échantillonnage, et les réponses fausses données par les enquêtés", estime Benoît Riandey. "Chez Elabe, nous privilégions les sondages par ordinateur car les réponses sont beaucoup plus fiables, constate désormais Yves-Marie Cann. Les électeurs FN assument davantage leur choix aujourd'hui qu'il y a dix ans, mais tout de même. Ils sont plus nombreux à le faire face à leur ordinateur que devant un enquêteur."

"Dans certains sondages, par exemple d’élections européennes, les chiffres bruts, dans les enquêtes, sous-estimaient d’un facteur 3 les résultats d’un vote pour le Front national. (…) La difficulté qu’il y a pour estimer le vote Front national tient d’abord au comportement des électeurs. C’était le cas autrefois pour le Parti communiste qui était toujours sous estimé, peut être dans des proportions un petit peu moindres." Benoît Riandey en 2007

"Le percepteur ne fait pas confiance, il y a des contrôles. Il faudrait faire confiance aux sondés - qui sont de moins en moins nombreux d’ailleurs à accepter de répondre - sur, par exemple, leur déclaration de vote. Je ne vois pas au nom de quoi on peut estimer que la société, que les esprits, sont transparents. C’est même le postulat inverse des sciences sociales. Il n’y aurait pas de sciences sociales si l’univers social était transparent." Alain Garrigou

Les corrections apportées

Pour tenter de pallier ces faillibilités, des corrections sont appliquées aux résultats des enquêtes : "C'est ce qu’on appelle un calage : en demandant aux enquêtés pour qui ils ont voté à l’élection présidentielle précédente, on peut voir si l’échantillon est plutôt trop à droite, trop à gauche…"

"Ce qu’on peut dire, d’une enquête sur l’autre, c’est qu’on sait comment ce groupe d’électeurs se comporte et donc on va pouvoir anticiper, à condition que ces comportements soient constants dans la conjecture politique." Benoît Riandey

Mais, un comble : ce système de correction est susceptible de compliquer la donne, plus que de l'amender. En témoigne la grande surprise du premier tour de 1995, lorsque Lionel Jospin est arrivé en tête alors que tous les instituts de sondage l’avaient placé en troisième position. On leur a alors reproché d’avoir baissé le vote pour Jospin en appliquant des corrections ("ce qui était quelque chose qu’il fallait de toute façon faire puisque comme je vous le dis, le vote socialiste est très régulièrement sur-estimé dans les chiffres bruts à cause du comportement pro-enquête des électeurs socialistes", précise Benoît Riandey) : "Ce qu’il s’est passé, c’est qu’on calait les estimations du vote de 1995 sur les élections législatives de 1993 qui avaient été un désastre pour les socialistes. Beaucoup de sympathisants socialistes n’avaient pas voté socialiste en 1993, ont eu des regrets après et ont été bien décidés à voter Jospin au premier tour de 1995 (…) On a fait disparaître le mouvement de retour d’une partie des infidèles vers Jospin, d’où la sous-estimation."

"Pour les grands candidats, il y a une marge d’erreur autour de 3%, plus ou moins. Et si vous regardez les différences entre les sondages qui ont été publiés hier, ou avant-hier, donc assez récents, les différences sont dans cette fourchette-là." Martin Körnig, chercheur en statistiques, en 2007

Alors, dans quelle mesure faut-il faire confiance aux sondages ? A chacun de se faire... son opinion. Yves-Marie Cann (Elabe) rappelle qu'un sondage n'est pas une prédiction mais une évaluation des rapports de force et des dynamiques à un instant T. Dans Science publique, en 2007, Alain Garrigou, lui, convoquait le philosophe Abraham Kaplan, qui exprimait ainsi son scepticisme à l'égard de cette technique :

"C'est l'histoire d'un ivrogne qui cherche sous un réverbère ses clefs de maison perdues à quelque distance de là. Comme on lui demande pourquoi il ne les cherche pas où il les a perdues, il répond : 'C'est mieux éclairé ici !'"

A écouter : Les sondages sont-ils victimes d'un excès de confiance ? (Du Grain à moudre)