Synthétiser l’évolution socio-démographique des 36 000 communes françaises depuis 1968

Dans le cadre de ma thèse portant sur le vote pour le Front national en région PACA, je me suis posé…

Dans le cadre de ma thèse portant sur le vote pour le Front national en région PACA, je me suis posé la question de savoir si la trajectoire socio-démographique d’une commune influe sur le niveau du vote FN dans cette commune. En d’autres termes, la manière dont les effectifs des différentes catégories socio-professionnelles évolue au cours du temps a-t-elle un impact politique ? Spontanément, je tendrais à faire l’hypothèse que oui. On peut imaginer plusieurs mécanismes reliant les deux phénomènes : par exemple, que l’évolution locale objective de la structure sociale influe sur la perception subjective de l’évolution de la société par les habitants d’une commune. Ou encore, que le déclin numérique de la classe sociale à laquelle on appartient induit un sentiment de déclin généralisé. Il y aurait bien évidemment encore bien d’autres hypothèses possibles.

En réalité, j’avais déjà examiné cette question dans une communication que j’avais faite au congrès de l’AFSP, en 2009. J’utilisais la variable de l’évolution socio-démographique de la commune comme variable indépendante dans des modèles multi-niveaux ayant pour variable dépendante le vote en faveur du Front national. Mais, déjà lorsque j’avais rédigé ce texte, je n’étais pas très content de la manière dont j’avais procédé.

En effet, habitué à manier des variables quantitatives continues (l’habitude de travailler sur des données agrégées…), je cherchais à avoir ce type de variable. En partant de la composition de la population active par catégorie sociale (nomenclature CS en six positions) à tous les recensements de 1968 à 1999, j’avais estimé un modèle multiniveau de croissance pour chaque CS. Ce modèle est un modèle linéaire – c’est là mon premier souci : rien ne permet de penser a priori que les évolutions socio-démographiques, sur une durée de trente ans, sont linéaires. Un groupe social peut croître puis décroître, la croissance d’un autre peut être exponentielle plutôt qu’arithmétique. J’avais bien envisagé de faire une modélisation quadratique, mais je me sentais beaucoup moins à l’aise pour utiliser ces coefficients comme variables par la suite, car leur interprétation est moins directe.
Les coefficients issus de cette modélisation linéaire multiniveau (12 coefficients par commune tout de même) étaient ensuite passés à la moulinette d’une ACP, afin d’en dégager les dimensions les plus significatives (toujours le même problème d’ordonner et synthétiser des données trop abondantes pour être interprétées). La position de chaque commune sur les trois premières composantes issues de l’ACP étaient ensuite utilisée comme variable explicative dans le “gros” modèle multiniveau. Cette analyse donnait des résultats substantiels, mais demeurait pourtant problématique. Outre le problème de la modélisation linéaire déjà évoqué, les données sont fragiles : elles sont issues de l’exploitation complémentaire du recensement, c’est-à-dire d’un sondage au quart. Ce qui signifie que, dans les petites communes au moins, les données sont très bruitées. La procédure que j’ai utilisée ne supprime pas ce bruit. Ce n’est pas dramatique en soi, car s’il y a du bruit, il n’y a pas de biais, mais ça diminue la puissance explicative (ou prédictive, comme on voudra) de cette variable indépendante. De plus, c’est une procédure très analytique, qui étudie les effets distincts de plusieurs composantes de l’évolution socio-démographique des communes, mais sans permettre facilement de revenir à des cas typiques, des sortes d’idéal-types permettant d’appréhender quelques profils d’évolution. Plus je vais et plus je tends à préférer les procédures permettant de comparer les effets de quelques cas plutôt que donnant des coefficients abstraits – l’influence d’Andrew Gelman et Gary King, sûrement.

En revenant sur cette question durant la rédaction de ma thèse, je me suis dit qu’il serait sans doute plus simple, et plus intéressant substantiellement, de dégager quelques types de trajectoire socio-démographique des communes. Je n’avais pas d’outil précis en tête, alors j’ai un peu farfouillé, notamment du côté des analyses de séquence en histoire. Mais, pour ce que j’en ai compris – corrigez-moi si je me trompe, amis historiens ! -, ce type d’analyse ne s’applique qu’à des variables qualitatives, discrètes. Ca ne faisait donc pas mon affaire. J’ai aussi été voir du côté de la modélisation de classes latentes, mais je ne suis pas très à l’aise avec les équations structurelles, donc tant que je ne les comprendrai pas mieux, je ne les utiliserai pas.

Et puis je me suis dit qu’il suffisait de faire simple. J’ai donc décidé de calculer, sur chaque période intercensitaire, un taux de croissance pour chaque CS (sur la base des effectifs absolus). Ensuite, il suffit de faire tourner une procédure classificatoire sur ces variables. Facile, a priori. Sauf que mon premier réflexe a été de recourir à une classification ascendante hiérarchique (CAH), notamment en raison de sa proximité méthodologique avec l’analyse géométrique des données (le directeur de mon labo, Frédéric Lebaron, en est un des spécialistes, donc je suis tombé dedans quand j’étais petit). Sauf que… c’est une méthode relativement lourde d’un point de vue computationnel (O(n3), je crois), et ni mon ordinateur personnel, ni une instance Amazon avec 16 Go de RAM ne s’en sortis. J’ai donc changé mon fusil d’épaule, et j’ai essayé une K-means (vous connaissez une bonne traduction française pour cela ?). Mais, outre la difficulté classique (et facile à résoudre empiriquement) de savoir combien de classes il faut chercher, cette procédure ne convient pas en l’espèce car les effectifs des classes produites sont très dissemblables – l’algorithme est très sensible aux outliers, et comme les données sont fortement bruitées… En cherchant, j’ai découvert l’existence d’un autre algorithme, les K-médoïdes. L’idée est globalement la même que celle consistant à substituer la médiane à la moyenne comme mesure de centralité : c’est un algorithme plus robuste, moins sensible aux outliers. Exactement ce qu’il me fallait… Seul inconvénient : c’est plus gourmand en temps de calcul que les K-means (presque deux heures sur une instance AWS avec 16 Go de RAM, sur un tableau de 36000 lignes et 60 colonnes). Et puis, comme les K-means, ce n’est pas un algorithme déterministe, donc idéalement il faudrait l’estimer plusieurs fois, mais vu le temps de calcul requis, on s’en passera.

Une fois que j’ai dégagé mes classes, il n’y a plus qu’à les analyser. Pour cela, le plus simple est de les visualiser. On peut faire de l’ACP (là aussi, il va falloir tricher un peu, car l’ACP est aussi intense computationnellement ; un moyen est de faire une K-means dégageant, mettons, 1000 groupes, et d’ensuite faire l’ACP sur les centres de ces groupes – on perd de fait très peu d’information), mais en l’occurrence je n’ai pas trouvé cela très parlant. Je préférais voir, vraiment, les différentes trajectoires. Après avoir tâtonné un peu (oui, ça a beaucoup tâtonné, cette histoire…), j’ai décidé de tracer une courbe par CS par groupe. Avec R et ggplot2, ce n’est pas trop compliqué de faire ça à peu près proprement. Et voilà le résultat (cliquez sur l’image pour la télécharger en pdf) :

Maintenant, reste à interpréter… mais c’est une autre histoire !

Les données de l’INSEE utilisées pour l’analyse sont , et mes données et mon code complets pour dupliquer l’analyse sont sur mon github (poke François !).

Si vous avez en tête d’autres manières de mener ce genre d’analyse, dites-le moi en commentaire !

EDIT : j’ai oublié de préciser deux choses, nécessaires à la compréhension du graphique :

  • Le jeu de données de l’INSEE que j’ai utilisé ne concerne que les actifs de 25 à 54 ans (en raison de changements méthodologiques au fil du temps), et distingue entre chômeurs et actifs occupés. La tranche d’âge concernée explique le faible niveau de chômage.
  • J’ai ajouté aux graphiques, outre la moyenne, les 1er et 3e quartiles, afin de visualiser la dispersion interne à chacun des groupes. Comme la moyenne a été pondérée par la population active des communes, elle peut parfois ne pas être comprise entre les 1er et 3e quartiles – ou pourquoi la moyenne n’est pas toujours un bon indicateur de centralité…

Comment ne (toujours) rien comprendre aux sondages

Mise à jour : si les sondages vous laissent de marbre, essayez les modèles. Le dernier en date, très…

Mise à jour : si les sondages vous laissent de marbre, essayez les modèles. Le dernier en date, très cohérent avec tout ce que l’on sait du vote, donne François Hollande à 51% au second tour sans réellement modéliser la prime du meilleur score au premier tour.

Comme l’a bien compris la blogosphère économiste, le moment est venu d’en remettre une couche. Ça tombe bien, Le Monde publie un texte de circonstance, par Albert Camus, qui s’exprime mieux par lui-même que par Michel Onfray :

En face de la marée montante de la bêtise, il est nécessaire également d’opposer quelques refus. Toutes les contraintes du monde ne feront pas qu’un esprit un peu propre accepte d’être malhonnête. Or, et pour peu qu’on connaisse le mécanisme des informations, il est facile de s’assurer de l’authenticité d’une nouvelle. C’est à cela qu’un journaliste libre doit donner toute son attention.

Les geeks auront remarqué que le site Internet du Monde vient de passer en HTML5, un standard toujours en cours de développement. Jolie performance ! Malheureusement, Le Monde et les médias en général ne sont pas toujours à la frange de l’innovation, et les sondages en sont la meilleure illustration.

Pour rappel, l’accord tacite entre les médias et les instituts de sondage sera bientôt à la retraite : il y a 64 ans, les médias américains faisaient découvrir à leur lectorat la course hippique avec des candidats à l’élection présidentielle, et même si tout le monde déplore le côté panem et circenses, tout le monde lit les sondages aujourd’hui, ne serait-ce que pour rappeler qu’ils construisent la réalité au moins autant qu’ils ne la capturent. L’argument bourdieusien était moins agressif que sa version actuelle, mais la connivence instituts-médias-politiques polarise les positions.

En France, on a en plus la chance d’avoir de fabuleux instituts de sondage qui échantillonnent et redressent de manière endogène, ce qui garantit qu’aucune contrainte scientifique ne viendra gâcher le spectacle. Parmi ces contraintes, la théorie des probabilités. Ce que l’on appelle “méthode par quotas”, et que les sondeurs eux-mêmes désignent comme une “recette de cuisine”, est en substance un affranchissement total du théorème central-limite ; vous êtes prévenus, mais vous regarderez quand même les courbes et lirez quand même les décimales flottantes.

Il est possible de modéliser sérieusement les données issues des sondages, sur le modèle de ce qui se fait aux États-Unis, mais aucun média ne joue actuellement ce jeu-là. Au lieu de ça, on lit des interviews affligeantes dans Le Monde ou dans Slate, qui a récemment redéfini le degré zéro de l’analyse journalistique appliquée aux pronostics électoraux. Je n’ai aucun grief personnel contre l’auteur ou contre Slate ; les deux publient certainement des feuillets de bonne facture en parallèle. Je suis plus inquiet pour les grandes rédactions qui dilapident le prestige de leurs titres, et pour la qualité du travail dans l’espace médiatique en général.

Si vous aimez la science-fiction de Moebius, alors vous êtes à peu près autant dans la réalité que si vous aimez les données des instituts de sondage et des quelques personnalités qui se prêtent au jeu de leur analyse. Et quand je vois une partie de l’humanité se réunir autour d’un cadavre, je pense très fort aux lecteurs de 20 Minutes dans le métro qui parcourent les baromètres “Plus/Moins” avec tout autant de naïveté.

Il me semble que voter pour la science passe aussi par un calibrage plus intelligent de la science des sondages, qui n’a presque aucune chance de s’exprimer dans le contexte que je décris ici à grands traits. Le duel Buisson-Garrigou n’a eu aucune conséquence positive sur ce contexte, ce qui est très dommage.

P.S. J’ai malencontreusement oublié de parler du frelatage de graphiques, en rapport avec les instituts de sondage qui prennent de moins en moins le soin de publier autre chose que des “slideshows” fabriqués sur des gabarits PowerPoint. Mais ce défaut dépasse leur sphère de responsabilité.