À la fin du mois de juin, Luc Godbout et Suzie St-Cerny publiaient une étude portant sur l’évolution des revenus des ménages de 1976 à 2011. Le document défend la thèse que si l’on prend en considération les changements de composition des ménages et la diminution de la taille de ceux-ci, nous observons une hausse importante des revenus pendant cette période. Les deux auteur∙e∙s nous offrent un portrait différent des analyses statistiques précédentes à propos de l’évolution des revenus, analyses qui stipulent plutôt une baisse ou une stagnation des revenus pendant la période étudiée.

Forcément, une étude qui va à l’encontre de ce qui a été énoncé auparavant suscitera des réactions. Sans surprise, l’étude a subi les foudres du député Amir Khadir (critique à laquelle Luc Godbout a répondu) et a reçu les louanges d’Alain Dubuc et de Francis Vailles. Ces interventions ont généralement relevé davantage de la réflexion politique que de l’analyse de la recherche per se, ce qui n’enlève évidemment rien à la nécessité de formuler celles-ci. D’autres interventions critiques ont analysé les implications méthodologiques déployées dans l’étude. Le billet produit par Jeanne Émard entre dans cette catégorie. Je ne veux pas revenir spécifiquement sur ces différentes interventions, mais plusieurs des réflexions que je présente dans le présent billet ont été générées par leur lecture.

Bien que je m’attarde principalement aux questions méthodologiques de l’étude, il est important de mentionner que les impacts politiques potentiels de cette étude sont importants. Dans un premier temps, il est arrivé à plusieurs reprises que les travaux signés par Luc Godbout aient servi à la mise en place de politiques néo-libérales. Ce fut, entre autres, le cas avec la révolution tarifaire du ministre Bachand. Le présent gouvernement libéral semble vouloir encore une fois s’appuyer sur les travaux du fiscaliste afin d’implanter une transformation fiscale qui risque fort d’accentuer les inégalités de revenus au Québec. Évidemment, l’appui d’une étude nous disant que les revenus ont augmenté et que ce sont souvent ceux des plus pauvres qui ont augmenté le plus rapidement, pourrait être pratique au niveau rhétorique pour la mise en place d’une fiscalité régressive.

Dans ce premier billet, je veux me pencher sur un problème important de l’étude qui, je crois, nous permet de douter de la validité de ses conclusions. En effet, je tenterai de démontrer ici que le choix fait par Godbout et St-Cerny de prendre seulement deux années et non de nous donner une plus longue série d’années fausse le résultat. Dans un billet subséquent, je me pencherai sur un autre problème méthodologique important, celui de la projection de l’échantillon sur la population.

Le choix des années

Pourquoi avoir choisi 1976 et 2011? Bien qu’il n’y ait pas de justification du choix des années étudiées dans la méthodologie de l’étude, le choix de ces deux années ne pose pas, d’emblée, de problème. La raison de ce choix est probablement aussi simple que les données les plus récentes étaient celles de 2011 et les plus anciennes disponibles à la comparaison dataient de 1976.

Le problème se situe dans le fait  qu’lis ne choisissent que deux points arbitraires dans le temps, ce qui fait en sorte que nous ne pouvons pas comprendre convenablement l’évolution des revenus des ménages ni distinguer une tendance claire. Dans le graphique 1, je reprends les mêmes données que Godbout et St-Cerny et je présente la variation annuelle du revenu médian après impôt selon le type de ménage.

Source : Statistique Canada, CANSIM 202-0702 calcul de l’IRIS.

Comme nous pouvons l’observer, sur la longue période qu’ont choisi d’étudier les auteur·e·s, l’évolution annuelle du revenu ne suit pas une tendance stable ou claire. De plus, les différences annuelles peuvent augmenter de près de 20% une année et diminuer de 25% l’année suivante, comme c’est le cas pour les familles monoparentales entre 1981 et 1982. Ces variations montrent bien que les données utilisées par Godbout et St-Cerny ne permettent pas de tirer une conclusion claire sur l’évolution des revenus.

Les différences annuelles sont encore plus importantes lorsque nous observons le revenu de marché comme nous le faisons au graphique 2, avec des variations annuelles pouvant atteindre près de 50%. Ce qui est le cas pour les familles monoparentales et les personnes seules au début des années 1990.

Source : Statistique Canada, CANSIM 202-0702 calcul de l’IRIS.

Dans les deux cas (revenu de marché et revenu après impôt) nous observons des variations très importantes qui limitent beaucoup la portée de l’étude. Puisque l’analyse ne repose que sur deux points, elle dresse un faux portrait de l’évolution. Le choix de ces deux points a des impacts sur les conclusions, surtout provenant d’une analyse comparative si sommaire. Comme cela peut sembler bien abstrait, prenons le temps d’illustrer mon propos.

Au tableau 1, nous pouvons voir à quel point le choix d’une année comparativement à une autre va produire des différences substantielles. Ce tableau expose entre autres le problème de prendre deux années au hasard lorsque les fluctuations annuelles sont si importantes. Il est évident que j’ai repris les cas extrêmes de la distribution, mais l’étude de Luc Godbout et Suzie St-Cerny, en ne prenant que l’année la plus ancienne et la plus récente, ne prouve d’aucune manière (sur le plan méthodologique) que leurs choix représentent vraiment l’évolution des revenus. Ainsi, pour une famille de personnes âgées, nous pouvons voir une variation de 15,6 points de pourcentage entre 1976 et 2011, tandis qu’il y aurait une baisse de 5,4% de leur revenu si nous prenions 1978 pour année de départ de l’analyse. L’étude aurait ainsi surestimé de manière importante l’augmentation des revenus. À l’opposé, les familles monoparentales ont vu leur revenu augmenter de 133,9 points de pourcentage entre 1984 et 2009, alors que l’étude parlerait plutôt d’une variation autour de 65 points. Bref, ce qui fait défaut dans cette étude c’est qu’elle ne se base que sur deux années et conclut que ces deux seules années sont la réalité.

Tableau 1 : Variation du revenu de marché médian, en dollars constants, selon diverses unités familiales.

Source : Statistique Canada, CANSIM 202-0702 calcul de l’IRIS.

Il arrive fréquemment qu’un choix méthodologique, plus souvent qu’autrement appliqué de bonne foi, ait des impacts sur les conclusions d’une recherche. C’est pourquoi, lors d’observations qui s’étendent sur une longue période, il n’est pas adéquat de se limiter simplement à deux points. Il faut plutôt observer de quelle manière se comportent nos variables à différents moments. Il n’y a pas d’obligation de le faire pour chacune des années étudiées : par exemple, une étude par tranche de cinq ans pourrait être suffisante. De plus, cette manière d’effectuer une recherche par plus petites tranches d’années aurait permis de cibler avec plus de précision les sources des fluctuations (par exemple une crise économique, une politique de hausse substantielle du salaire minimum ou encore la mise en place d’une politique familiale). De plus, en observant de telles variations annuelles, le premier réflexe des auteur·e·s aurait dû être de travailler avec les erreurs-types des échantillons afin d’exposer leurs écarts annuels, ce que l’on nomme en statistiques des intervalles de confiance. Comme je vais le présenter dans un prochain billet, ce qui pourrait expliquer ces fluctuations importantes d’une année à l’autre, est le fait que les écarts-types sont assez élevés. Ce qui veut dire qu’une mesure de tendance centrale comme la médiane, peut fluctuer d’une année à l’autre sans que, dans la réalité, les revenus aient vraiment augmenté ou diminué.

En ne prenant que ces deux années, l’étude nous offre un portrait trop incomplet de l’évolution des revenus pour que nous puissions réellement parler d’une «évolution» constante des revenus dans la période, contrairement à ce que le titre pourrait laisser sous-entendre. Mais cette remarque n’est pas le problème le plus important pouvant ressortir de la publication de cette étude. Comme nous l’avons dit dans l’introduction, les travaux de Luc Godbout sont souvent utilisés pour justifier l’implantation de certaines politiques publiques. Cette dernière étude pourrait très bien servir à légitimer de nouvelles mesures néolibérales sous prétexte que les gens sont plus riches qu’ils le prétendent, alors que ce constat même a été démonté dans ce texte.