Radio-Canada : il est bien de consulter, mais encore faut-il bien consulter

Le 5 mai dernier, le président-directeur général de CBC/Radio-Canada, Hubert T. Lacroix, faisait une allocution au Cercle canadien de Montréal pour exposer la situation financière de Radio-Canada. Le discours se voulait une présentation de l’impact des réductions budgétaires du gouvernement fédéral sur le diffuseur public, mais surtout une exposition de la nouvelle réalité provoquée par l’arrivée de nouveaux modes de consommation du contenu radiophonique et télévisuel. Puisque, pour reprendre les mots de son président, CBC/Radio-Canada est « à l’heure des choix », cette allocution servait également à lancer un sondage en ligne : « Transformer CBC/Radio-Canada pour l’avenir : dites-nous ce que vous en pensez ».

Cette volonté de consulter la population et les employé.e.s de Radio-Canada est très louable. Cependant, pour que cette consultation soit valide et représentative de l’opinion de ceux et de celles qui y participent, il faut s’assurer qu’elle suive les règles de l’art en termes de méthodologie. Malheureusement, après l’avoir soumise à quelques tests, nous parvenons à la conclusion que ce n’est pas le cas pour trois raisons majeures que nous exposerons ici soit les problèmes techniques et méthodologiques de l’échantillonnage, la direction politique qui imprègne l’ensemble du sondage et la construction des questions et des choix de réponses qui dirigent la réponse des sondé.e.s.

1. Problèmes d’échantillonnage

Il y a beaucoup de discussions entourant la portée scientifique des sondages effectués en ligne. En fait, les questionnements et les critiques sont principalement dirigés vers la construction du panel web. Malheureusement, le « sondage » de CBC/Radio-Canada ne respecte aucun des critères, même minimaux, qui permettent de considérer une « consultation » comme étant un sondage.

Le questionnaire est accessible à tout le monde. On peut y répondre un peu comme lorsque sur un site de nouvelles on trouve un encadré demande: « Devrait-on échanger tel ou tel joueur? » ou « Préférez-vous votre café avec du lait ou de la crème? ». Même si vous êtes dans une partie du monde qui n’a pas accès à la majorité du contenu du diffuseur public, vous pouvez tout de mêmeremplir le sondage. Cet échantillonnage est évidemment problématique, car il n’est en rien représentatif de la population comme c’est le cas avec un échantillonnage probabiliste.

Bien sûr, si le sondage actuel obtenait des réponses de 25 millions de Canadien.ne.s, nous aurions dès lors un très bon recensement sur la question. Cependant, dans le cas qui nous occupe, il y a un autre problème : il faut savoir si tous les répondants et toutes les répondantes sont des personnes différentes. Dans sa forme actuelle, on peut remplir plusieurs fois le sondage. Puisqu’il n’y a pas de sécurité pour savoir si c’est une machine ou un humain qui répond, nous pourrions développer un outil informatique automatisé pour le faire. Même si ce n’est pas nécessaire de soumettre au test de Turing toutes les personnes qui complètent le sondage, il existe des formes de sécurité simples et accessibles qui font très bien le travail. Pour paraphraser la fin de l’allocution de M. Lacroix, « Allons-y tout de suite, prenez votre téléphone intelligent, votre tablette, votre laptop et votre ordinateur de bureau et allez sur le sondage! ». Qu’est-ce qui nous dit que certaines personnes n’ont pas répondu à l’appel avec un peu trop d’enthousiasme, démontrant leur amour de la société d’État en répondant plusieurs fois? Dans le cas qui nous occupe, rien ne nous le prouve.

Les créateurs et créatrices de ce sondage ne pensent fort probablement pas avoir conçu une enquête probabiliste; laissons-leur le bénéfice du doute jusqu’à la présentation des résultats. Cependant, comme nous venons de le voir, les problèmes méthodologiques sont plus profonds que cette seule question. D’ailleurs, en étudiant plus spécifiquement le questionnaire, nous pouvons nous demander s’il faut attendre la compilation des réponses avant d’avoir une bonne idée des résultats.

2. Direction politique du sondage

Lorsqu’un sondage est commandé, il ne faut pas faire preuve de naïveté, il y a toujours un but à celui-ci. Toutefois, lors de son édification, il est normalement nécessaire d’éviter et d’évacuer au maximum cette direction afin de compiler des réponses qui sont le plus représentatif possible de ce que les répondant.e.s pensent véritablement. Ce processus vers une certaine objectivité a totalement échappé à la construction du présent sondage et ce, dès les premières lignes. Voici l’introduction du questionnaire :

CBC/Radio-Canada amorce une transition qui façonnera son avenir. Alors que l’industrie de la radiodiffusion change de manière fondamentale, nous devons faire des choix difficiles pour nous assurer que nous sommes capables de saisir les occasions qui s’offrent à nous et de nous positionner pour répondre aux besoins changeants des Canadiens.

Les questions ci-dessous portent sur les enjeux réels auxquels nous faisons face alors que nous élaborons un plan stratégique qui nous mènera jusqu’en 2020 et au-delà. Ce sondage a été développé pour connaître l’opinion des Canadiens sur le type de services qu’ils s’attendent à recevoir du diffuseur public maintenant et dans le futur.

Déjà, avant même d’avoir débuté le sondage, nous avons en tête deux choses :

–        Les changements sont inévitables
–        Les choix seront difficiles à faire, mais nécessaires pour préserver CBC/Radio-Canada.

Ces deux a priori politiques vont évidemment, à terme, orienter les réponses.

3. Formulation biaisée des questions

Le troisième élément qu’il faut souligner et qui pose problème dans « l’art » de construire un sondage est la rédaction de questions pour éviter qu’elles ne poussent les personnes sondées vers des réponses précises. Nous venons de montrer qu’il y avait un effort de présenter l’inévitabilité du changement dans l’introduction du sondage. Chacune des questions possède également une phrase introductive qui nous le rappelle constamment. Voici un exemple tiré de la consultation :

Les enfants consomment de plus en plus notre contenu télévisuel en ligne.

Q6 : En prévision de 2020, pensez-vous que nous devrions continuer d’offrir notre programmation pour enfants à la télévision traditionnelle ou en ligne seulement?

–        Conserver le service de télévision traditionnel
–        Transférer toute la programmation pour enfants sur Internet

Puisque les enfants consomment de plus en plus de contenu télévisuel en ligne pourquoi voudrais-je empêcher un enfant de faire ce qui lui plait ou lui convient? Pourquoi continuer à offrir un service désuet? Ainsi, la personne qui répond est poussée à choisir l’option qui propose le transfert de la programmation sur Internet.

Ce n’est pas un cas isolé. Toutes les questions du sondage possèdent ce biais afin que les répondant.e.s penchent davantage vers les nouveaux modes de diffusion des produits audiovisuels plutôt que vers les modes traditionnels. Entendons-nous, il n’est pas anormal de voir une introduction à une question dans un sondage. Toutefois, lorsqu’on utilise ce type de présentation, c’est pour offrir des informations indispensables afin de répondre à la question tout en prenant garde de ne pas orienter la réponse. À la lecture des questions, on peut affirmer qu’il sera difficile de se fier aux résultats de cette consultation pour savoir ce que pensent réellement les personnes qui y auront répondue.

De plus, si on porte une attention particulière au nombre de choix de réponses, la majorité des questions en comporte seulement deux. En logique, c’est ce que l’on appelle le dilemme du faux-choix. C’est-à-dire que l’on donne l’impression de la présence du libre arbitre pour le répondant ou la répondante, mais on ne lui donne pas le choix de réponse mitoyenne ou de non-réponse. C’est l’un au l’autre. Cette forme dichotomique de choix va presque automatiquement créer les conditions pour que la personne réponde selon l’orientation privilégiée par les concepteurs et conceptrices de l’enquête.

Au final, cette consultation louable mènera à des résultats dont on ne pourra assurer la validité. On ne saura pas combien de personnes y ont répondue, ni si ces personnes représentent la population canadienne ou si elles habitent au Canada. On ne saura pas non plus si elles répondent sincèrement ou le font après avoir été influencées par le discours politique qui précède le questionnaire. Enfin, on ne saura pas si leurs réponses ne sont pas simplement le reflet de la formulation des questions. Bref, malgré les bonnes intentions derrière ce sondage, la divulgation de ses résultats ne nous apprendra pas grand-chose de ce que la population veut faire de Radio-Canada.