Ce que ne dit pas le PISA

Je n’ai pas encore entièrement lu le dernier rapport du Programme international pour le suivi des acquis des élèves (PISA) de l’OCDE, mais je vais quand même en toucher un mot, très général. Comme on le sait, il met cette fois l’accent sur la lecture, et il semble clair que les élèves canadiens, mais surtout québécois, ont extrêmement bien réussi — en lecture, objet principal de cette édition, mais aussi dans les deux autres domaines secondaires évalués, les sciences et les mathématiques.

Voilà une nouvelle dont on doit se réjouir, même si, depuis 2000, l’année du lancement du programme, nos résultats déclinent un peu en mathématiques et en sciences, et un peu plus en lecture.

Mes remarques portent sur l’interprétation de ces résultats et sur de possibles dangers qui nous guettent ce faisant.

Il est d’abord important que ces beaux résultats ne nous fassent pas oublier les grands défis que nous devons affronter en éducation. Parmi eux, notamment, les taux élevés de décrochage, toute la problématique de l’identification et du traitement des troubles d’apprentissage, la question de la formation des enseignants, l’actuelle terrible pénurie qui frappe cette profession, sans oublier le caractère inéquitable de notre système scolaire, avec ces grandes inégalités qu’on y trouve et qu’il reproduit, voire accentue.

Il faut ensuite regarder de plus près ces résultats, car derrière les bonnes nouvelles il y en a, hélas, de moins bonnes. Je pense en particulier, en lecture justement, à cet écart entre les sexes qui perdure : si 18 % des filles ont un rendement élevé en lecture, ils ne sont que 12 % des garçons à atteindre ce niveau. On doit aussi porter une grande attention à ces trop nombreux élèves qui ont une moindre, voire une faible maîtrise des compétences en lecture.

Il faut enfin, et sans doute surtout, se rappeler ce que ne dit pas le PISA et ce que signifie ce qu’il dit.

Une enquête comme celle-là est a priori à l’abri de sévères critiques méthodologiques, mais elle ne peut, par définition, que mesurer ce qu’elle mesure. Sont ainsi ignorés des éléments qu’on peut raisonnablement penser présents, importants et jouant un rôle causal dans ces résultats — comme le statut socioéconomique ou la prévalence du tutorat.

Mais surtout, cette enquête mesure des compétences. En lecture, elle cherche à cerner la « maîtrise requise des compétences […] pour pouvoir saisir de nouvelles occasions d’apprentissage et participer pleinement à la vie dans la société moderne ».

Il y a là, depuis toujours, un vaste débat se déployant sur fond de rapports contestés entre savoirs et compétences. Pour apprécier les résultats du PISA, il est crucial de bien voir ce qu’il met en évidence et qui n’est pas, avec des nuances qui sont une bonne part du débat, le savoir ou le curriculum scolaire.

Il pourra être utile de donner un exemple.

Pour une des épreuves, les élèves lisent cette mise en situation :

« Vous rendez visite à des membres de votre famille, qui se sont récemment installés dans une ferme pour élever des volailles. Vous demandez à votre tante : Comment as-tu appris à élever les volailles ? »

Elle explique : « Nous avons parlé à de nombreux éleveurs de volailles. Et puis il existe un tas de ressources sur Internet. Par exemple, il y a un forum sur la santé des volailles que j’aime consulter. Cela m’a beaucoup aidée dernièrement, quand une de mes poules s’est blessée à la patte. Je vais te montrer la discussion qu’on a eue. »

Sur le site en question, elle a écrit.

« Bonjour à tous !

Est-ce que je peux donner de l’aspirine à ma poule ? Elle a deux ans et je pense qu’elle s’est blessée à la patte. Je ne peux pas aller chez le vétérinaire avant lundi, et je n’arrive pas à l’avoir au téléphone. Elle a l’air d’avoir très mal. J’aimerais lui donner quelque chose pour la soulager en attendant d’aller chez le vétérinaire. Merci pour votre aide. »

Des interventions suivent. Certaines répondent à la question posée ; d’autres pas, et sont des interventions sur autre chose.

On vous posera sur tout cela sept questions. Cinq sont à choix multiples : par exemple, il faut dire ce que voulait savoir votre parente ou indiquer les messages qui sont en rapport avec le sujet et ceux qui ne le sont pas. Deux questions demandent un court développement qui justifie votre réponse.

Pour que l’exercice soit réussi, il faut mobiliser des processus cognitifs, par exemple montrer qu’on peut, en lisant un texte, rendre compte de son sens littéral, qu’on est en mesure d’intégrer des informations et de produire des inférences.

Mais tout cela doit aussi, pour qu’une éducation soit réussie, se faire avec et à propos de savoirs transmis dans un riche curriculum. On peut même penser que, sans lui, il devient difficile d’exercer ces importants processus cognitifs dont parle le PISA, d’exercer son esprit critique, d’être autonome et pleinement citoyen.

Le PISA le sait et a donc prévu des exercices de sens. Il fallait cette fois distinguer entre fait et opinion dans un texte portant sur un sujet peu familier. Les meilleurs pays en lecture ont cette fois des résultats pitoyables. Un élève sur sept, au Canada, y parvient.

J’en conclus qu’on ne saurait faire, ici comme dans les autres pays, l’économie d’une réflexion sur notre curriculum à nous et ce qui le justifie.

Ce qui m’amène à une dernière remarque. Malgré les mérites qu’on peut reconnaître au PISA, malgré sa volonté de comparer les systèmes d’éducation, il faut résister à la tentation d’en faire la boussole qui seule guiderait nos choix pédagogiques.

Les perles de la semaine

« Tout d’abord, il est important de commencer au début. »

« Les barrages hydroélectriques sans eau n’existeraient pas. »

« En fin de conte… »


 
27 commentaires
  • Mathieu Lacoste - Inscrit 7 décembre 2019 03 h 30

    « ''Est-ce que je peux donner de l’aspirine à ma poule ?''» (Ma tante)



    « On vous posera sept questions. Par exemple, il faut dire ce que voulait savoir votre [tante]»
    .

    Oh! Wow! Mais! Quelle question!

    Et c'est à ce genre de balivernes que l'on convie les élèves pour les évaluer?

    Et parmi ces derniers, il s'en trouve qui échouent? Tu parles! Mais? Que voulait donc ma poule?

    Et l'on plastronne et l'on crie au phénomène, parce que dix-huit pour cent de nos chérubins ont réussi à répondre à la question?

    - « les élèves québécois ont extrêmement bien réussi en lecture»;

    Eh bien! Voilà un succès (!) que je me garderai bien de claironner…

  • Marie Nobert - Abonnée 7 décembre 2019 04 h 03

    Pur délice que ces perles.

    Encore une fois: «Margaritas ante porcos», mais ça, c'est une histoire de «comte» qui a vaincu (ouille!). (!)

    JHS Baril

  • Marie Allard - Inscrite 7 décembre 2019 05 h 22

    Que valent vraiment ces résultats?

    Que valent vraiment ces résultats? Est-ce que le taux de participation des écoles québécoises était plus élevé qu’en 2015? https://www.lapresse.ca/actualites/education/201612/07/01-5049239-les-resultats-quebecois-aux-tests-pisa-remis-en-question.php

    Je me souviens également que lorsque j'étais au secondaire, on suggérait fortement aux élèves plus faibles de rester chez eux la journée du test...

    • Cyril Dionne - Abonné 7 décembre 2019 11 h 16

      « Que valent vraiment ces résultats? »

      Aussi bien dire, que vaut n’importe lequel test surtout lorsqu’on y échoue. Désolé pour les petits lapins et lapines sensibles, c’est la réalité partout dans le monde. On vérifie les connaissances et les compétences de gens qu’on veut embaucher. Misère. Lorsque je travaillais pour l’industrie nucléaire en Ontario (Hydro Ontario), eh bien, la note de passage était de 80% pour les évaluations, sinon, vous étiez recaler.

      Oui, le taux de réponse des écoles québécoises était peut-être inférieur à la norme exigée (85%), mais ceci n’invalide pas les résultats obtenus. Que pensez-vous qu’il se passe dans les autres pays pour avoir des bons résultats? Vous pensez qu’en Chine dictatoriale, où ils sont arrivés bon premier au test de PISA en 2018, qu’ils n’encouragent pas ceux qui sont plus aptes à réussir? Idem pour l’Ontario et les autres provinces. Pour les États-Unis, même si les dépenses par étudiant sont largement supérieures qu’au Canada, la médiocrité semble être de mise dans leurs écoles publiques vu la non-valorisation de l'éducation et leurs enseignant.e.s, monétairement ou autre.

      Les inégalités existent partout dans le monde et les problèmes d’apprentissage aussi. Même si vous dépister une anomalie d’apprentissage en maternelle 4 ans, cela ne veut pas dire que l’enfant deviendra performant plus tard. Son problème d’apprentissage le suivra tout au long de son cheminent scolaire qui culminera à la fin de son secondaire, s’il ne décroche pas avant. C’est une facon efficace pour les écoles de justifier des notes de passage sans subir un procès d’intention de la part des parents.

      Mais ce que je retiens surtout des résultats de ce test, c’est le 5e rang mondial obtenu par les élèves québécois en mathématiques. Pardieu, nous débutons la 4e révolution industrielle de l’automation, de la robotique intelligente et de l’intelligence artificielle. En fait, nous nous sommes aussi améliorer en sciences avec notre 7e place.

    • Marc Levesque - Abonné 8 décembre 2019 12 h 16

      @Marie Allard

      "Que valent vraiment ces résultats?"

      Bonne question. Merci pour le lien. D'accord avec vous qu'il faut certainement prendre en compte les biais d’échantillonnage possibles avec une étude comme le PISA, biais qui semblaient être assez marquer au Québec. L'auteur de la chronique y fait allusion mais seulement pour nous rassurer et sans avancer de chiffres. Aussi plusieurs résultats inquiétants de l'étude au Québec méritent aussi qu'on s'y attarde si on veut avoir une vue plus juste des moyens et corrections nécessaires pour améliorer les choses pour tous les étudiants (sans focaliser sur la comparaison entre le Québec et les autres provinces Canadienne):

      https://ici.radio-canada.ca/nouvelle/1323620/education-rapport-quebec-ocde-pisa-canada-ecoles-publiques

      -"Dans certains pays performants (Islande, Finlande, Norvège), on n’observe aucun point d’écart de performance chez les élèves défavorisés selon le type d’établissement qu’ils fréquentent", note le Mouvement dans son rapport"

    • Marc Levesque - Abonné 8 décembre 2019 14 h 47

      Correction à ma réplique, et nuance,

      J'ai écrit : "aussi plusieurs résultats inquiétants de l'étude au Québec méritent aussi qu'on s'y attarde si on veut avoir une vue plus juste des moyens et corrections nécessaires pour améliorer les choses pour tous les étudiants".

      Je veux préciser que l'auteur ne s'y attarde peut-être pas mais tout de même en mentionne plusieurs, dont:

      "... Il est d’abord important que ces beaux résultats ne nous fassent pas oublier les grands défis que nous devons affronter en éducation. Parmi eux, notamment, les taux élevés de décrochage, toute la problématique de l’identification et du traitement des troubles d’apprentissage, la question de la formation des enseignants, l’actuelle terrible pénurie qui frappe cette profession, sans oublier le caractère inéquitable de notre système scolaire, avec ces grandes inégalités qu’on y trouve et qu’il reproduit, voire accentue ... "

  • Roch-André LeBlanc - Abonné 7 décembre 2019 06 h 13

    Quand la mariée est trop belle...

  • Françoise Labelle - Abonnée 7 décembre 2019 06 h 39

    Le sens littéral ne suffit pas

    Pour comprendre un texte, il faut avoir une connaissance du monde suffisante et comprendre les intentions des acteurs. Les intentions sont un problème important pour l'imitation artificielle et pour certains autistes moyens (Rita Carter, Mapping the mind).
    Il y a deux types d'inférences qu'on ne peut absolument pas confondre. L'implication logique (sémantique, qui dépend du sens des mots): toutes les poules sont malades donc quelques-unes le sont.
    Et l'implicitation logique, d'ordre pragmatique, reposant sur la perception des intentions et un principe humain de coopération: on doit donner l'information maximalement vraie. Si je m'enquiers de la santé des poules et que vous me répondez que quelques-unes sont malades, je concluerai qu'elles ne le sont pas toutes parce que je prends pour acquis que vous me donnez l'information maximalement vraie.

    Si on mêle les deux types de conclusions, on aboutit à une contradiction. De «toutes», on conclut «quelques-unes» et de «quelques-unes», on conclurait «pas toutes». De «toutes» on aboutit à «pas toutes». Les mots des langues peuvent être ordonnés selon une échelle pragmatique d'information maximale. C'est une univers différent de la sémantique sur laquelle la logique mathématique est basée. C'est tout l'univers de la suggestion, comme «la tête sur le billot» de Pierre Trudeau.

    Si on interroge sur les intentions de la tante en consultant Internet, l'imitation artificielle et l'autiste moyen pourraient très bien échouer. D'autre part, le concept de littératie mesure-t-il seulement la lecture ou ne mesure-t-il pas aussi la connaissance du monde et la perception des intentions?