Du bon usage des tests Pisa

En 2006, date du dernier classement Pisa, la France a pris une nouvelle claque. Celle qui a longtemps cru à la supériorité de son modèle éducatif se classait 19^ème sur 30 pays de l'OCDE en sciences et 17^e pour la compréhension littéraire et les mathématiques. Comme à chaque publication de résultats et donc du fameux classement, certains ont applaudi, comme les Finlandais, arrivés en tête (comme d'habitude) ; d'autres ont gesticulé, entre colère et honte (suivez mon regard...), ou profite de ces classements pour dire tout le mal qu'ils pensaient du «mammouth». Car, en matière d'éducation et de scolarité, les tests Pisa (Programme International pour le Suivi des Acquis des élèves) sont une référence incontournable : ils servent à évaluer les systèmes scolaires des pays membres de l'OCDE (et plus si affinité).

Concrètement, Pisa consiste en une batterie de tests effectués tous les trois ans depuis 2000 sur un panel représentatif d'élèves de chaque pays, âgés d'environ 15 ans, âge moyen de fin de la scolarité obligatoire dans les pays de l'OCDE (1). Les élèves planchent tour à tour sur des exercices de mathématiques, de compréhension littéraire ou de sciences. «Mais Pisa, c'est bien plus que ça», pourrait être le slogan de l'OCDE. Car évaluer le niveau scolaire des enfants de différents pays, d'autres y avaient pensé avant. La «nouveauté Pisa»: l'OCDE se targue de tester, non pas les connaissances académiques ou les programmes scolaires des ados, mais leur capacité à appliquer ce qu'ils savent dans la vie réelle, de vérifier s'ils ont les outils nécessaires pour devenir des hommes et des femmes autonomes et libres.

Autrement dit, c'est une énorme machine, maintes et maintes fois huilée par l'OCDE, contrôlée à chaque étape (réalisation des tests, sélection des écoles, conditions de travail lors des tests, interprétation des résultats...). Seulement voilà: qui dit classement, dit perdants,  humiliations, contestations. La louable ambition de Pisa a toutefois ses limites.

Première critique: comment teste-t-on la capacité à être un homme ou une femme libre et autonome? Comment définir l'homme libre, le bon citoyen? «Les tests de Pisa ne s'intéressent pas à n'importe quel type de compétences, explique Nathalie Bulle (2), chercheuse au CNRS en sociologie de l'éducation, mais à celles supposées utiles au citoyen d'une de nos démocraties occidentales, où le libéralisme économique est censé être un principe organisateur majeur. L'orientation est pragmatique. On ne s'intéresse pas aux capacités réflexives ou créatrices à proprement parler, aux capacités d'expression, à la sensibilité et à la compréhension humaine etc.».

Pourtant, quand on y regarde de près, les exercices-témoins mis en ligne par l'OCDE ressemblent à s'y méprendre aux bons vieux exercices de Bled dont tout élève français a eu à souffrir: «Marie a 10 francs, elles doit acheter des pommes à tel prix, combien Marie achète de pommes?» « Il est illusoire de penser appréhender une capacité particulière à surmonter des problèmes de la vie réelle dès lors que l'on se situe dans les circonstances de résolution de problèmes académiquement définis, papier-crayon, QCM, etc, analyse Nathalie Bulle. Il y a en réalité une corrélation très forte entre la réussite à des tests fondés sur les programmes scolaires et la réussite à Pisa.» Finalement, Pisa est bien «old school».

Troisième biais: la propension (régulièrement saluée) des établissements français à faire redoubler leurs élèves induit qu'avoir 15 ans, en France ou au Japon, ne renvoie pas du tout au même niveau scolaire et donc au même niveau de connaissances. Au sein même des élèves français, on note ainsi de grands écarts de niveau. Ainsi, Julien Grenet, chercheur en économie, notamment de l'éducation et du travail, observe: « Les élèves âgés de 15 ans sont scolarisés dans plus de six classes différentes» et quatre «niveaux» distincts (1ère, élèves ayant un an d'avance; seconde, élèves «à l'heure»; 3^e, élèves avec 1 an de retard ; et 4^e, élèves avec 2 ans de retard).

Comment donc, évaluer le niveau d'un élève qui serait à plusieurs classes en dessous d'un autre? Et là se trouve peut-être une des réponses à l'affront subi par le peuple de France dans les classements Pisa : «Les élèves Français "à l'heure" à 15 ans et scolarisés en 2^nde générale et technologique obtenaient un score de 560 points qui les situait au niveau du score moyen obtenu par les Finlandais.»

Derrières le classement, des données passionnantes

Mais qu'il s'agisse des pro ou anti-Pisa, tout le monde s'accorde le mauvais traitement médiatique de l'enquête: nul, pourri, zéro, «rien compris les journaleux» (pour changer). En effet, en se concentrant sur le classement, on passerait complètement à côté de l'intérêt de Pisa. Julien Grenet explique: «Dans l'enquête Pisa, les scores moyens d'un pays sont en général affectés d'une marge d'erreur de plus ou moins cinq points.» Ainsi, si le score national est de 523 points, il est en réalité compris entre 518 et 528 points. «Dans le domaine de la compréhension de l'écrit en 2006, la performance française n'est pas significativement différente de la performance de 13 pays sur 55! L'habitude médiatique consistant à assigner une position déterminée à un pays dans le classement Pisa constitue donc une absurdité du point de vue statistique.»

Et toc! L'intérêt de l'enquête réside plus dans l'évolution d'un même pays d'un test à l'autre. Ainsi, si la France s'est classée 19^e en 2006 mais elle a surtout perdu 9 places par rapport aux tests de 2003: «L'enquête représente un bon thermomètre pour mesures des évolutions internes à un système éducatif donné, explique Nathalie Bulle, car ce sont à peu près les mêmes tests qui sont reconduits d'une enquête à l'autre.»

Derrière le classement, il y a en effet des trésors d'informations. Par exemple, on peut observer que, sur les trois compétences testées par le Pisa (s'informer, interpréter, réagir) les petits Français ont une sacrée faiblesse dans le dernier domaine. Excellents pour cocher des cases de QCM ou appliquer une formule, ils ont beaucoup plus de mal lorsqu'il s'agit d'exprimer une critique ou une opinion personnelle dans les questions ouvertes. «On peut se demander si les performances relativement médiocres des élèves Français (...), écrit encore Julien Grenet, ne proviennent pas en partie d'une approche pédagogique trop exclusivement axée sur l'accumulation de savoirs reçus passivement par les élèves, sans que l'utilité intrinsèque des compétences leur soit suffisamment expliquée.» (Spéciale dédicace aux traumatisés des algorithmes et autres théorèmes de Pythagore.)

Dernier point, et pas des moindres: le test s'accompagne d'un «questionnaire de l'élève». Les données alors récoltées valent, me semble-t-il, à elles seules que l'on soumette 400.000 élèves à une enquête longue, fastidieuse et critiquée. Car les questions posées sont une mine de renseignements sur la situation familiale, les professions des parents, les conditions de travail à la maison, les équipements ménagers, les diplômes que l'on compte obtenir... Entre autres «perles», Julien Grenet note les suivantes:

- quand on leur demande de noter de 1 à 10 l'effort qu'ils ont dû fournir pour répondre à l'enquête, les Français l'estiment à 7, se classant avant-dernier des 41 pays ayant participé au cycle Pisa 2003... Que conclure: qu'ils n'ont pas trouvé le test difficile ou surtout qu'ils n'ont pas jugé utile de se casser en deux pour répondre aux questions. Arrogance? Je m'en foutisme?

- à la question «l'enseignant(e) aide-t-il les élèves dans leur apprentissage?», 43,4% des élèves français ont répondu que c'était souvent ou toujours le cas, contre 64,6% en moyenne dans les pays de l'OCDE.

Dur dur d'être un écolier français.

Flore Thomasset

(1) Tous les trois ans depuis 2000, ça nous amène donc à 2009. Les résultats de l'enquête 2009, à laquelle 66 pays ont participé, seront publié le 7 décembre prochain.

(2) Voir aussi son analyse de Pisa.

(3) Dans laviedesidees.fr

Photo: lycée niçois, en 2009. Eric Gaillard / Reuters