Équipe néerlandaise

Les travaux de terrain aux Pays-Bas se sont déroulés de décembre 2015 à juillet 2016. L’équipe néerlandaise n’a entrepris qu’un seul cycle de collecte de données.

Le ministère néerlandais de l’Éducation a financé les travaux qui ont été menés par une société de recherche. Il y avait trois groupes distincts à l’étude, à savoir : des élèves du primaire pour lesquels l’expérience avait lieu en cours de mathématiques, des élèves du secondaire pour lesquels l’expérience était également menée en cours de mathématiques et des élèves du secondaire pour lesquels l’expérience concernait des cours d’arts visuels. Chacun de ces groupes disposait d’un chercheur spécialisé, d’un spécialiste en pédagogie, d’une plateforme numérique et de sessions de formation. Aux Pays-Bas, la distinction entre établissements publics et privés ne repose pas sur une source de financement différente, mais sur l’éventuel caractère religieux ou idéologique de l’établissement (qui n’est possible que dans un cadre privé). Au sein de l’échantillon, un juste équilibre a été trouvé entre établissements publics et privés.

L’équipe néerlandaise a fait état d’une expérience peu intensive (4 heures de sessions pédagogiques) et d’une courte durée écoulée entre les mesures pré- et post-expérience (évaluée à 19 semaines). Les élèves de l’équipe néerlandaise participant au projet ont obtenu au test de STIM pré-expérience les scores parmi les plus élevés du réseau international. Toutefois, ils étaient plus nombreux que la moyenne à provenir d’un milieu socio-économique plus défavorisé.

Dans cette équipe, le développement professionnel des enseignants a consisté en une session d’introduction au début du projet puis une activité de suivi organisée à mi-parcours de l’expérience. Des chercheurs et des spécialistes en pédagogie dans le domaine des mathématiques ou des arts visuels, extérieurs à l’équipe, ont apporté un soutien individuel supplémentaire aux enseignants. Ces derniers ont également participé à des entretiens et des groupes de discussion en vue d’obtenir des conseils et des commentaires relatifs à leurs pratiques pédagogiques. De plus, grâce à une plateforme en ligne, ils ont pu partager du matériel et travailler en collaboration avec des collègues.

Un réseau de conseillers locaux a joué le rôle de coordinateur entre les différents établissements participants. Il a encouragé la création d’une communauté professionnelle d’apprentissage en vue de favoriser la collaboration entre les enseignants pour qu’ils conçoivent de nouvelles activités et réfléchissent à leurs pratiques, grâce à une plateforme en ligne permettant d’échanger du matériel, des idées et des conseils.

Dans les classes du groupe expérimental, l’expérience pédagogique s’est articulée autour d’une approche progressive à trois étapes : 1) premièrement, une familiarisation des enseignants avec les référentiels de compétences de l’OCDE afin de pouvoir les intégrer sans difficulté à leurs cours et activités existants ; 2) puis, la conception de nouvelles activités pédagogiques centrées sur la créativité et l’esprit critique autour d’un axe commun (comparable) ; 3) enfin, l’élaboration sans aucune restriction de nouvelles formes d’activités pédagogiques.

Déclarations des enseignants et chefs d’établissement

• Un bon degré d’adoption du matériel du projet

• Une collaboration accrue avec les pairs en matière de créativité et d’esprit critique

• Une évolution des approches pédagogiques adoptées par les enseignants

• Une évolution positive de la motivation et de l’engagement des élèves

Les pratiques et points de vue des enseignants en matière de créativité et d’esprit critique ont évolué au cours du projet. À la fin de l’expérience, 87 % des enseignants dans le groupe expérimental ont déclaré avoir utilisé les référentiels de compétences du projet de diverses façons durant les six derniers mois, notamment pour repenser certains de leurs cours, ou en concevoir de nouveaux, mais également pour discuter avec leurs élèves de la créativité et de l’esprit critique (voir le graphique Figure 8.4). Toutefois, certains de ces enseignants ont rencontré des obstacles concernant le recours aux référentiels de compétences pour plusieurs raisons : une trop courte durée du projet pour utiliser ces référentiels de manière pertinente (43 %), un programme de cours ne laissant pas beaucoup de marge à la mise en œuvre de ces référentiels (43 %), ou une formation insuffisante à cet égard (57 %). Une minorité a par ailleurs estimé qu’elle avait trop d’élèves pour mettre en œuvre les stratégies pédagogiques induites par les référentiels de compétences (29 %), même si leur pertinence pour l’enseignement était unanimement reconnue.

Un pourcentage élevé d’enseignants dans le groupe expérimental ont indiqué une collaboration avec les pairs en rapport avec le projet au cours des six derniers mois, notamment des discussions avec des collègues au sujet de la créativité et de l’esprit critique des élèves (88 %) et une participation à des groupes de travail pour améliorer ou élaborer conjointement des plans de cours en phase avec les référentiels de compétences (50 %). Ils ont tous signalé une évolution en matière de pédagogie, que ce soit dans la façon de préparer leurs cours, concevoir les évaluations ou évaluer le travail des élèves. Ils ont également tous déclaré avoir changé d’idée au cours du projet concernant les implications relatives au développement de la créativité et de l’esprit critique chez les élèves, et fait preuve d’une plus grande constance dans leurs efforts visant à développer ces compétences chez les élèves. La plupart d’entre eux ont perçu une évolution de la motivation et de l’engagement des élèves (88 %), de leur plaisir à l’égard des cours (75 %), de leur autonomie en tant qu’apprenants (63 %) ainsi que du climat général en classe (63 %). Ils ont tous estimé que leur participation au projet constituait une expérience positive, voire très positive.

Au début du projet, plusieurs chefs d’établissement estimaient déjà que les projets d’innovation antérieurs avaient impacté de façon très positive la performance scolaire des élèves (50 %), la motivation et l’engagement au sein de leur établissement (70 %) et le développement professionnel des enseignants (90 %), malgré le manque de temps et l’insuffisance des fonds disponibles en raison des activités de la vie scolaire. À la fin du projet, les sept chefs d’établissement dans le groupe expérimental ont déclaré que le projet avait contribué à accroître les possibilités d’apprentissage pour les élèves, et nombre d’entre eux étaient persuadés que leurs enseignants continueraient très probablement à utiliser le matériel du projet durant les années suivantes, espérant ainsi que cette expérience soit pérennisée.

Graphique 8.4. Adoption quasi généralisée des référentiels de compétences du projet de la part des enseignants de l’équipe néerlandaise

Pourcentage d’enseignants dans le groupe expérimental ayant déclaré avoir utilisé les référentiels de compétences

Remarque : les segments du diagramme représentent le pourcentage d’enseignants ayant utilisé les référentiels de compétences au cours des six derniers mois du projet.

 StatLink https://doi.org/10.1787/888934122532

Résultats de l’expérience selon les élèves

• De meilleurs résultats aux tests de performance et au test d’évaluation de la créativité

• Une plus grande importance accordée à la créativité et à l’esprit critique dans les cours de mathématiques

• Un intérêt accru pour la créativité et l’esprit critique

• Aucun impact lié au sexe ou au milieu socio-économique des élèves

Certains des résultats signalés par les enseignants étaient conformes aux déclarations des élèves (voir le graphique Figure 8.5). Le premier point important repose sur le fait que les élèves ont perçu les évolutions en matière de pédagogie dont les enseignants avaient fait part. Dans l’enseignement secondaire, on a observé une hausse statistiquement significative de l’utilisation perçue de pratiques en lien avec la créativité et l’esprit critique en cours de mathématiques (élément central de l’expérience). L’expérience pédagogique semble avoir particulièrement bien marché pour les élèves du secondaire, qui ont démontré un intérêt et un engagement accrus à plusieurs égards. En effet, par rapport à leurs homologues dans les classes du groupe de contrôle, ils ont obtenu de meilleurs scores au test de sciences, technologie, ingénierie et mathématiques (STIM), au test d’évaluation de la créativité et test d’arts visuels et musique. Ils ont également développé une meilleure opinion de leur créativité et de leur esprit critique, et ont amélioré la compréhension qu’ils avaient de ces deux compétences.

Les impacts positifs enregistrés dans les établissements d’enseignement secondaire n’ont pas été observés dans l’enseignement primaire. Les élèves du primaire ont néanmoins connu une hausse statistiquement significative de leur niveau de curiosité (c’est-à-dire une plus grande propension à apprendre des choses pour lesquelles ils n’avaient au départ aucun intérêt). D’autres analyses menées par l’équipe locale ont mis en évidence le fait qu’à la fin du projet les élèves du primaire dans le groupe expérimental ont déclaré avoir plus souvent travaillé en groupes que leurs pairs dans le groupe de contrôle.

Graphique 8.5. Effets de l’expérience sur les résultats des élèves de l’équipe néerlandaise

Remarques : STIM : sciences, technologie, ingénierie et mathématiques. Les bâtons du diagramme représentent les estimations de coefficients tandis que les lignes noires symbolisent les intervalles de confiance. Tous les effets sont statistiquement significatifs avec un niveau de confiance estimé à 80 %. Le groupe expérimental et le groupe de contrôle ont été comparés après un appariement des coefficients de propension.

 StatLink https://doi.org/10.1787/888934122551

De plus, il semble que les élèves qui comprenaient mieux la notion d’esprit critique au début du projet ont obtenu de meilleurs résultats. Il semblerait également que le milieu socio-économique, le statut au regard de l’immigration et le sexe des élèves n’aient pas joué un rôle déterminant. Dans les établissements d’enseignement secondaire, l’expérience en cours de mathématiques, par rapport à celle menée en cours d’arts visuels, a conduit à l’obtention de meilleurs scores aux tests de performance.

Les coordinateurs locaux ont réalisé des analyses complémentaires axées sur les pratiques et attitudes des élèves en classe. Ils ont constaté des différences significatives entre les élèves du groupe de contrôle et ceux du groupe expérimental qui ont connu plus d’activités de groupe (un résultat prévu) et moins de projets faisant appel à l’imagination (un résultat imprévu). Par ailleurs, les progrès réalisés par les élèves variaient en fonction de la didactique adoptée par leurs enseignants. Par exemple, les élèves dont les enseignants avaient tendance à donner des devoirs axés sur un projet et d’une durée d’une semaine ont fini par établir davantage de liens entre les différentes matières, et ceux dont les enseignants avaient recours à des exemples de la vie quotidienne pour démontrer l’utilité du contenu enseigné ont plus souvent été invités à utiliser leur imagination.

La pluralité des contextes et des expériences pédagogiques a conduit à l’évaluation des effets directs et indirects de nombreuses variables explicatives concernant plusieurs résultats au niveau des élèves et des enseignants. La taille des échantillons n’a toutefois pas toujours permis de bien mettre en évidence, chez les élèves, les évolutions importantes observées en matière d’attitudes et de pratiques des enseignants. Si dans certains cas, les premières observations ont fait apparaître des résultats paradoxaux, le plan de suivi adopté pour le projet s’est toutefois avéré efficace et fructueux à bien des égards. La brève expérience pédagogique avec les enseignants a favorisé une certaine évolution de leurs méthodes d’enseignement et a influencé plusieurs dimensions de la créativité et de l’esprit critique des élèves. Les facteurs contextuels, l’ampleur des effets et leurs principaux bénéficiaires devront être évalués dans le cadre d’une étude de validation.

Les participants au projet

Remarques : EPoC : Évaluation du potentiel créatif ; STIM : sciences, technologie, ingénierie et mathématiques ; AVM : arts visuels et musique.

Comparés aux élèves des autres équipes, ceux de l’équipe néerlandaise provenaient plus souvent d’un milieu socio-économique plus défavorisé (soit 26 %, contre des pourcentages observés dans le projet oscillant entre 2 et 30 %) et étaient moins souvent issus de l’immigration (soit 8 %, contre des pourcentages allant de 1 à 44 % dans les autres équipes). Le score moyen au test de STIM pré-expérience était parmi les plus élevés (soit 60, contre une fourchette des scores observés dans le projet allant de 36 à 62), et la proportion de classes affichant un climat positif avoisinait la moyenne (soit 55 %, contre des pourcentages oscillant entre 34 et 66 % dans les autres équipes). S’agissant de l’opinion relative qu’avaient les élèves de leur propre niveau de compétences en créativité et en esprit critique, la proportion de ceux s’étant évalués comme assez créatifs ou très créatifs se situait dans la moyenne (soit 75 %, contre des pourcentages observés dans le projet oscillant entre 67 et 91 %), tandis que sur le plan de l’esprit critique cette proportion était parmi les plus élevées (soit 74 %, contre des pourcentages oscillant entre 58 et 82 % dans les autres équipes). Enfin, le temps écoulé entre les mesures pré- et post-expérience était plus court que la moyenne (soit 19 semaines, contre 13 à 42 semaines pour les autres équipes), comme l’était également la durée des expériences pédagogiques (évaluée en moyenne à 4 heures pour chaque classe, contre une moyenne observée dans le projet estimée à 15 heures par classe).

Dans l’ensemble, l’équipe néerlandaise était composée de 375 élèves du primaire et 499 du secondaire, soit un total de 874 élèves. Un déséquilibre au niveau de la taille des échantillons du groupe de contrôle et du groupe expérimental a été observé, s’agissant notamment des élèves du primaire dont les deux tiers appartenaient au groupe de contrôle (voir la partie située à gauche du graphique Figure 8.6). Ce déséquilibre était principalement imputable aux modifications survenues dans le calendrier du projet, qui ont amené certains établissements à passer du groupe expérimental au groupe de contrôle car l’échéancier mis à jour pour l’expérience n’était plus compatible avec leur propre calendrier.

Le groupe de contrôle et le groupe expérimental présentaient quelques différences en termes de sexe et de milieu socio-culturel, et s’éloignaient parfois grandement de ce que l’on pourrait attendre d’un échantillon représentatif à l’échelle nationale (en prenant pour référence l’enquête PISA 2015 ; voir la section 7.4.3 du chapitre 7 pour plus de précisions au sujet des valeurs de référence de l’enquête PISA). En effet, les filles étaient légèrement surreprésentées tant dans l’enseignement primaire que secondaire. Le groupe de contrôle et le groupe expérimental étaient équilibrés s’agissant du milieu socio-culturel des élèves (voir la partie située à droite du graphique Figure 8.6). Toutefois, par rapport à un échantillon représentatif, les classes du primaire présentaient un profil similaire à celui observé dans l’enquête PISA 2015, tandis que pour celles du secondaire on enregistrait une forte surreprésentation des élèves issus d’un milieu socio-culturel plus favorisé.

Dans l’équipe néerlandaise, 37 enseignants ont participé au projet. Parmi ceux-ci 19 ont répondu aux questionnaires. Les enseignants étaient répartis de manière uniforme entre les établissements d’enseignement primaire et secondaire. Dans le primaire, environ la moitié de ces enseignants a pris part à l’expérience, tandis que dans le secondaire la quasi-totalité des enseignants y a participé. La majorité des enseignants (72 %) a déclaré disposer d’un minimum de six ans d’ancienneté dans la profession et plus de 90 % étaient titulaires d’une licence ou d’un diplôme de niveau supérieur. À l’échelle des établissements, le questionnaire de référence a permis de recueillir les points de vue de 15 chefs d’établissement sur les projets d’innovations antérieurs et actuels.

Le taux de réponse enregistré chez les élèves était satisfaisant, avec 73 % des 874 élèves ayant répondu à au moins un instrument pré- et post-expérience, tant dans l’enseignement primaire que secondaire. Pour les deux instruments évalués séparément, les taux d’attrition étaient faibles : parmi les élèves ayant répondu à l’instrument pré-expérience (en amont de l’expérience), 69 % d’entre eux ont rempli le questionnaire contextuel post-expérience, 62 % ont passé le test de STIM post-expérience, 75 % le test d’AVM (arts visuels et musique) post-expérience et 56 % le test EPoC d’évaluation de la créativité post-expérience. La collecte de données a été menée avec succès, et le traitement statistique utilisé pour garantir la comparabilité des résultats n’a causé que des pertes de données minimes.

Graphique 8.6. Élèves de l’équipe néerlandaise participant au projet

Remarque : les données de référence de l’enquête PISA 2015 sont considérées comme représentatives de l’ensemble des élèves de 15 ans à l’échelle nationale.

 StatLink https://doi.org/10.1787/888934122570

Le taux de réponse observé parmi les enseignants et chefs d’établissement était également élevé. Sur les 37 enseignants ayant pris part au projet, la moitié d’entre eux a rempli le questionnaire de référence et près d’un tiers le questionnaire post-expérience. Cet échantillon permet d’apporter des informations essentielles sur les évolutions dont les enseignants de l’équipe néerlandaise ont fait part concernant leurs sentiments, pratiques et évaluations en matière de créativité et esprit critique. Enfin, sur les 15 chefs d’établissement ayant rempli le questionnaire « Établissement » pré-expérience, 7 ont également répondu au questionnaire post-expérience.