Équipe brésilienne

Au Brésil, les travaux ont été menés durant toute la durée de la phase de développement du projet. L’expérience auprès des élèves s’est étendue sur deux années scolaires, de mai 2016 à décembre 2017. Si l’équipe brésilienne a pris part aux deux cycles du projet, il n’y a pas eu de collecte de données quantitatives lors du second cycle en raison d’une différence de calendrier scolaire entre l’hémisphère sud et l’hémisphère nord. Les observations qualitatives sur le terrain se sont néanmoins poursuivies lors de la seconde année scolaire.

Le projet OCDE-CERI a été mis en place dans la ville de Chapecó, dans l’État de Santa Catarina (situé dans le sud du pays). Étant donné la grande importance accordée par le gouvernement de cet État et par les autorités municipales au développement des compétences dites « du XXI^e siècle », le projet a reçu un appui sans réserve de la part des responsables politiques locaux. Les travaux de terrain ont été menés par la Fondation Ayrton Senna. Il s’agit d’un organisme à but non lucratif dans le domaine de l’éducation qui œuvre à la promotion du développement cognitif, social et émotionnel des enfants et des jeunes, en concevant et en mettant en place des solutions éducatives innovantes grâce à des pratiques pédagogiques et des politiques publiques basées sur des données probantes. Le projet a été mené dans le cadre d’un partenariat entre la Fondation Ayrton Senna, le ministère de l’Éducation de l’État de Santa Catarina, le département de l’éducation de la municipalité de Chapecó et la Fédération de l’industrie de l’État de Santa Catarina.

Les élèves dans l’équipe brésilienne appartenaient à plusieurs tranches d’âge différentes, avec notamment quelques élèves du deuxième cycle de l’enseignement secondaire qui, aux fins de la présente analyse, ont été regroupés avec les élèves du premier cycle du secondaire en raison de la taille restreinte de leur échantillon. Le projet a été réalisé dans des établissements d’enseignement primaire et secondaire, et a porté sur les sciences, les mathématiques, les arts visuels et la musique. Tous les établissements étaient publics et placés sous la direction de la municipalité ou du ministère de l’Éducation de l’État, à l’exception d’un établissement privé dirigé par la Fédération de l’industrie de l’État de Santa Catarina. La collecte de données post-expérience pour plusieurs instruments a été grandement perturbée par le crash du vol 2933 de la compagnie LaMia Airlines qui a causé la mort de 71 personnes, dont les joueurs du club de football local Chapecoense. Cet accident a mobilisé l’ensemble des habitants de la ville et a rendu impossible cette collecte de données dans la majorité des établissements.

Comparées aux classes des autres équipes ayant participé à l’étude, celles de l’équipe brésilienne ont fait part d’un des plus faibles pourcentages d’élèves issus de l’immigration (2 %) et de l’un des taux les plus bas en matière de climat positif en classe (36 %). Le temps écoulé entre les mesures pré- et post-expérience dans cette équipe a été relativement long (32 semaines), même si l’expérience n’a pas été particulièrement intensive en ne représentant que 9 heures dans les classes du groupe expérimental.

Par ailleurs, au Brésil, le projet a surtout mis l’accent sur le développement professionnel des enseignants qui a consisté en une session de formation d’introduction et de plusieurs activités de suivi. Un réseau de conseillers locaux a joué le rôle de coordinateur entre les différents établissements participants et a encouragé la création d’une communauté professionnelle d’apprentissage parmi les enseignants. Cette communauté visait à favoriser la collaboration entre les enseignants en matière d’élaboration de nouvelles activités et de réflexion sur leurs propres pratiques pédagogiques. Ils pouvaient également partager des idées, du matériel et des conseils par le biais d’une plateforme en ligne. Cette plateforme est ainsi devenue la principale communauté de pratique en ligne, accueillant de nombreux échanges animés par les coordinateurs locaux, avec pour objectif de mettre en place une nouvelle culture entre les établissements impliqués dans le projet et au sein même de ceux-ci.

Suite à la première phase de développement professionnel, les coordinateurs au sein de l’équipe brésilienne ont imaginé leurs propres grilles d’auto-évaluation pour les élèves, sur la base du cadre conceptuel proposé par l’OCDE. Les enseignants ont ensuite utilisé ces référentiels pour adapter leurs plans de cours et concevoir de nouvelles activités pédagogiques visant à développer les compétences en créativité et en esprit critique chez les élèves. Ces activités ont été amplement partagées avec d’autres enseignants participants (et avec les coordinateurs) qui ont eu la possibilité de formuler des commentaires et proposer des retours d’expérience aux concepteurs de ces activités.

Déclarations des enseignants et chefs d’établissement

• Une forte adhésion des enseignants au matériel du projet

• Une collaboration accrue avec les pairs en matière de créativité et d’esprit critique

• Une évolution des pratiques pédagogiques des enseignants

• Un accueil très favorable du projet de la part des chefs d’établissement

Les pratiques et points de vue des enseignants en matière de créativité et d’esprit critique ont évolué au cours du projet. À la fin de la seconde année de l’expérience, 90 % des enseignants dans le groupe expérimental ont déclaré avoir utilisé les référentiels de compétences du projet de diverses façons durant les six derniers mois, notamment pour repenser certains de leurs cours, ou en concevoir de nouveaux, et échanger des idées avec leurs élèves (voir le graphique Figure 8.1). Les enseignants ont estimé que les référentiels de compétences de l’OCDE – telles qu’adaptés par les coordinateurs de leur équipe – étaient simples d’utilisation et que leur programme de cours leur permettait de réserver suffisamment de temps à leur mise en pratique (90 %). Certains de ces enseignants ont toutefois indiqué qu’ils avaient trop d’élèves (40 %) ou une formation insuffisante (36 %) pour mettre en œuvre les stratégies pédagogiques induites par les référentiels de compétences, qui étaient pourtant jugées pertinentes du point de vue de l’enseignement par 80 % des enseignants.

La grande majorité des enseignants dans le groupe expérimental a déclaré avoir participé à des activités de collaboration avec les pairs en rapport avec le projet pendant toute la durée de celui-ci. Cette collaboration s’est notamment traduite par des discussions avec des collègues au sujet de la créativité et de l’esprit critique des élèves (91 %) et par une participation à des groupes de travail pour améliorer ou élaborer conjointement des plans de cours en phase avec les référentiels de compétences (91 %). Tous les enseignants ont mis en avant une évolution de leurs approches pédagogiques et de la préparation de leurs cours, concevaient les évaluations et évaluaient le travail des élèves. Ils ont également tous déclaré avoir changé de position à l’égard des implications relatives au développement de la créativité et de l’esprit critique chez les élèves et avoir fait preuve d’une plus grande constance dans leurs efforts visant à développer ces compétences. Ils ont tous perçu une évolution de la motivation et de l’engagement des élèves, de leur plaisir à l’égard des cours, de leur autonomie en tant qu’apprenants ainsi que du climat général en classe. Enfin, tous les enseignants ont considéré que leur participation au projet avait constitué une expérience positive, voire très positive.

Graphique 8.1. Adoption quasi généralisée des référentiels de compétences du projet de la part des enseignants de l’équipe brésilienne

Pourcentage d’enseignants dans le groupe expérimental ayant déclaré avoir utilisé les référentiels de compétences

Remarques : les segments du diagramme représentent le pourcentage d’enseignants ayant utilisé les référentiels de compétences au cours des six derniers mois du projet.

 StatLink https://doi.org/10.1787/888934122475

En amont de l’expérience, les chefs d’établissement avaient fait part de plusieurs difficultés associées à de précédents projets éducatifs auxquels leur établissement avait participé dont, notamment, le manque de temps alloué aux activités de la vie scolaire et l’insuffisance des fonds disponibles. En outre, ils étaient peu nombreux à estimer que de tels projets avaient eu un impact positif important sur la motivation et l’engagement des élèves. Toutefois, à la fin du projet OCDE-CERI, l’ensemble des chefs d’établissement dans le groupe expérimental a indiqué que l’expérience avait fait évoluer la motivation des élèves de manière positive et contribué à accroître leurs possibilités d’apprentissage. Seul un tiers des chefs d’établissement ont estimé que les contraintes de temps représentaient un obstacle, et ils étaient moins de 15 % à avoir le sentiment que les autorités locales en charge de l’éducation n’avaient pas fait preuve de suffisamment d’intérêt et de soutien, mettant ainsi en évidence la réussite du partenariat établi entre les différents établissements. À l’issue du projet, la majorité d’entre eux avait la conviction que leurs enseignants continueraient à utiliser les plans de cours et les référentiels de compétences lors de la prochaine année scolaire.

Résultats de l’expérience selon les élèves

• Un intérêt accru pour les sciences et les mathématiques

• Un recours plus important aux approches d’apprentissage au service du développement de la créativité et l’esprit critique

• Une meilleure compréhension de la notion de créativité

• Un bénéfice plus important observé chez les élèves issus d’un milieu socio-économique favorisé

Les élèves ont remarqué certaines des évolutions en matière de pédagogie telles que communiquées par les enseignants (voir le graphique Figure 8.2). Par rapport à leurs pairs dans les classes du groupe de contrôle, on a enregistré chez les élèves des classes du groupe expérimental un intérêt accru pour les mathématiques et les sciences ainsi qu’une plus forte prévalence des approches d’apprentissage liées à la créativité et l’esprit critique (la résolution de problèmes à plusieurs possibilités de solution, la remise en cause d’idées et d’hypothèses, l’établissement de liens avec d’autres matières scolaires, par exemple). En outre, les élèves dans le groupe expérimental ont fait part d’un niveau de curiosité plus élevé, c’est-à-dire d’une plus grande propension à apprendre des choses pour lesquelles ils n’avaient au départ aucun intérêt. Les difficultés sur le plan de la collecte de données liées aux circonstances mentionnées précédemment ont compliqué la mise en évidence des évolutions statistiquement significatives parmi les élèves du primaire. Toutefois, les estimations montrent une amélioration, au cours du projet, de leur compréhension de la notion de créativité et de ses expressions.

Graphique 8.2. Effets de l’expérience sur les résultats des élèves de l’équipe brésilienne

Remarques : STIM : sciences, technologie, ingénierie et mathématiques. Les bâtons du diagramme représentent les estimations de coefficients tandis que les lignes noires symbolisent les intervalles de confiance. Tous les effets sont statistiquement significatifs avec un niveau de confiance estimé à 80 %. Le groupe expérimental et le groupe de contrôle ont été comparés après un appariement des coefficients de propension.

 StatLink https://doi.org/10.1787/888934122494

Tant au niveau de l’enseignement primaire que secondaire, les enfants provenant d’un foyer favorisé sur le plan socio-économique semblent avoir été plus réceptifs à l’expérience pédagogique. Dans le groupe expérimental, les élèves plus âgés ont davantage amélioré l’opinion qu’ils avaient de leur créativité et esprit critique par rapport à leurs pairs plus jeunes, tandis que ces derniers ont enregistré une plus forte progression de leurs scores aux épreuves du test EPoC d’évaluation du potentiel créatif. Paradoxalement, les expériences plus brèves et moins intensives ont été associées à de meilleurs résultats parmi les élèves, notamment sur le plan des dispositions et des attitudes à l’égard de la créativité et de l’esprit critique. Enfin, les élèves dont les enseignants étaient en charge des cours de mathématiques ou de sciences semblent avoir enregistré plus d’évolutions positives que ceux dont les enseignants étaient responsables des cours d’arts visuels, de musique ou d’autres matières.

La pluralité des contextes et des expériences pédagogiques a conduit à l’évaluation des effets directs et indirects de nombreuses variables explicatives concernant plusieurs résultats au niveau des élèves et des enseignants. La taille des échantillons n’a toutefois pas toujours permis de bien mettre en évidence, chez les élèves, les évolutions importantes observées en matière d’attitudes et de pratiques des enseignants. Si dans certains cas, les premières observations ont fait apparaître des résultats paradoxaux, le plan de suivi adopté pour le projet s’est toutefois avéré efficace et fructueux à bien des égards. La brève expérience pédagogique avec les enseignants a favorisé une certaine évolution de leurs méthodes d’enseignement et a influencé plusieurs dimensions de la créativité et de l’esprit critique des élèves. Les facteurs contextuels, l’ampleur des effets et leurs principaux bénéficiaires devront être évalués dans le cadre d’une étude de validation.

Les participants au projet

Remarque : EPoC : Évaluation du potentiel créatif ; STIM : sciences, technologie, ingénierie et mathématiques ; AVM : arts visuels et musique.

Comparés aux élèves des autres équipes, ceux de l’équipe brésilienne avaient plus tendance à provenir d’un milieu socio-économique défavorisé (soit 30 %, contre un pourcentage minimum de 2 % observé dans le cadre du projet) et étaient moins susceptibles d’être issus de l’immigration (soit 2 %, contre des pourcentages oscillant entre 1 et 44 % dans les autres équipes). Les classes de l’équipe brésilienne étaient confrontées à un climat plus difficile que la moyenne et incluaient des élèves dont les résultats scolaires étaient plus faibles. Le score moyen au test de STIM pré-expérience s’élevait à 43 (la fourchette des scores observés dans le projet allant de 36 à 62), et 36 % des classes affichaient un climat positif (les pourcentages oscillant entre 34 et 66 % dans les autres équipes). De plus, au début du projet, 81 % des élèves s’étaient évalués comme assez créatifs ou très créatifs, les pourcentages observés dans les autres équipes oscillant entre 67 et 91 %. Par ailleurs, ils étaient 76 % à estimer faire preuve de beaucoup d’esprit critique, situant ainsi l’équipe brésilienne dans la partie supérieure des pourcentages observés dans le cadre du projet (allant de 58 à 82 %). Enfin, les expériences auprès des élèves menées par l’équipe locale ont affiché une durée moyenne de 32 semaines (contre 13 à 42 semaines pour les autres équipes), et se sont déroulées en classe sur une durée horaire plus brève estimée en moyenne à 5 heures (contre 4 à 56 heures pour les autres équipes).

Dans l’ensemble, l’effectif d’élèves ayant pris part au projet dans l’équipe brésilienne était composé de 595 élèves du primaire et 653 du secondaire, soit un total de 1 248 élèves. Les difficultés rencontrées par l’équipe locale lors de la sélection des échantillons ont entraîné un déséquilibre au niveau de la taille des échantillons du groupe de contrôle et du groupe expérimental, notamment pour les élèves du secondaire. En effet, si le groupe de contrôle représentait 46 % des élèves de l’enseignement primaire, il ne représentait que 39 % des élèves du secondaire (voir la partie située à gauche du graphique Figure 8.3).

Le groupe de contrôle et le groupe expérimental présentaient quelques différences en termes de sexe et de milieu culturel des élèves, et s’éloignaient parfois grandement de ce que l’on pourrait attendre d’un échantillon représentatif à l’échelle nationale (en prenant pour référence le Programme international pour le suivi des acquis des élèves [PISA] de 2015 ; voir la section 7.4.3 du chapitre 7 pour plus de précisions au sujet des valeurs de référence de l’enquête PISA). Les filles étaient sous-représentées tant dans l’enseignement primaire que secondaire, notamment dans les classes du groupe expérimental. S’agissant du milieu culturel des élèves, on a enregistré un juste équilibre entre le groupe de contrôle et groupe expérimental, tant au niveau de l’enseignement primaire que secondaire (voir la partie située à droite du graphique Figure 8.3). Si le profil des élèves du primaire était proche de celui observé dans l’enquête PISA 2015, les élèves issus d’un milieu socio-économique plus favorisé étaient surreprésentés au niveau de l’enseignement secondaire, en particulier dans le groupe de contrôle. Enfin, les élèves dans les classes du groupe de contrôle provenaient de quelques établissements seulement, tandis que leurs pairs dans le groupe expérimental provenaient de nombreux établissements différents, avec divers milieux socio-économiques.

Graphique 8.3. Élèves de l’équipe brésilienne participant au projet

Remarque : les données de référence de l’enquête PISA 2015 sont considérées comme représentatives de l’ensemble des élèves de 15 ans à l’échelle nationale.

 StatLink https://doi.org/10.1787/888934122513

Sur les 40 enseignants participant au projet dans l’équipe brésilienne, dix-huit d’entre eux avaient répondu au questionnaire « Enseignant » pré-expérience (en amont de l’expérience), répartis de manière uniforme entre les établissements d’enseignement primaire et secondaire. À chacun de ces deux niveaux d’enseignement, six enseignants ont participé à la mise en œuvre de l’expérience, tandis que les autres ont été intégrés au groupe de contrôle. La grande majorité de ces enseignants (83 %) avait indiqué une ancienneté d’au moins six ans, mais seuls 33 % étaient titulaires d’une licence ou d’un diplôme de niveau supérieur, et les 67 % restants ne disposaient que d’un certificat d’aptitude pédagogique. À l’échelle des établissements, le questionnaire de référence a permis de recueillir les points de vue de neuf chefs d’établissement sur les projets d’innovations antérieurs et actuels.

Globalement, le taux de réponse enregistré parmi les élèves était satisfaisant : 62 % des 1 248 élèves ayant répondu à au moins un instrument pré- et post-expérience. Pour les deux instruments évalués séparément, les taux d’attrition étaient variables : parmi les élèves ayant répondu à l’instrument pré-expérience, 51 % d’entre eux ont rempli le questionnaire post-expérience, 31 % ont passé le test de STIM post-expérience et 90 % le test EPoC d’évaluation de la créativité post-expérience. L’analyse statistique qui a suivi afin d’assurer la comparabilité entre le groupe expérimental et le groupe de contrôle n’a entraîné qu’une perte de données mineure.

Le taux de réponse observé parmi les enseignants et chefs d’établissement était également satisfaisant. Sur les 40 enseignants ayant pris part au projet, près de la moitié d’entre eux (18) a rempli le questionnaire de référence et un quart (11) le questionnaire présenté à la fin de l’expérience. Les réponses apportées au questionnaire post-expérience ont permis de fournir des informations essentielles sur les évolutions dont les enseignants de l’équipe brésilienne avaient fait part concernant leurs sentiments, pratiques et évaluations en matière de créativité et d’esprit critique. Enfin, sur les neuf chefs d’établissement ayant rempli le questionnaire « Établissement » pré-expérience, huit ont également répondu à celui présenté à la fin de l’expérience.

Autres effets du projet

Les activités élaborées et mises en œuvre par la Fondation Ayrton Senna au sein de l’équipe brésilienne viendront renforcer une initiative plus vaste de la Fondation qui comprend les éléments suivants : 1) un examen systématique de la littérature à l’échelle nationale et internationale ; 2) un plan visant à élaborer, structurer et diffuser une méthodologie et des instruments d’évaluation formative innovants pour le développement, le suivi et l’évaluation des compétences dites du XXI^e siècle, notamment les compétences de niveau supérieur comme la créativité, l’esprit critique, et les compétences sociales et émotionnelles. En 2019, la Fondation prévoit de publier un Guide numérique pour la créativité et l’esprit critique qui abordera, entre autres, les questions suivantes : qu’est-ce que la créativité et l’esprit critique ? Pourquoi ces compétences sont-elles importantes dans le cadre scolaire et la vie de tous les jours ? Comment peuvent-elles être développées et évaluées ?