Annexe A. Notes techniques sur le cycle TALIS 2018
En 2018, l’objectif a été d’administrer l’Enquête internationale sur l’enseignement et l’apprentissage (TALIS) à un échantillon représentatif d’enseignants à tous les niveaux d’enseignement définis selon la Classification internationale type de l’éducation (CITE) retenus par les pays et économies participants. Les thématiques pertinentes pour l’action publique choisies lors du cycle TALIS 2018 portent sur ce qui se passe en classe ainsi que sur les enseignants et les établissements et leur direction ; sont donc visés tous les enseignants en poste à chaque niveau de la CITE concerné et leur chef d’établissement. Le plan d’échantillonnage international du cycle TALIS 2018 est un plan probabiliste stratifié à deux degrés. Concrètement, les enseignants (les unités d’échantillonnage secondaires, ou du second degré) sont sélectionnés de manière aléatoire parmi les enseignants admissibles de tous les établissements (les unités primaires, ou du premier degré) eux aussi sélectionnés de manière aléatoire. La conception et la mise en œuvre de l’Enquête sont décrites de façon plus détaillée dans le rapport technique sur le cycle TALIS 2018 (OCDE, 2019[1]).
Les enseignants admissibles sont ceux chargés de dispenser les cours inscrits au programme du niveau 1, 2 ou 3 de la CITE dans le cadre de leurs fonctions habituelles dans leur établissement. Les enseignants qui exercent à plus d’un niveau de la CITE dans l’établissement sur lequel ils sont interrogés sont inclus dans le champ de l’Enquête TALIS. Aucun seuil n’a été fixé au sujet du nombre minimum d’heures de cours à l’un des trois niveaux de la CITE à l’étude ici.
La population internationale cible du cycle TALIS 2018 se limite aux enseignants chargés des cours à des classes ordinaires dans des établissements ordinaires et aux chefs de ces établissements. Les enseignants chargés de cours pour adultes et ceux en poste dans des établissements qui accueillent exclusivement des élèves ayant des besoins spécifiques sortent de ce cadre et sont exclus de la population internationale cible. Les enseignants qui s’occupent d’élèves ayant des besoins spécifiques dans l’enseignement ordinaire n’ont toutefois pas été exclus de la population cible des cycles TALIS 2013 et 2018 à la différence du cycle TALIS 2008. Les établissements dont les enseignants s’occupent exclusivement de ces élèves sont exclus d’office de la population cible de l’enquête. Les auxiliaires d’éducation et les membres du personnel de soutien pédagogique (conseillers d’orientation et bibliothécaires, par exemple) et des services de santé (médecins, infirmiers, psychiatres, psychologues, ergothérapeutes, etc.) et d’aide sociale (travailleurs sociaux, etc.) sont exclus de la population internationale cible de l’Enquête TALIS, car ils ne sont pas considérés comme des enseignants.
Des pays et économies ont pu décider pour des raisons qui leur sont propres de limiter l’administration du cycle TALIS 2018 à certaines parties de leur territoire. Il leur était par exemple possible d’exclure de la population internationale cible une province ou un État en proie à des troubles sociaux ou une région frappée par une catastrophe naturelle et de créer une population nationale cible abstraction faite de cette partie de leur territoire. Les pays et économies ont été invités à limiter ces exclusions autant que possible et à faire en sorte que la population nationale soit représentative de 95 % des enseignants minimum.
Les responsables du cycle TALIS 2018 ont admis qu’il pouvait être difficile ou onéreux d’administrer les questionnaires dans des établissements de très petite taille. Quel que soit le niveau de la CITE, administrer les questionnaires dans des établissements où les enseignants ne sont pas plus de trois par niveau de la CITE ou qui sont situés dans des régions reculées peut en effet être coûteux et fastidieux et n’avoir aucune utilité sur le plan statistique. C’est pourquoi les pays et économies ont été autorisés à exclure ces enseignants de la collecte de données du cycle TALIS 2018 et à constituer une population différente de la population nationale cible. Les gestionnaires de projet nationaux (GPN) ont été tenus dans tous les pays et économies de motiver l’exclusion des établissements, de préciser la taille et la situation géographique de chacun des établissements exclus, de décrire leur effectif, etc. Il leur a été demandé de soumettre un dossier d’exclusion relatif à chaque niveau de la CITE dont le module était administré dans leur pays ou économie.
Les enseignants suivants sont exclus de l’échantillon dans chacun des établissements admissibles sélectionnés :
les enseignants en poste dans les établissements qui accueillent exclusivement des élèves ayant des besoins spécifiques
les enseignants exerçant les fonctions de chef d’établissement, qui ont uniquement répondu au questionnaire en leur qualité de chef d’établissement et non d’enseignant
les enseignants dont les cours s’adressent exclusivement aux adultes
les enseignants interrogés lors de l’essai de terrain du cycle TALIS 2018.
Les spécifications relatives à la taille de l’échantillon et à la précision des estimations sont identiques à chaque niveau de la CITE. La taille de l’échantillon a été fixée à 20 enseignants minimum par établissement sélectionné pour garantir la fiabilité des estimations et de la modélisation et conserver une certaine marge en cas de non-réponse. Il a été décidé de prélever un échantillon de 200 établissements minimum parmi les établissements admissibles. La taille nominale de l’échantillon international est donc de 4 000 enseignants minimum par module du niveau de la CITE administré dans chaque pays et économie. Les pays et économies ont été autorisés à prélever un échantillon plus important soit d’établissements, soit d’enseignants par établissement échantillonné, soit à la fois d’établissements et d’enseignants. Plusieurs pays et économies ont demandé à accroître le nombre d’enseignants par établissement sélectionné afin de contrer l’effet de la sélection d’un nombre excessif d’établissements de moins de 20 enseignants. La taille de l’échantillon a été réduite dans certains pays et économies du fait du nombre limité d’établissements se prêtant à l’échantillonnage. Dans quelques cas, un nombre plus élevé d’établissements ont été échantillonnés pour constituer un échantillon minimum d’enseignants, car le nombre moyen d’enseignants par établissement était inférieur au minimum prévu dans le plan international.
Dans de nombreux pays et économies, la séparation des années d’études n’implique pas la séparation physique des implantations administratives ou des infrastructures scolaires : les établissements accueillant les élèves de la 8e à la 12e année relèvent des niveaux 2 et 3 de la CITE, mais ne couvrent qu’en partie le niveau 2 de la CITE. Des dispositions ont été prises avec les GPN et leur équipe en vue d’optimiser la constitution de l’échantillon d’établissements. L’approche retenue a consisté à faire en sorte soit de réduire le chevauchement (les établissements ne sont sélectionnés qu’à un seul niveau de la CITE), soit de le maximiser (les établissements sont sélectionnés à tous les niveaux de la CITE concernés). Il a toutefois été décidé qu’en cas de maximisation du chevauchement, les enseignants exerçant à plus d’un niveau de la CITE ne répondraient que sur la base d’un seul niveau de la CITE.
La définition des enseignants qui a été retenue lors du cycle TALIS 2018 est comme lors des cycles précédents celle adoptée dans la collecte de données du Programme des indicateurs des systèmes d’enseignement (INES) : « Par enseignants scolaires (niveaux 0 à 4 de la CITE), on entend les professionnels qui planifient, organisent et dirigent des activités collectives en vue d’amener [les élèves] à acquérir les connaissances, compétences et aptitudes prévues dans les programmes » (OCDE, 2019, p. 43[2]).
Le principe fondamental de l’adjudication consiste à déterminer par pays et économie et par module de l’Enquête TALIS si les données fournies aux pays et économies permettent de produire des indicateurs robustes et pertinents pour l’action publique qui soient comparables à l’échelle internationale et de faire des analyses probantes au sujet des enseignants et de l’enseignement qui tombent à point nommé et dont le coût reste maîtrisé.
Un certain nombre de processus d’assurance de la qualité ont été conçus et mis en œuvre du début à la fin de l’enquête afin de réunir toutes ces conditions. Certains de ces processus ont été axés sur les conseils et avis d’experts, d’autres sur des informations qualitatives et des jugements éclairés et d’autres encore sur des informations quantitatives. Voir pour de plus amples informations le rapport technique sur le cycle TALIS 2018 (OCDE, 2019[1]).
L’adjudication consiste à soumettre au même examen chaque ensemble de données – c’est-à-dire les données recueillies par module, type de questionnaire et pays ou économie. En 2018, c’est la première fois que les données recueillies auprès des chefs d’établissement ont fait l’objet d’un examen propre dans l’Enquête TALIS. En d’autres termes, les données recueillies auprès des enseignants et des chefs d’établissement ont fait l’objet d’un examen d’adjudication distinct par module de l’Enquête TALIS et par pays ou économie.
Les questions qui se posent lors de l’examen d’adjudication portent sur la traduction des questionnaires, leur adaptation au contexte national et leur vérification, la qualité du plan d’échantillonnage, le traitement des unités (enseignants ou établissements) non admissibles et des cas de refus, l’échantillonnage des enseignants dans les établissements, la collecte et le nettoyage des données, les conclusions des observateurs chargés du contrôle de la qualité, les taux de participation et le respect global des normes techniques. À l’issue de l’examen de toutes ces questions, une note globale est attribuée compte tenu des taux de participation et de tous les problèmes en suspens.
Les règles d’adjudication dérivées des taux de participation des chefs d’établissement et des enseignants sont indiquées dans les tableaux Tableau A A.1 et Tableau A A.2. Les codes utilisés sont décrits ci-dessous.
Les critères relatifs à chaque note sont décrits simplement ci-dessous pour aider les utilisateurs de données à estimer la qualité ou le potentiel d’utilisation des données.
Bien : les données du pays ou économie peuvent être utilisées à toutes les fins de compte rendu et d’analyse et peuvent être incluses dans les comparaisons internationales.
Passable (A) : des estimations nationales et infranationales peuvent être faites ; certaines caractéristiques des enseignants sont assorties d’une erreur type (Er.-T.) plus élevée, d’où la note « Passable », et aucun avertissement supplémentaire ne semble nécessaire.
Passable (B, applicable uniquement à l'adjudication des données relatives aux enseignants): des estimations nationales et infranationales peuvent être faites. Certaines estimations infranationales peuvent être d’une précision inférieure (Er.-T. plus élevée) si la taille de l’échantillon est faible au niveau local, d’où la note « Passable », et aucun avertissement supplémentaire ne semble nécessaire.
Des estimations nationales et infranationales peuvent être faites.
Certaines estimations infranationales peuvent être d'une précision inférieure (Er.-T. plus élevée) si la taille de l'échantillon est faible au niveau local, d'où la note « Passable », mais une remarque sur la qualité des données peut être ajoutée pour appeler l'attention sur l'analyse du biais de non-réponse.
Comme le taux de participation des établissements est légèrement inférieur à celui valant la note (B), la prudence est de mise lors de la comparaison des estimations infranationales, étant donné qu’elles sont dérivées d’un nombre moins élevé d’établissements.
Comparer des estimations infranationales dérivées d’échantillons de petite taille entre pays et économies n’est pas susceptible de révéler des différences statistiquement significatives, car les Er.-T. sont trop élevées.
Une remarque devrait signaler aux utilisateurs non seulement les réserves faites au sujet de la note précédente, mais aussi les biais de non-réponse faussant certaines estimations.
Il y a lieu de limiter les comparaisons d’estimations infranationales aux groupes où la taille de l’échantillon est plus élevée.
L’échantillon représente entre 37 % et 56 % du corps enseignant et est prélevé dans un échantillon relativement limité d’établissements.
Les comparaisons avec des groupes similaires à l’étranger ne devraient pas être encouragées.
Médiocre (E, applicable uniquement à l’adjudication des données relatives aux enseignants) : il n’est pas recommandé de faire des estimations infranationales ; une remarque devrait signaler la difficulté de prélever un échantillon représentatif d’établissements.
Médiocre (F, applicable uniquement à l’adjudication des données relatives aux enseignants) : les réserves sont du même ordre que celles faites au sujet de la note « Passable (E) », mais une remarque devrait signaler la difficulté d’obtenir que 50 % au moins des établissements échantillonnés participent ; le risque d’un échantillon non représentatif d’établissements n’est pas à exclure.
Insuffisant : aucun coefficient de pondération n’a pu être calculé dans les tableaux officiels ; les données ne devraient pas être reprises dans les moyennes, modèles, tableaux, etc. internationaux.
Les taux de participation et les notes attribuées à chaque pays et économie à l’issue du processus d’adjudication sont indiqués par niveau de la CITE dans les tableaux Tableau A A.3 à Tableau A A.8.
La présente section dresse la liste des problèmes relatifs à l’échantillonnage ou aux opérations de terrain qui doivent être pris en compte lors de l’interprétation des données fournies au sujet de chaque pays et économie.
L’Enquête TALIS a été administrée pendant un conflit social.
Comme l’analyse du biais de non-réponse n’a pas révélé d’éléments faisant craindre un risque élevé de biais de non-réponse au sujet des variables spécifiques aux enseignants ou aux chefs d’établissement en poste aux niveaux 2 et 3 de la CITE, la note est passée de « Médiocre » à « Passable ».
La période de collecte des données pour les enseignants et les chefs d’établissement en poste aux niveaux 1 et 2 de la CITE a été étendue de la fin de l’année scolaire en 2017 au début de l’année scolaire suivante en 2018.
Les données relatives aux enseignants et aux chefs d’établissement en poste au niveau 1 de la CITE et des chefs d’établissement en poste au niveau 2 de la CITE sont indiquées en fin de tableau et n’ont pas été prises en compte dans le calcul des moyennes internationales, car les taux de participation sont inférieurs aux normes internationales (voir les tableaux Tableau A A.3 à Tableau A A.5).
Communauté flamande de Belgique : pour les niveaux 1 et 2 de la CITE, les entrées de l’échantillonnage sont des unités administratives et non des « établissements » au sens qui leur est généralement attribué ; un « établissement » peut être composé d’une ou plusieurs unités administratives. Les chefs d’établissement ont répondu au questionnaire pour la totalité de leur établissement, pas uniquement au sujet de l’unité administrative sélectionnée. Les lecteurs sont donc invités à la prudence lors de l’analyse et de la comparaison des statistiques relatives aux établissements.
Corée : il est apparu que les listes d’enseignants de quatre établissements étaient incorrectes au niveau 2 de la CITE ; ces établissements ont été déclarés « non participants ».
Danemark : comme l’analyse du biais de non-réponse n’a pas révélé d’éléments faisant craindre un risque élevé de biais de non-réponse au sujet des variables spécifiques aux enseignants ou aux chefs d’établissement en poste aux niveaux 1, 2 et 3 de la CITE, la note est passée de « Médiocre » à « Passable ».
Émirats arabes unis : comme les établissements échantillonnés se caractérisent par le fait qu'ils relèvent de plusieurs niveaux d'enseignement, les réponses des chefs d'établissement au questionnaire relatif au niveau 2 de la CITE ont été copiées dans les questionnaires relatifs aux niveaux 1 et 3 de la CITE, à l'exception de la question no 17.
Concernant les niveaux 1 et 2 de la CITE, le pays a bénéficié d’un démarrage anticipé de six semaines et d’un délai de collecte prolongé.
Le protocole de collecte de données relatif aux niveaux 1 et 2 de la CITE n’a pas été approuvé, ce qui a donné lieu à l’inclusion dans l’ensemble de données national d’une cinquantaine d’établissements « nationaux » qui n’étaient pas repris dans l’ensemble de données international, mais laissés sur l’ensemble de données nationales ; les taux de participation ont été calculés sur la base de l’ensemble international.
Les données relatives aux enseignants et aux chefs d’établissement en poste au niveau 1 de la CITE sont indiquées en fin de tableau dans le présent rapport, car les taux de participation sont inférieurs aux normes internationales (voir les tableaux Tableau A A.3 et Tableau A A.4).
Références
[2] OCDE (2019), Guide de l’OCDE pour l’établissement de statistiques internationalement comparables dans le domaine de l’éducation 2018 : Concepts, normes, définitions et classifications, Éditions OCDE, Paris, https://dx.doi.org/10.1787/9789264305380-fr.
[1] OCDE (2019), TALIS 2018 Technical Report, OCDE, Paris, http://www.oecd.org/education/talis/TALIS_2018_Technical_Report.pdf.