Annex A. Notes techniques sur l’échantillonnage, les taux de réponse et l’adjudication de TALIS 2018
L’objectif de l’Enquête internationale sur l’enseignement et l’apprentissage (TALIS) en 2018 était d’obtenir, dans chacun des pays et économie participants, un échantillon représentatif d’enseignants pour chaque niveau de la CITE auquel le pays et l’économie ont participé. En outre, un échantillon représentatif d’enseignants dispensant des enseignements à des élèves d’âges appropriés dans les établissements sélectionnés pour le Programme international de suivi des acquis des élèves (PISA) en 2018 a été exigé pour chaque pays et économie ayant décidé de participer au lien TALIS-PISA. L’Enquête TALIS 2018 a mis en lumière les problèmes stratégiques qui concernent les salles de classe, les enseignants, les établissements et la direction d’établissement ; si bien que la couverture de TALIS 2018 s’est étendue à tous les enseignants de chaque niveau de la CITE concerné et aux chefs d’établissement où ils enseignent. Le plan d’échantillonnage international élaboré pour l’Enquête TALIS 2018 s’est servi d’un plan d’échantillonnage probabiliste stratifié à deux degrés. En d’autres termes, les enseignants (unités d’échantillonnage du second degré ou secondaires) ont été choisis au hasard dans la liste des enseignants couverts par le champ d’application pour chacun des établissements choisis au hasard (unités d’échantillonnage du premier degré ou primaire). Une description plus détaillée de la conception de l’Enquête et de sa mise en œuvre figure dans le rapport TALIS 2018 Technical Report (OCDE, 2019[1]).
Un enseignant des niveaux 1, 2 ou 3 de la CITE est un enseignant qui, dans le cadre de ses fonctions habituelles au sein de son établissement, dispense des enseignements dans des programmes de ce niveau de la CITE. Les enseignants qui enseignent dans des programmes mixtes à différents niveaux de la CITE au sein de l’établissement cible sont inclus dans le champ de l’Enquête TALIS. Aucun seuil minimal n’a été fixé concernant le nombre de cours que doivent dispenser ces enseignants dans l’un de ces trois niveaux de la CITE.
La population cible internationale de l’Enquête TALIS 2018 est restreinte à ces enseignants, qui font régulièrement cours dans des établissements ordinaires, et aux chefs de ces établissements. Les enseignants dispensant des enseignements aux adultes et ceux travaillant dans les établissements exclusivement réservés aux enfants ayant des besoins spécifiques d’éducation ne font pas partie de la population cible internationale et ne sont donc pas considérés dans le cadre de l’Enquête. Toutefois, contrairement à l’Enquête TALIS 2008, les enseignants travaillant avec des élèves ayant des besoins spécifiques d’éducation dans un environnement scolaire normal ont été considérés comme faisant partie du champ d’application des enquêtes TALIS 2013 et 2018. Lorsqu’un établissement est composé exclusivement de ce type d’enseignants, il est déclaré comme exclu du champ d’application de l’Enquête. Les aides-enseignants, le personnel de soutien pédagogique (conseillers d’orientation et bibliothécaires, par exemple) et le personnel de soutien social et de santé (médecins, infirmiers, psychiatres, psychologues, ergothérapeutes et assistants sociaux) n’ont pas été considérés comme des enseignants et ne faisaient donc pas partie de la population cible internationale de TALIS.
Pour des raisons nationales, les pays participants pouvaient choisir de restreindre la couverture de leur mise en œuvre nationale de l’Enquête TALIS 2018 à certaines parties du pays. Par exemple, une province ou un État confronté à des troubles civils ou une région frappée par une catastrophe naturelle pouvait être retiré de la population cible internationale pour créer une population cible nationale n’incluant pas ceux-ci. Les pays participants ont été invités à limiter au minimum ces exclusions en gardant la population de l’enquête nationale à au moins 95 % d’enseignants.
TALIS 2018 a reconnu que la conduite des enquêtes auprès des enseignants dans de très petits établissements peut s’avérer inefficace et difficile. Pour chaque niveau de la CITE, mener l’enquête auprès des enseignants des établissements n’ayant pas plus de trois enseignants à un niveau spécifique de la CITE et auprès de ceux qui enseignent dans des établissements situés dans des zones géographiquement éloignées pouvait être un exercice coûteux, long et inefficace sur le plan statistique. Par conséquent, les pays participants ont été autorisés à exclure ces enseignants de la collecte de données de l’Enquête TALIS 2018, créant ainsi une population d’enquête nationale différente de la population nationale cible. Le gestionnaire de projet national de chaque pays était tenu de documenter les raisons de l’exclusion, la taille, la localisation, la population cible, etc., de chaque établissement exclu. Ce document était requis pour chaque niveau de la CITE auquel participait le pays. Les établissements exclus du lien TALIS-PISA étaient les mêmes que ceux du PISA 2018.
Au sein d’un établissement inclus dans le champ de l’enquête, les catégories suivantes d’enseignants ont été exclues de l’échantillon :
les enseignants dispensant des enseignements dans les établissements exclusivement réservés aux élèves ayant des besoins spécifiques d’éducation
les enseignants remplissant également la fonction de chef d’établissement : aucune donnée n’a été collectée sur l’enseignant, seulement sur le chef d’établissement
les enseignants suppléants, de secours ou occasionnels
les enseignants en congé de longue durée
les enseignants dispensant des enseignements exclusivement aux adultes
les enseignants ayant participé à l’essai sur le terrain de l’Enquête TALIS 2018.
Pour chaque niveau de la CITE, on a établi les mêmes exigences concernant la taille de l’échantillon et la précision des estimations. Pour favoriser la fiabilité de l’estimation et de la modélisation, tout en tenant compte d’une certaine quantité de non-réponses, la taille minimale de l’échantillon a été fixée à 20 enseignants dans chaque établissement participant. Un échantillon minimal de 200 établissements devait être sélectionné parmi la population d’établissements inclus dans le champ de l’Enquête. Ainsi, la taille nominale de l’échantillon international était d’au moins 4 000 enseignants pour chaque niveau de la CITE auquel un pays ou une économie a participé. Les pays et économies participants pouvaient choisir d’élargir leur échantillon national, soit en sélectionnant davantage d’établissements, soit en sélectionnant davantage d’enseignants dans chaque établissement sélectionné, soit en augmentant les deux. On a demandé à certains pays et économies d’élargir leur échantillon au sein de chaque établissement pour contrebalancer l’effet de la sélection d’un trop grand nombre d’établissements comptant moins de 20 enseignants. La taille de l’échantillon a été réduite pour certains pays et économies participants en raison du nombre réduit d’établissements disponibles pour l’échantillonnage. Dans quelques cas, étant donné que le nombre moyen d’enseignants dans les établissements était inférieur à celui prévu dans le plan international, le nombre d’établissements échantillonnés a été augmenté pour assurer un nombre total minimal d’enseignants participants.
Dans de nombreux pays, la séparation des années d’études dans les niveaux de la CITE ne correspond pas à une séparation physique des bâtiments ou des administrations scolaires : Les établissements qui vont de la 8e à la 12e année chevauchent les niveaux 2 et 3 de la CITE, mais l’ensemble du niveau 2 de la CITE n’est pas couvert par ces établissements. Dans les pays et les économies ayant participé à plus d’un niveau de la CITE, des dispositions ont été prises en collaboration avec le gestionnaire de projet national et son équipe pour optimiser la sélection de l’échantillon scolaire en réduisant au minimum le chevauchement des échantillons respectifs (sélection d’un établissement pour participer à un seul niveau de la CITE) ou en maximisant le chevauchement des échantillons (sélection d’un établissement qui contribue à tous les niveaux de la CITE concernés). Toutefois, dans le cas d’un chevauchement maximal, les enseignants qui enseignent à plus d’un niveau n’étaient invités à participer qu’à un seul.
À l’instar des cycles précédents, l’Enquête TALIS 2018 a adopté, à des fins d’échantillonnage et d’analyse, la définition du mot « enseignant » issue de la collecte de données du Programme des indicateurs des systèmes d’enseignement (INES) :
« Un enseignant (CITE 0-4) est par définition une personne dont l’activité professionnelle suppose de planifier, d’organiser et de conduire des activités de groupe, grâce auxquelles les étudiants acquièrent les savoirs, savoir-faire et attitudes stipulés dans les programmes d’enseignement. » (OCDE, 2019, p. 43[2]).
Le principe de base qui guide l’adjudication est de déterminer, pour chaque pays/économie participant et pour chacune des options TALIS, si les données communiquées aux pays et aux économies sont de nature à fournir des indicateurs et des analyses, de nature internationale, solides et pertinents sur les stratégies concernant les enseignants et l’enseignement, en temps opportun et de manière rentable.
Afin de garantir leur adaptation à l’usage, un certain nombre de processus d’assurance qualité ont été conçus et mis en œuvre tout au long du processus de l’Enquête. Certains processus reposaient sur des conseils et des avis d’experts, d’autres sur des données qualitatives et des jugements éclairés, d’autres encore sur des données quantitatives. Pour de plus amples informations, veuillez consulter le rapport TALIS 2018 Technical Report (OCDE, 2019[1]).
Au cours de la séance d’adjudication, chaque ensemble de données, à savoir la combinaison des pays/économies participants, des options d’enquête et des types de questionnaires, a été soumis au même examen. Pour la première fois dans un cycle TALIS, les données principales ont été évaluées séparément. En d’autres mots, les données sur les chefs d’établissement et les enseignants ont fait l’objet d’une évaluation distincte par option TALIS et par pays et économie.
Les questions évaluées concernaient l’adaptation du questionnaire au contexte national, la traduction et la vérification, la qualité de l’échantillonnage, le traitement des unités hors champ et des unités de refus (c’est-à-dire les enseignants et/ou les établissements), l’échantillonnage en milieu scolaire, la collecte des données, le nettoyage des données, les rapports des observateurs de la qualité, les taux de participation et le respect général des normes techniques. Après évaluation de chaque processus d’enquête, une recommandation de notes, tenant compte des taux de participation et de toute question non résolue, a été formulée.
Les règles d’adjudication, fondées sur les taux de participation des chefs d’établissement et enseignants, figurent dans les tableaux AII.A.1 et AII.A.2.
La liste suivante se veut un simple guide visant à aider les utilisateurs de données à comprendre les limites d’utilisation ou de qualité :
Bien : les données du pays/de l’économie participant(e) peuvent être utilisées à toutes fins d’établissement de rapports et d’analyses et on peut les inclure dans les comparaisons internationales.
Passable (A) : on peut effectuer des estimations nationales et infranationales ; certaines caractéristiques des enseignants peuvent souffrir d’une erreur-type plus importante (er.-t), d’où l’avertissement « passable », et aucun avertissement supplémentaire aux utilisateurs ne semble nécessaire.
Passable (B, uniquement pour l’adjudication des données sur les enseignants) : on peut effectuer des estimations nationales et infranationales ; certaines estimations infranationales peuvent être moins précises (erreurs-types plus grandes) si la taille de l’échantillon est faible au niveau local, d’où l’avertissement « passable », et aucun avertissement supplémentaire aux utilisateurs ne semble nécessaire.
Passable (C) :
On peut effectuer des estimations nationales et infranationales.
Certaines estimations infranationales peuvent être moins précises (erreurs-types plus grandes) si la taille de l’échantillon est faible au niveau local, d’où l’avertissement « Passable », mais une note sur la qualité des données indiquant le résultat de l’analyse du biais de non-réponse pourrait apparaître.
Étant donné que la participation de l’établissement est un peu plus faible que sous (B), la comparaison des estimations infranationales doit être effectuée avec prudence, car certains de ces résultats sont basés sur quelques établissements.
La comparaison des estimations infranationales marginales avec des groupes similaires d’autres pays est susceptible de révéler des différences significatives sur le plan statistique, en raison de l’erreur-type probablement trop importante.
Médiocre (D) :
Outre les avertissements émis pour la catégorie précédente, une note devrait avertir les utilisateurs des indications de biais de non-réponse dans certaines estimations.
Les comparaisons d’estimations infranationales devraient se limiter aux groupes ayant les plus grandes tailles d’échantillons.
À ce stade, l’échantillon représente entre 37 % et 56 % du personnel enseignant, à partir d’un échantillon assez restreint d’établissements.
Il ne serait pas conseillé d’effectuer des comparaisons avec des groupes similaires dans des pays étrangers.
Médiocre (E, uniquement pour l’adjudication des données pour les enseignants) : les estimations infranationales ne seraient pas recommandées ; une note devrait souligner la difficulté à obtenir un échantillon représentatif d’établissements.
Médiocre (F, uniquement pour l’adjudication des données pour les enseignants) : limites semblables à celles de la ligne E, mais une note devrait souligner la difficulté à obtenir une participation d’au moins 50 % de l’échantillon des établissements sélectionnés ; risques d’obtenir un échantillon non représentatif d’établissements.
Insuffisant : les pondérations ne devraient pas être calculées dans les compilations officiels ; par conséquent, les données ne doivent pas être incorporées dans les tableaux, modèles, moyennes, etc. internationaux.
Les taux de participation et la note d’évaluation par pays/économie participant et par niveau de la CITE sont présentés dans les tableaux AII.A.3 à AII.A.81.
La présente section énumère les problèmes à relever, lors de l’échantillonnage ou des opérations sur le terrain, qui doivent être pris en compte lors de l’interprétation des données communiquées pour ces pays.
Alberta (Canada) :
Collecte de données TALIS lors d’un conflit de travail.
L’analyse du biais de non-réponse ne montre aucun signe de risque élevé de biais de non-réponse de l’établissement sur les variables étudiées concernant les enseignants ou les chefs d’établissement des niveaux 2 ou 3 de la CITE et, à ce titre, leur note est passée de « médiocre » à « passable ».
Arabie Saoudite : la couverture passe en dessous de 95 % après exclusion de l’échantillonnage de deux provinces limitrophes du Yémen.
Australie :
Pour les niveaux 1 et 2 de la CITE, la fenêtre de collecte de données pour les enseignants et les directeurs d’école a été prolongée de la fin de l’année scolaire 2017 au début de l’année scolaire suivante en 2018.
Pour les chefs d’établissement et les enseignants du niveau 1 de la CITE et pour les chefs d’établissement du niveau 2 de la CITE, les données de l’Australie se trouvent en dessous de la ligne dans certains tableaux du présent rapport et ne sont pas incluses dans les calculs de la moyenne internationale. En effet, comme le montrent les tableaux AII.A.3 à AII.A.5, l’Australie n’a pas respecté les normes internationales en matière de taux de participation.
Colombie : l’analyse du biais de non-réponse ne montre aucun signe de risque élevé de biais de non-réponse de l’établissement sur les variables étudiées concernant les enseignants ou les chefs d’établissement et, à ce titre, leur note est passée de « médiocre » à « passable ».
Communauté flamande de Belgique : pour les niveaux 1 et 2 de la CITE, les entrées de l’échantillonnage sont des unités administratives et non des « établissements » au sens qui leur est généralement attribué ; un « établissement » peut être composé d’une ou plusieurs unités administratives, et le chef d’établissement devrait répondre pour l’établissement et pas seulement pour l’unité administrative sélectionnée ; les utilisateurs doivent donc faire preuve de prudence lors de l’analyse et de la comparaison des statistiques des établissements.
Communauté française de Belgique : il faut faire preuve de prudence dans l’interprétation des items concernant le pourcentage d’élèves ayant des besoins spécifiques d’éducation en raison des complications qui pourraient survenir quant à l’interprétation de la définition de besoins spécifiques. Les élèves étudiants dans un premier niveau différencié, qui est conçu pour les élèves qui n’ont pas réussi leur certification du primaire et qui reçoivent un soutien et des ressources supplémentaires, sont formellement identifiés comme ayant des difficultés d’apprentissage mais la plupart ne souffrent d’aucun handicap que ce soit.
Corée : concernant le niveau 2 de la CITE, dans quatre établissements, les listes d’enseignants se sont révélées incorrectes ; ces établissements ont donc été considérés comme « non-participants ».
Danemark : l’analyse du biais de non-réponse ne montre aucun signe de risque élevé de biais de non-réponse de l’établissement sur les variables étudiées concernant les enseignants ou les chefs d’établissement des niveaux 1, 2 ou 3 de la CITE et, à ce titre, leur note est passée de « médiocre » à « passable ».
Émirats arabes unis :
Les comparaisons avec l’Enquête TALIS 2013 doivent se limiter à Abou Dabi.
En raison de la sélection des établissements à plusieurs niveaux, les données sur les chefs d’établissement ont été reprises du questionnaire initial à l’intention des chefs d’établissement du niveau 2 de la CITE et reportées sur les formulaires correspondants des niveaux 1 et 3 de la CITE, sauf pour la question 17 du questionnaire à l’intention des chefs d’établissement.
Espagne : les indicateurs de tendance doivent être interprétés avec prudence en raison des complications découlant du processus de traduction.
Fédération de Russie : la couverture passe en dessous de 95 % après l’exclusion de la ville de Moscou.
Géorgie :
Les indicateurs repris des questionnaires de TALIS 2013 (nommés ci-après « les indicateurs de tendance ») doivent être interprétés avec prudence en raison des complications découlant du processus de traduction.
Certains problèmes de traduction pourraient subsister dans les versions géorgienne et azerbaïdjanaise des questionnaires.
Israël : la couverture passe en dessous de 95 %, après exclusion post-facto des établissements ultraorthodoxes, en raison de faibles taux de réponse, rendant la couverture identique à celle de TALIS 2013. En raison des problèmes de traduction qui pourraient subsister dans les indicateurs de tendance, les utilisateurs doivent faire preuve de prudence lors de la comparaison des résultats d’un cycle TALIS à l’autre.
Italie : les indicateurs de tendance doivent être interprétés avec prudence en raison des complications découlant du processus de traduction.
Lettonie :
Les indicateurs de tendance doivent être interprétés avec prudence en raison des complications découlant du processus de traduction.
Certains problèmes de traduction pourraient encore subsister dans les instruments nationaux susceptibles d’avoir une incidence sur les données.
Nouvelle-Zélande : la couverture a été étendue aux petits établissements (établissements ayant quatre enseignants ou moins). Même si l’impact de cette mesure sur la population cible d’enseignants a été négligeable, l’impact sur la population cible de chefs d’établissement est important, car, par rapport à l’Enquête TALIS 2013, la taille de la population cible de chefs d’établissement a presque doublé. Les résultats de l’Enquête TALIS 2018 présentés dans les tableaux de résultats sur les changements survenus depuis 2013 pour la Nouvelle-Zélande ont été estimés après exclusion de l’échantillon de de la Nouvelle-Zélande pour TALIS 2018 des établissements comptant quatre enseignants admissibles ou moins. Cette mesure a été prise afin de garantir la comparabilité avec les résultats de l’Enquête TALIS 2013 (à ce titre, les petits établissements ont été exclus de l’échantillonnage de l’Enquête TALIS 2013). Par conséquent, ces résultats peuvent différer de ceux présentés pour l’ensemble de l’échantillon TALIS 2018, en particulier ceux tirés des données sur les établissements et/ou des chefs d’établissement.
Pays-Bas :
Concernant les niveaux 1 et 2 de la CITE, les Pays-Bas ont bénéficié d’un démarrage anticipé de six semaines et d’un délai de collecte prolongé.
Concernant les niveaux 1 et 2 de la CITE, les Pays-Bas disposaient d’un protocole de collecte non approuvé qui a abouti à l’inclusion d’une cinquantaine d’établissements « nationaux » qui n’étaient pas inclus dans l’ensemble de données internationales, mais laissés sur l’ensemble de données nationales ; les taux de participation ont été calculés à partir de l’ensemble des données internationales.
Concernant les chefs d’établissement et les enseignants du niveau 1 de la CITE, les données des Pays-Bas se trouvent en dessous de la ligne dans les tableaux de résultats du présent rapport. En effet, comme le montrent les tableaux AII.A.3 à AII.A.4, les Pays-Bas n’ont pas respecté les normes internationales en matière de taux de participation.
République tchèque : les indicateurs de tendance doivent être interprétés avec prudence en raison des complications découlant du processus de traduction.
Singapour : la couverture comprenait les établissements privés et publics. Néanmoins les établissements privés ont été exclus de l’échantillon de TALIS 2013 en raison de problèmes de confidentialité. Des analyses différenciées (comme de restreindre les analyses entre 2013 et 2018 aux seuls établissements publics) ont montré que l’inclusion des établissements privés a eu un impact négligeable sur la plupart des résultats de tendance générés pour le rapport. Cependant, les analyses ont montré que les résultats affichés dans les tableaux II.3.36, II.3.10, II.3.33 et II.5.8 ainsi que le graphique II.3.33 sont largement dus à la différence de composition des échantillons entre 2013 et 2018. Par conséquent, les résultats de tendances issus de ces tableaux doivent être interprétés avec une grande prudence.
Références
[1] OCDE (2019), TALIS 2018 Technical Report, OECD, Paris, http://www.oecd.org/education/talis/TALIS_2018_Technical_Report.pdf.
[2] OCDE (2019), Guide de l’OCDE pour l’établissement de statistiques internationalement comparables dans le domaine de l’éducation 2018 : Concepts, normes, définitions et classifications, Éditions OCDE, Paris, https://dx.doi.org/10.1787/9789264305380-fr.
Note
← 1. Les tableaux AII.A.3 à AII.A.8 montrent les estimations du taux de participation qui étaient les plus favorables à la note d’adjudication. Les estimations les plus favorables auraient pu être pondérées ou non en fonction des caractéristiques des pays/économies, de la population d’enseignants et de chefs d’établissement et des niveaux d’enseignement.