Annexe A. Notes techniques sur l’enquête TALIS 2018
L’objectif de l’Enquête internationale sur l’enseignement et l’apprentissage (TALIS) en 2018 était d’obtenir, dans chacun des pays et territoires participants, un échantillon représentatif d’enseignants pour chaque niveau de la CITE auquel le pays ou le territoire participait. L’enquête TALIS 2018 met en lumière des questions stratégiques concernant les classes, les enseignants, les établissements et la direction d’établissement, si bien que sa couverture s’étend à tous les enseignants de chaque niveau de la CITE concerné et à leurs chefs d’établissement. Le plan d’échantillonnage international élaboré pour l’enquête TALIS 2018 s’est servi d’un plan d’échantillonnage probabiliste stratifié à deux degrés. En d’autres termes, les enseignants (unités d’échantillonnage du second degré ou secondaires) ont été choisis au hasard dans la liste des enseignants couverts par le champ d’application pour chacun des établissements choisis au hasard (unités d’échantillonnage du premier degré ou primaire). Une description plus détaillée de la conception de l’enquête et de sa mise en œuvre figure dans le rapport TALIS 2018 Technical Report (OCDE, 2019[1]).
Un enseignant des niveaux 1, 2 ou 3 de la CITE est un enseignant qui, dans le cadre de ses fonctions habituelles au sein de son établissement, dispense des enseignements dans des programmes de ce niveau de la CITE. Les enseignants qui enseignent dans des programmes mixtes à différents niveaux de la CITE au sein de l’établissement cible sont inclus dans le champ de l’enquête TALIS. Aucun seuil minimal n’a été fixé concernant le nombre de cours que doivent dispenser ces enseignants dans l’un de ces trois niveaux de la CITE.
La population cible internationale de l’enquête TALIS 2018 est restreinte aux enseignants qui font régulièrement cours dans des établissements ordinaires, et aux chefs de ces établissements. Les enseignants dispensant des enseignements aux adultes et ceux travaillant dans des établissements exclusivement réservés aux enfants ayant des besoins éducatifs particuliers ne font pas partie de la population cible internationale et ne sont donc pas considérés dans le cadre de l’enquête. Toutefois, contrairement à l’enquête TALIS 2008, les enseignants travaillant avec des élèves ayant des besoins éducatifs particuliers dans un environnement scolaire normal ont été considérés comme faisant partie du champ d’application des enquêtes TALIS 2013 et 2018. Lorsqu’un établissement est composé exclusivement de ce type d’enseignants, il est déclaré comme exclu du champ d’application de l’enquête. Les aides-enseignants, le personnel de soutien pédagogique (conseillers d’orientation et bibliothécaires, par exemple) et le personnel de soutien social et de santé (médecins, infirmiers, psychiatres, psychologues, ergothérapeutes et assistants sociaux) n’ont pas été considérés comme des enseignants et ne font donc pas partie de la population cible internationale de TALIS.
Pour des raisons nationales, les pays/territoires participants pouvaient choisir de restreindre la couverture de leur mise en œuvre nationale de l’enquête TALIS 2018 à certaines parties du pays/territoire. Par exemple, une province ou un État confronté à des troubles civils, ou une région frappée par une catastrophe naturelle, pouvaient être retirés de la population cible internationale pour créer une population cible nationale ne les incluant pas. Les pays/territoires participants ont été invités à limiter au minimum ces exclusions en gardant la population de l’enquête nationale à au moins 95 % d’enseignants.
TALIS 2018 a reconnu que l’administration d’une enquête auprès d’enseignants de très petits établissements pouvait s’avérer inefficace et difficile. Pour chaque niveau de la CITE, mener l’enquête auprès d’enseignants d’établissements ne comptant pas plus de trois enseignants au niveau visé de la CITE et auprès de ceux travaillant dans des établissements situés dans des zones géographiquement reculées pouvait en effet être un exercice coûteux, long et inefficace sur le plan statistique. Par conséquent, les pays/territoires participants ont été autorisés à exclure ces enseignants de la collecte de données de l’enquête TALIS 2018, créant ainsi une population d’enquête nationale différente de la population nationale cible. Le gestionnaire de projet national de chaque pays/territoire était tenu de documenter les raisons de ces exclusions, la taille, la localisation, la population cible, etc., de chaque établissement exclu. Ces informations étaient requises pour chaque niveau de la CITE auquel participait le pays/territoire.
Au sein d’un établissement inclus dans le champ de l’enquête, les catégories suivantes d’enseignants ont été exclues de l’échantillon :
les enseignants dispensant des enseignements dans des établissements exclusivement réservés aux élèves ayant des besoins éducatifs particuliers
les enseignants remplissant également la fonction de chef d’établissement : aucune donnée n’a été collectée sur l’enseignant, seulement sur le chef d’établissement
les enseignants dispensant des enseignements exclusivement aux adultes
les enseignants ayant participé à l’essai de terrain de l’enquête TALIS 2018.
Pour chaque niveau de la CITE, on a établi les mêmes exigences concernant la taille de l’échantillon et la précision des estimations. Pour assurer la fiabilité de l’estimation et de la modélisation, tout en tenant compte d’une certaine quantité de non-réponses, la taille minimale de l’échantillon a été fixée à 20 enseignants dans chaque établissement participant. Un échantillon minimal de 200 établissements devait être sélectionné parmi la population d’établissements inclus dans le champ de l’enquête. Ainsi, la taille nominale de l’échantillon international était d’au moins 4 000 enseignants pour chaque niveau de la CITE auquel un pays ou un territoire participait. Les pays et territoires participants pouvaient choisir d’élargir leur échantillon national, soit en sélectionnant davantage d’établissements, soit en sélectionnant davantage d’enseignants dans chaque établissement sélectionné, soit en augmentant les deux. On a demandé à certains pays et territoires d’élargir leur échantillon au sein de chaque établissement pour contrebalancer l’effet de la sélection d’un trop grand nombre d’établissements comptant moins de 20 enseignants. La taille de l’échantillon a été réduite pour certains pays et territoires participants en raison du nombre limité d’établissements disponibles pour l’échantillonnage. Dans quelques cas, le nombre moyen d’enseignants dans les établissements étant inférieur à celui prévu dans le plan international, le nombre d’établissements échantillonnés a été augmenté pour assurer un nombre total minimal d’enseignants participants.
Dans de nombreux pays/territoires, la séparation des années d’études dans les niveaux de la CITE ne correspond pas à une séparation physique des bâtiments ou des administrations scolaires : les établissements qui vont de la 8e à la 12e année chevauchent les niveaux 2 et 3 de la CITE, mais l’ensemble du niveau 2 de la CITE n’est pas couvert par ces établissements. Dans les pays et territoires ayant participé à plus d’un niveau de la CITE, des dispositions ont été prises en collaboration avec le gestionnaire de projet national et son équipe pour optimiser la sélection de l’échantillon scolaire en réduisant au minimum le chevauchement des échantillons respectifs (sélection d’un établissement pour participer à un seul niveau de la CITE) ou en maximisant le chevauchement des échantillons (sélection d’un établissement qui contribue à tous les niveaux de la CITE concernés). Toutefois, dans le cas d’un chevauchement maximal, les enseignants qui enseignent à plus d’un niveau n’étaient invités à participer qu’à un seul.
À l’instar des cycles précédents, l’enquête TALIS 2018 a adopté, à des fins d’échantillonnage et d’analyse, la définition du mot « enseignant » issue de la collecte de données du Programme des indicateurs des systèmes d’enseignement (INES) : « Un enseignant (CITE 0-4) est, par définition, une personne dont l’activité professionnelle suppose de planifier, d’organiser et de mener des activités de groupe, grâce auxquelles les élèves acquièrent les connaissances, compétences et aptitudes stipulées dans les programmes d’enseignement » (OCDE, 2018, p. 43[2]).
Le principe de base guidant l’adjudication est de déterminer, pour chaque pays/territoire participant et pour chacune des options TALIS, si les données communiquées aux pays et territoires sont de nature à fournir des analyses et des indicateurs internationaux solides et pertinents sur les enseignants et l’enseignement, en temps opportun et de manière rentable.
Afin de garantir leur conformité, un certain nombre de dispositifs d’assurance qualité ont été conçus et mis en œuvre tout au long du processus d’enquête. Certains reposaient sur des conseils et des avis d’experts, d’autres sur des données qualitatives et des jugements éclairés, et d’autres encore sur des données quantitatives. Pour de plus amples informations, veuillez consulter le rapport TALIS 2018 Technical Report (OCDE, 2019[1]).
Au cours de la session d’adjudication, chaque ensemble de données, à savoir la combinaison des pays/territoires participants, des options d’enquête et des types de questionnaires, a été soumis au même examen. Pour la première fois dans un cycle TALIS, les données relatives aux chefs d’établissement ont été évaluées séparément. En d’autres termes, les données sur les chefs d’établissement et les enseignants ont fait l’objet d’une évaluation d’adjudication distincte par option TALIS et par pays/territoire.
Les questions évaluées concernaient l’adaptation des questionnaires au contexte national, la traduction et la vérification, la qualité de l’échantillonnage, le traitement des unités hors champ et des unités de refus (c’est-à-dire les enseignants et/ou les établissements), l’échantillonnage au sein des établissements, la collecte des données, le nettoyage des données, les rapports des observateurs de la qualité, les taux de participation et le respect général des normes techniques. Après évaluation de chaque processus d’enquête, une recommandation de note, tenant compte des taux de participation et de toute question non résolue, a été formulée.
Les règles d’adjudication, fondées sur les taux de participation des chefs d’établissement et des enseignants, sont récapitulées dans les Tableau A A.1 et Tableau A A.2. Une explication des codes utilisés est ensuite proposée.
La liste suivante se veut un simple guide visant à aider les utilisateurs des données à en comprendre les limites d’utilisation ou de qualité :
Bien : Les données du pays/territoire participant peuvent être utilisées à toutes fins d’établissement de rapports et d’analyses, et être incluses dans des comparaisons internationales.
Passable (A) : Il est possible d’effectuer des estimations nationales et infranationales ; certaines caractéristiques des enseignants peuvent pâtir d’une erreur-type plus importante (er.-t.), d’où l’avertissement « passable » ; aucun avertissement supplémentaire aux utilisateurs ne semble nécessaire.
Passable (B) uniquement pour l’adjudication des données sur les enseignants) : Il est possible d’effectuer des estimations nationales et infranationales ; certaines estimations infranationales peuvent être moins précises (erreurs-types plus grandes) si la taille de l’échantillon est faible au niveau local, d’où l’avertissement « passable » ; aucun avertissement supplémentaire aux utilisateurs ne semble nécessaire.
Il est possible d’effectuer des estimations nationales et infranationales.
Certaines estimations infranationales peuvent être moins précises (erreurs-types plus grandes) si la taille de l’échantillon est faible au niveau local, d’où l’avertissement « passable », mais une note sur la qualité des données indiquant le résultat de l’analyse du biais de non-réponse pourrait apparaître.
La participation des établissements étant un peu plus faible que sous (B), la prudence est de mise pour la comparaison des estimations infranationales, car certains de ces résultats ne se basent que sur quelques établissements.
La comparaison des estimations infranationales marginales avec des groupes similaires d’autres pays/territoires est susceptible de révéler des différences significatives sur le plan statistique, en raison de l’erreur-type probablement trop importante.
Outre les avertissements émis pour la catégorie précédente, une note devrait avertir les utilisateurs des indications de biais de non-réponse dans certaines estimations.
Les comparaisons d’estimations infranationales devraient se limiter aux groupes présentant les plus grandes tailles d’échantillons.
À ce stade, l’échantillon représente entre 37 % et 56 % du personnel enseignant, à partir d’un échantillon assez restreint d’établissements.
Il ne serait pas conseillé d’effectuer des comparaisons avec des groupes similaires d’autres pays.
Médiocre (E) uniquement pour l’adjudication des données sur les enseignants) : Les estimations infranationales ne seraient pas recommandées ; une note devrait souligner la difficulté à obtenir un échantillon représentatif d’établissements.
Médiocre (F) uniquement pour l’adjudication des données sur les enseignants) : Limites semblables à celles de la ligne E, mais une note devrait souligner la difficulté à obtenir une participation d’au moins 50 % de l’échantillon des établissements sélectionnés ; risques d’obtenir un échantillon non représentatif d’établissements.
Insuffisant : Les pondérations ne devraient pas être calculées dans les compilations officielles ; par conséquent, les données ne doivent pas être intégrées dans les tableaux, modèles, moyennes (etc.) internationaux.
Les taux de participation et la note d’évaluation par pays/territoire participant au niveau 2 de la CITE sont présentés dans les Tableau A A.3 et Tableau A A.41.
La présente section récapitule les problèmes à relever, lors de l’échantillonnage ou des opérations de terrain, qui doivent être pris en compte lors de l’interprétation des données du niveau 2 de la CITE communiquées pour ces pays.
La période de collecte des données pour les enseignants et les chefs d’établissement a été prolongée de la fin de l’année scolaire 2017 au début de l’année scolaire suivante en 2018.
Pour les chefs d’établissement, les données de l’Australie se trouvent en dessous de la ligne dans certains tableaux du présent rapport et ne sont pas incluses dans les calculs de la moyenne internationale. En effet, comme le montrent les Tableau A A.3 et Tableau A A.4, l’Australie n’a pas respecté les normes internationales en matière de taux de participation.
Colombie : L’analyse du biais de non-réponse ne montre aucun signe de risque élevé de biais de non-réponse des établissements sur les variables étudiées concernant les enseignants ou les chefs d’établissement et, à ce titre, leur note est passée de « médiocre » à « passable ».
Danemark : L’analyse du biais de non-réponse ne montre aucun signe de risque élevé de biais de non-réponse des établissements sur les variables étudiées concernant les enseignants ou les chefs d’établissement et, à ce titre, leur note est passée de « médiocre » à « passable ».
Communauté flamande de Belgique : Les entrées de l’échantillonnage sont des unités administratives et non des « établissements » au sens qui leur est généralement attribué ; un « établissement » peut être composé d’une ou plusieurs unités administratives, et le chef d’établissement devrait répondre pour l’établissement et pas seulement pour l’unité administrative sélectionnée ; les utilisateurs doivent donc faire preuve de prudence lors de l’analyse et de la comparaison des statistiques des établissements.
Communauté française de Belgique : La prudence est de mise lors de l’interprétation des items concernant le pourcentage d’élèves ayant des besoins éducatifs particuliers en raison des complications susceptibles de survenir quant à l’interprétation de la définition de ces besoins. Les élèves étudiant dans un premier niveau différencié, conçu pour les élèves n’ayant pas réussi leur certification du primaire et bénéficiant d’un soutien et de ressources supplémentaires, sont formellement identifiés comme ayant des difficultés d’apprentissage, mais la plupart ne souffrent d’aucune forme de handicap.
Géorgie : Certains problèmes de traduction pourraient subsister dans les versions géorgienne et azerbaïdjanaise des questionnaires.
Israël : La couverture passe en dessous de 95 %, après exclusion post-facto des établissements ultraorthodoxes, en raison de faibles taux de réponse, rendant la couverture identique à celle de TALIS 2013.
Lettonie : Certains problèmes de traduction pouvant subsister dans les instruments nationaux sont susceptibles d’avoir une incidence sur les données.
Corée : Dans quatre établissements, les listes d’enseignants se sont révélées incorrectes ; ces établissements ont donc été considérés comme « non-participants ».
Les Pays-Bas ont bénéficié d’un démarrage anticipé de six semaines et d’un délai prolongé de collecte des données.
Les Pays-Bas disposaient d’un protocole de collecte non approuvé qui a abouti à l’inclusion d’une cinquantaine d’établissements « nationaux » non inclus dans l’ensemble de données internationales, mais laissés dans l’ensemble de données nationales ; les taux de participation ont été calculés à partir de l’ensemble des données internationales.
Nouvelle-Zélande : La couverture a été étendue aux petits établissements (comptant quatre enseignants ou moins). Même si l’impact sur la population cible d’enseignants en a été négligeable, celui sur la population cible de chefs d’établissement est en revanche important : par rapport à l’enquête TALIS 2013, la taille de la population cible de chefs d’établissement a presque doublé.
Fédération de Russie : La couverture passe en dessous de 95 % après l’exclusion de la ville de Moscou.
Arabie saoudite : La couverture passe en dessous de 95 % après l’exclusion de l’échantillonnage de deux provinces limitrophes du Yémen.
Singapour : La couverture comprenait les établissements privés et publics. Les établissements privés ont néanmoins été exclus de l’échantillon de TALIS 2013 en raison de problèmes de confidentialité.
Émirats arabes unis : En raison de la sélection d’établissements à plusieurs niveaux, les données sur les chefs d’établissement ont été reprises du questionnaire initial à l’intention des chefs d’établissement du niveau 2 de la CITE et reportées sur les formulaires correspondants des niveaux 1 et 3 de la CITE, sauf pour la question 17 du questionnaire à l’intention des chefs d’établissement.
Références
[1] OCDE (2019), TALIS 2018 Technical Report, Éditions OCDE, Paris, http://www.oecd.org/education/talis/TALIS_2018_Technical_Report.pdf.
[2] OCDE (2018), Guide de l’OCDE pour l’établissement de statistiques internationalement comparables dans le domaine de l’éducation 2018 : Concepts, normes, définitions et classifications, Éditions OCDE, Paris, https://doi.org/10.1787/9789264304444-en.
Note
← 1. Les tableaux A A.3 et A A.4 indiquent les estimations du taux de participation les plus favorables à la note d’adjudication. Les estimations les plus favorables peuvent avoir été pondérées ou non en fonction des caractéristiques des pays/territoires, de la population d’enseignants et de chefs d’établissement, et des niveaux d’enseignement.