8. Analyse des données de l’apprentissage pour les établissements et la gestion des systèmes éducatifs
Au cours de cette dernière décennie, l’utilisation de l’analyse de l’apprentissage dans les structures éducatives a fait l’objet de discussions. Pourtant, il existe peu d’exemples d’adoption systématique et holistique de cette pratique à l’échelle d’une organisation. Ce chapitre explore les cadres d’action et les modèles à adopter qui pourraient permettre d’intégrer l’analyse de l’apprentissage dans les organisations éducatives dans la perspective d’un changement organisationnel. Les établissements d’enseignement supérieur sont certes conscients des avantages de l’analyse d’apprentissage et ils ont commencé à expérimenter des tableaux de bord pour les étudiants et les enseignants, mais ils sont encore loin d’une transformation organisationnelle. Les travaux de recherche sur la mise en œuvre et la pratique de l’analyse des données de l’apprentissage dans les écoles primaires et secondaires sont également rares. Un examen des modèles à adopter et des recommandations politiques dans un contexte international plus large permettrait de diffuser les expériences isolées dans le grand public.
La grande quantité de données éducatives désormais disponible, l’amélioration du stockage et du traitement des données, et les progrès de l’informatique ainsi que des outils et algorithmes analytiques connexes expliquent l’intérêt des organisations éducatives envers l’analyse des données de l’apprentissage. Ces analyses permettent d’évaluer, d’obtenir et d’analyser des informations, statiques et dynamiques, sur les apprenants et les environnements d’apprentissage afin de modéliser, de prédire et d’optimiser en temps réel les processus et les environnements d’apprentissage, ainsi que les prises de décision au sein d’une structure éducative (Ifenthaler, 2015[1]). L’intégration des systèmes d’analyse de l’apprentissage dans ces organisations nécessite des cadres et des modèles d’adoption exploitables (Buckingham Shum et McKay, 2018[2] ; Dyckhoff et al., 2012[3]). Cependant, ces modèles peuvent varier en fonction des pays et des organisations, voire même au sein d’une organisation donnée (Klasen et Ifenthaler, 2019[4]).
Au cours de cette dernière décennie, les avantages potentiels de l’analyse de l’apprentissage dans les structures éducatives ont fait l’objet de discussions (Pistilli et Arnold, 2010[5]). L’adoption systématique et holistique de l’analyse de l’apprentissage n’est pas encore patente au sein des organisations (Gašević et al., 2019[6]). Le degré d’adoption de l’analyse d’apprentissage au sein d’une organisation se mesure par le nombre de parties concernées qui l’utilisent ou qui ont modifié leur pratique grâce à elle (Colvin et al., 2015[7]). L’analyse de l’apprentissage peut s’étendre à davantage d’organisations si les acteurs potentiels communiquent entre eux et suivent un processus de prise de décision pour déterminer s’il faut adopter cet outil ou non (Kotter, 2007[8] ; Rogers, 1962[9]). Les influenceurs qui souhaitent promouvoir l’adoption de l’analyse de l’apprentissage doivent prévoir des canaux de communication ouverts et les sécuriser. Ils doivent ensuite encourager les participants à se jeter à l’eau et passer de la prise de conscience à l’action (Colvin et al., 2015[7] ; Drachsler et Greller, 2016[10] ; Ifenthaler et Gibson, 2020[11]).
Les institutions d’enseignement supérieur ont montré leur intérêt en vue de l’adoption de l’analyse des données de l’apprentissage, mais ce n’est pas encore une priorité majeure pour celles-ci (Ifenthaler et Yau, 2019[12] ; Tsai et Gašević, 2017[13] ; Lester et al., 2017[14]). Certaines d’entre elles ont commencé à utiliser des tableaux de bord à l’usage des étudiants et des enseignants, mais on est encore loin d’une transformation organisationnelle en tant que telle (Siemens, Dawson et Lynch, 2014[15] ; Viberg et al., 2018[16]).
S’il existe effectivement des études sur l’adoption de l’analyse de l’apprentissage dans l’enseignement supérieur, sa mise en œuvre dans les établissements de la maternelle à la terminale reste rare (Andresen, 2017[17] ; Gander, 2020[18]). Deux écoles de pensée coexistent quant à l’utilité de l’analyse de l’apprentissage dans ces établissements. Agasisti et Bowers (2017[19]) soulignent l’importance des données éducatives et de leur analyse dans l’élaboration des politiques, la gestion des établissements et l’apprentissage et l’enseignement en classe. En revanche, Sergis et Sampson (2016[20]) soutiennent que ces établissements ne tirent peut-être pas autant profit de l’analyse de l’apprentissage que les établissements d’enseignement supérieur. Les premiers ont besoin d’un cadre d’analyse holistique et multiniveaux, qui comprend plusieurs couches de données pour fournir des informations suffisamment détaillées à la direction des établissements et aux autres parties prenantes, tandis que l’analyse des données scolaires recueille, analyse et exploite des données éducatives à l’échelle des établissements, permettant à leurs dirigeants de suivre et (partiellement) d’influencer les développements de leur organisation afin de mieux répondre aux besoins des élèves, des enseignants, des parents et de respecter les directives politiques externes. À partir de ce constat, Sergis et Sampson (2016[20]) proposent un cadre d’analyse scolaire qui comprend des éléments à un niveau micro (suivi et évaluation du processus d’apprentissage, suivi et évaluation des performances de l’apprenant), à un niveau méso (planification du curriculum, gestion du personnel enseignant, développement professionnel du personnel enseignant) et à un niveau macro (responsabilité des parties prenantes du district scolaire, gestion des infrastructures, gestion des ressources financières, gestion des données de l’apprenant). Cela étant dit, peu d’études se sont penchées sur la façon dont les politiques régionales et locales peuvent tirer parti de l’analyse des données en vue d’améliorer le fonctionnement des établissements scolaires (Jimerson et Childs, 2017[21]).
Ce chapitre se consacre aux avantages organisationnels de l’analyse de l’apprentissage et expose les défis que représente son adoption dans les organisations éducatives. Trois exemples concrets donnent un aperçu de la façon dont les organisations ont réussi à adopter l’analyse de l’apprentissage et à produire des avantages organisationnels, ou à surmonter les obstacles organisationnels. La partie finale présente des recommandations à destination des décideurs politiques, des chercheurs et des organisations éducatives qui adoptent l’analyse de l’apprentissage et se termine par une série de questions ouvertes à aborder dans les recherches futures.
Les recherches et les pratiques actuelles en matière d’analyse de l’apprentissage en Australie, au Royaume-Uni et aux États-Unis prouvent l’utilité de celle-ci dans la résolution des problèmes liés à la réussite des études et dans l’identification des élèves à risque (Sclater et Mullan, 2017[22]), ainsi que dans le contrôle des capacités organisationnelles et leur amélioration (Ifenthaler, Yau et Mah, 2019[23]).
La gouvernance (méganiveau) favorise l’analyse interorganisationnelle en intégrant les données de tous les niveaux des analyses de l’apprentissage. Basés sur des normes de données communes et des schémas de données ouverts, les ensembles de données permettent d’identifier et de valider des modèles au sein des organisations et entre elles ; ils fournissent donc des informations précieuses pour éclairer l’élaboration des politiques éducatives. À l’échelle des pouvoirs publics, ces données peuvent être liées à l’analyse de la performance entre établissements, ce qui comprend des analyses comparatives. Ces données permettent d’élaborer des politiques éducatives et d’allouer des ressources dans les districts scolaires, les régions ou les pays. En cas de crise, comme la pandémie de COVID-19, l’analyse de l’apprentissage au niveau de la gouvernance peut s’avérer utile pour apporter une réponse rapide et coordonner le soutien des experts aux établissements qui en ont besoin.
Au niveau macro, les analyses à l’échelle de l’organisation permettent de mieux connaître les cohortes d’apprenants afin d’optimiser les processus. Il s’agit notamment d’allouer des ressources cruciales dans le but de réduire les taux de décrochage scolaire et d’augmenter les taux de rétention et de réussite. L’analyse de l’apprentissage peut servir à soutenir les processus d’admission dans les établissements scolaires et prédire les performances des établissements (en fonction des performances individuelles des élèves). D’autres applications encadrent la transition entre les systèmes éducatifs, comme l’entrée dans l’enseignement supérieur ou les démarches pour trouver un emploi. Les niveaux méso et micro fournissent des données analytiques à l’échelle des organisations elles-mêmes et ne seront pas abordés plus avant dans ce chapitre (Ifenthaler et Widanapathirana, 2014[24]).
Afin de déterminer les avantages de l’analyse de l’apprentissage, il est essentiel de savoir quelle est la nature de ces données et à quoi leur analyse va servir. On peut les subdiviser en plusieurs catégories : (1) sommative et descriptive - aperçus détaillés à l’issue d’une phase d’apprentissage ( p. ex., période d’études, semestre, diplôme final) souvent comparés à des points de référence ou de repère définis au préalable ; (2) formative et (presque) en temps réel, qui utilise les informations en continu pour améliorer les processus via des interventions directes sur le moment même ; (3) prédictive et prescriptive, qui prévoit la probabilité des résultats afin de planifier les interventions, stratégies et actions futures. Le Tableau 8.1 présente des exemples au niveau de la gouvernance et de l’organisation en fonction des catégories de données et d’analyse (Ifenthaler, 2015[1]). Ces avantages peuvent être mis en correspondance avec différents profils de données ( p. ex., profil de l’étudiant, profil d’apprentissage, profil du programme de cours) comprenant divers indicateurs analytiques ( p. ex., données de traçage, contexte démographique, caractéristiques du cours). Yau et Ifenthaler (2020[25]) présentent une analyse approfondie des indicateurs analytiques relatifs à des avantages spécifiques de l’analyse de l’apprentissage.
Même s’il existe de nombreuses recherches sur les avantages organisationnels de l’analyse de l’apprentissage, la mise en œuvre de systèmes analytiques à l’échelle de l’organisation n’est pas fréquente (Buckingham Shum et McKay, 2018[2]). Les trois exemples qui suivent montrent comment l’analyse de l’apprentissage peut avoir un impact sur la gestion des établissements scolaires et des systèmes éducatifs.
Exemple 1 : Analyse de l’apprentissage à l’Université de Wollongong, Australie
L’Université de Wollongong, en Australie, a relevé le défi de l’analyse de l’apprentissage en l’adoptant au niveau organisationnel (celui du vice-chancelier adjoint, responsable des affaires académiques) tout en cherchant des moyens d’intégrer différentes cultures d’apprentissage et d’enseignement propres aux différentes disciplines et en démontrant sa valeur aux étudiants et au personnel enseignant (Heath et Leinonen, 2016[26]). L’Université a commencé par examiner les outils et ressources existants qui pouvaient venir en appui de l’analyse de l’apprentissage. Malgré une infrastructure de stockage de données bien au point, il a fallu investir dans du personnel de soutien supplémentaire pour qu’il se consacre à l’analyse, aux mégadonnées et aux statistiques. L’Université de Wollongong a opté pour l’adoption extensive de l’analyse de l’apprentissage - par opposition à une adoption progressive par mise à l’échelle, qui commence généralement par un prototype, puis est suivie d’une mise à l’échelle avant d’atteindre le stade de l’analyse d’apprentissage pleinement mise en œuvre (Ferguson et al., 2014[27]). Les professeurs s’estimaient capables de suivre une forme d’adoption « florissante » dans des proportions très variables. Cette situation a représenté une complexité supplémentaire dans le processus de changement organisationnel. Une enquête a recueilli les points de vue des étudiants sur l’analyse de l’apprentissage, notamment leurs préférences en matière de fonctionnalités, de stratégies d’intervention et de perception de la confidentialité (outre les capacités techniques). Deux comités de gouvernance ont ensuite été mis sur pied : (a) le comité de gouvernance de l’analyse de l’apprentissage, axé sur l’adoption de l’analyse de l’apprentissage et (b) le groupe consultatif sur l’utilisation éthique des données, axé sur la vie privée des étudiants et les questions éthiques concernant les données éducatives (Heath et Leinonen, 2016[26]).
Pour conclure, quatre points majeurs doivent être pris en considération en vue d’une adoption réussie à l’échelle de l’organisation (Heath et Leinonen, 2016[26]) : (1) utiliser une infrastructure technologique commune telle qu’un entrepôt de données ; (2) impliquer les étudiants à toutes les étapes du processus d’adoption ; (3) faire participer les premiers utilisateurs et établir des communautés de pratique ; (4) instituer des cadres de gouvernance axés sur la stratégie d’analyse de l’apprentissage, la confidentialité des données et l’éthique.
Exemple 2 : Système de soutien aux diagnostics des enseignants (Stuttgart, Allemagne)
Développé par des chercheurs de l’Université Hohenheim de Stuttgart (Allemagne), le système de soutien aux diagnostics des enseignants (Teachers' Diagnostic Support System - TDSS) aide les enseignants à adapter leurs pratiques pédagogiques à la diversité des besoins des élèves en classe. Les individus concernés sont les enseignants et les apprenants. La collecte et l’analyse des données du TDSS présentent un intérêt particulier. En effet, le TDSS permet de recueillir des données sur (1) les caractéristiques personnelles des élèves ( p. ex., connaissances et compétences spécifiques à la discipline, caractéristiques émotionnelles et motivationnelles), (2) les descriptions des caractéristiques de l’enseignement ( p. ex., caractéristiques du contenu de l’apprentissage) et (3) les expériences d’apprentissage et les progrès des élèves ( p. ex., intérêt situationnel/contextuel pour la matière, connaissances réelles sur le sujet) (Kärner, Warwas et Schumann, 2020[28]). Le Graphique 8.1 donne un aperçu du TDSS, qui consiste en un logiciel client-serveur optimisé pour les appareils mobiles.
Le TDSS permet à l’enseignant de récolter et d’analyser des données pendant et après les cours afin de faire évoluer sa pratique pédagogique sur le champ ainsi que de préparer le matériel d’apprentissage et les leçons à venir. La microgestion via l’analyse des données de l’apprentissage peut être étendue aux activités d’enseignement pluridisciplinaires et aux diagnostics à l’échelle des établissements scolaires.
Source : Kärner, Warwas et Schumann (2020[28])
Exemple 3 : Le projet LAPS utilise des techniques d’apprentissage automatique pour le soutien précoce aux étudiants de l’Université des médias de Stuttgart, en Allemagne.
Le projet LAPS (Learning analytics for exams and study success) a été développé pour identifier les étudiants risquant d’échouer dans leurs études. Il a été mis en œuvre à l’université des médias de Stuttgart en 2014. L’objectif de LAPS était de favoriser les échanges fondés sur des éléments probants entre le personnel académique et les étudiants au début de leurs études. Les questions éthiques concernant la vie privée, le volontarisme, l’autodétermination, l’autoresponsabilité, le respect de l’individualité, la confidentialité et l’anonymat font partie intégrante du projet. On utilise les données LAPS, qui sont mises à jour chaque semestre, pour constituer une liste des progrès académiques des étudiants participants durant leurs études. On peut identifier 200 caractéristiques de risque différentes (voir le Graphique 8.2) ainsi que les parcours académiques prometteurs (Hinkelmann et Jordine, 2019[29]). En outre, LAPS est utilisé pour l’assurance qualité, en fournissant des informations sur des programmes spécifiques, des cours et des cohortes d’étudiants. LAPS donne des informations sur le nombre d’étudiants inscrits, les abandons, les parcours académiques réussis, la probabilité de risque moyen, l’âge minimum/moyen/maximum des étudiants, la répartition par sexe, la note moyenne à l’examen d’entrée à l’université et la non-présentation aux examens par programme de cours.
Source : Hinkelmann et Jordine (2019[29])
Les informations sur les cours LAPS permettent de réaliser une analyse détaillée par semestre et donnent accès à la répartition des notes, au nombre d’examens réussis, à la note moyenne, au nombre d’absences à un examen ou encore au nombre d’inscriptions. La vue d’ensemble sur les cohortes LAPS permet de comparer la répartition des crédits ECTS (European Credit Transfer System) obtenus par les étudiants par semestre. Elle permet également d’identifier les éventuels problèmes structurels lorsque les étudiants n’obtiennent pas les crédits ECTS requis (Hinkelmann et Jordine, 2019[29]).
Les trois exemples ci-dessus montrent que l’analyse de l’apprentissage peut présenter des avantages pour la mise en œuvre de changements organisationnels et le soutien aux enseignants et aux étudiants pendant leurs études. Il existe de nombreux autres avantages potentiels. Mais les défis par rapport à son déploiement ne sont pas une vue de l’esprit. Comment les structures éducatives peuvent-elles investir des ressources limitées et obtenir un maximum d’avantages ? Tsai et Gašević (2017[13]) mettent en évidence plusieurs problèmes pour les organisations qui mettent en œuvre des initiatives d’analyse de l’apprentissage :
un leadership insuffisant dans la planification et le suivi de la mise en œuvre des analyses d’apprentissage et du processus de changement organisationnel ;
une compréhension et une implication variables des parties prenantes à l’égard de l’initiative, à savoir le personnel administratif, technique et enseignant ;
des lacunes dans les concepts pédagogiques et dans les connaissances générales de la culture d’apprentissage de l’organisation, laquelle doit conduire aux avantages attendus en matière d’apprentissage et d’enseignement ;
une formation professionnelle insuffisante du personnel enseignant, du personnel d’encadrement, du personnel technique sur les avantages et les limites de l’analyse de l’apprentissage ou de son infrastructure technique ;
un manque de preuves empiriques rigoureuses sur l’efficacité de l’analyse de l’apprentissage pour soutenir la prise de décision à l’échelle de l’organisation ;
des lacunes en matière de politiques, de règlements et de codes de pratique sur la vie privée et l’éthique dans l’analyse de l’apprentissage.
Leitner, Ebner et Ebner (2019[30]) recommandent un cadre se décomposant en sept catégories afin de piloter les initiatives d’analyse de l’apprentissage à l’échelle de l’organisation. Celles-ci comprennent : (1) la définition de la façon dont les apprenants, les professionnels de l’éducation, les chercheurs et les administrateurs scolaires tireront profit de l’analyse de l’apprentissage ; (2) l’accès des parties prenantes à des informations exploitables sur des tableaux de bord ; (3) une communication transparente avec toutes les parties prenantes et la garantie de politiques - en particulier, quant à la confidentialité - qui soient conformes aux principes fondamentaux de l’organisation, comme le règlement général sur la protection des données de l’UE ; (4) la mise en place et la gestion d’une infrastructure informatique qui réponde aux exigences de la mise en œuvre de l’analyse de l’apprentissage. Ces infrastructures informatiques modernes peuvent être mises à disposition par des services appartenant à l’organisation ou par des prestataires de services externes ; (5) un développement et un déploiement évolutifs des fonctions d’analyse de l’apprentissage que l’organisation peut contrôler et évaluer ; (6) la mise en œuvre d’un code de conduite et (7) des procédures portant sur une éthique de l’analyse de l’apprentissage qui s’adapte aux différents contextes culturels.
Drachsler et Greller (2016[10]) ont établi une liste de contrôle DELICATE en huit points pour faciliter la mise en œuvre en toute confiance de l’analyse de l’apprentissage, qui reprend de nombreux points du cadre de Leitner, Ebner et Ebner (2019[30]). À cela, ils ajoutent la nécessité de légitimer ou de motiver le droit d’obtenir des données, d’obtenir le consentement par le biais d’un contrat avec les personnes concernées, d’anonymiser les données et les sujets, et de veiller à ce que les parties prenantes externes respectent les directives nationales.
Source : Ifenthaler (2020[31])
Une stratégie de gestion du changement commence par une évaluation de l’état de préparation. L’étape initiale consiste à identifier les avantages à tirer de l’analyse de l’apprentissage. La structure éducative procède ensuite à un examen approfondi des pratiques, procédures et capacités existantes (voir l’exemple 1). La stratégie qui en découle définit alors les avantages et les caractéristiques spécifiques de l’analyse de l’apprentissage, ainsi que l’infrastructure nécessaire pour mettre en œuvre avec succès l’analyse de l’apprentissage.
L’état de préparation est ensuite évalué à l’aide d’outils standardisés. Les données sur l’état de préparation de l’organisation, telles que la réglementation en matière de protection des données, sont collectées en mettant l’accent sur l’état de préparation technique de l’organisation ( p. ex., entrepôt de données, intégration du système) et sur le niveau de connaissances du personnel en matière de données éducatives (Schumacher, Klasen et Ifenthaler, 2019[32]).
Toute stratégie de mise en œuvre qui découle de l’évaluation de l’état de préparation doit englober le suivi et l’évaluation de l’analyse de l’apprentissage au regard d’indicateurs clés de performance prédéfinis et mesurables. Plus important encore, il faut suivre de près le retour sur investissement, défini comme les gains attendus (retours) par unité de coût (investissement) (Psacharopoulos, 2014[33]). Il peut s’agir de résultats financiers, mais aussi d’autres gains, comme la rétention des étudiants, la valorisation du personnel (voir l’exemple 2) ou encore la satisfaction des étudiants (Gibson et al., 2018[34]).
En résumé, une stratégie de gestion du changement pourrait être axée sur les principes suivants (Ifenthaler, 2020[31] ; Leitner, Ebner et Ebner, 2019[30] ; Tsai et Gašević, 2017[13]) :
définition de la vision et des objectifs de l’analyse de l’apprentissage ( p. ex., en utilisant la matrice des avantages susmentionnée) et harmonisation avec la mission et la culture d’apprentissage de l’organisation ;
identification des facteurs organisationnels, politiques ou technologiques qui influenceront la mise en œuvre ;
implication et communication régulière à destination de toutes les parties prenantes, y compris les étudiants, les enseignants, les administrateurs scolaires, etc. ;
élaboration (et mise à jour permanente) d’un plan stratégique axé sur les gains à court et à long terme, comprenant une analyse des besoins et des risques ainsi qu’un calendrier précis définissant les responsabilités des parties prenantes concernées ;
allocation des ressources et identification de l’expertise (dans l’organisation et en dehors de celle-ci) pour atteindre les objectifs de l’analyse de l’apprentissage ;
évaluation formative et sommative solide de l’initiative d’analyse de l’apprentissage afin d’affiner la mise en œuvre globale et le processus de changement organisationnel.
De nombreuses initiatives d’analyse de l’apprentissage suivent soit une approche de recherche-action (Argyris et Schon, 1974[35]), soit une approche de recherche orientée par la conception (Huang, Spector et Yang, 2019[36]). Par exemple, au niveau macro, l’analyse de l’apprentissage permet au personnel de cibler les programmes de rétention (voir l’exemple 3). Au niveau méso, les rapports de données permettent d’améliorer les pratiques pédagogiques (voir l’exemple 2). Au niveau micro, des listes d’élèves « à risque » sont remises au personnel d’encadrement, ce qui leur permet de trier et d’inciter certains élèves à prendre des mesures correctives (voir l’exemple 3) ou de faire face à l’hétérogénéité des élèves dans les classes (voir l’exemple 2).
Malgré ces avantages, la mise en œuvre de l’analyse de l’apprentissage dans les organisations éducatives est souvent un exercice pour le moins paradoxal. Un institut de recherche qui étudie l’analyse de l’apprentissage peut certes disposer d’experts de classe mondiale en science des données, en systèmes d’information, en gestion, en leadership éducatif et en sciences de l’apprentissage. Ces experts peuvent même contribuer au développement de systèmes robustes d’analyse de l’apprentissage. Mais cela ne signifie pas pour autant qu’ils ont une vision claire des tenants et aboutissants de nature « politique » qui sont liés à la mise en œuvre de l’analyse de l’apprentissage au sein de leur organisation. Quand bien même ces experts disposeraient d’une expérience en développement organisationnel, il n’est pas dit que la direction administrative de leur organisation y fera appel. Qui plus est, à partir du moment où la lourdeur bureaucratique s’installe, il est vraisemblable que les experts seront moins portés à s’impliquer dans les processus de changement.
Afin de surmonter ces obstacles organisationnels, Buckingham Shum et McKay (2018[2]) suggèrent ce qui suit : (a) Le département informatique de l’établissement développe et met en œuvre le système d’analyse de l’apprentissage, car il supervise déjà le système de gestion de l’apprentissage, l’entrepôt de données, le système d’information des étudiants, etc. Dans cette approche, cependant, il est peu probable que le corps professoral soit en mesure de piloter un développement et une mise en œuvre du système d’analyse de l’apprentissage basés sur des éléments probants. (b) Les membres du corps professoral mènent des recherches et des développements basés sur des éléments probants, et ils utilisent leurs résultats pour piloter la mise en œuvre d’un système d’analyse de l’apprentissage. (c) Une entité autonome de l’établissement d’enseignement supérieur - bien connectée au corps professoral et à l’administration - dirige la mise en œuvre, ce qui nécessite un partenariat entre toutes les parties prenantes. Cette approche innovante combine les forces des deux autres mentionnées ci-dessus.
Dans un examen systématique de plus de 6 000 études de cas sur l’analyse de l’apprentissage au cours des six dernières années, Ifenthaler et Yau (2020[37]) indiquent qu’il est nécessaire d’adopter davantage les systèmes d’analyse de l’apprentissage à l’échelle de l’organisation (ou du moins de mener des recherches à ce sujet). La définition de normes peut en accélérer l’adoption. S’il existe des normes pour les modèles de données et la collecte de données telles que xAPI (Experience API) (Kevan et Ryan, 2016[38]), il en manque concernant les indicateurs, les visualisations et les critères de conception; ces éléments permettraient d’améliorer l’efficacité pédagogique de l’analyse de l’apprentissage (Seufert et al., 2019[39] ; Yau et Ifenthaler, 2020[25]). C’est une question que la R-D en matière d’analyse de l’apprentissage doit aborder. Les directives suivantes peuvent y contribuer (Ifenthaler, Mah et Yau, 2019[40]) :
développer des systèmes flexibles qui peuvent s’adapter aux besoins des organisations à titre individuel, c’est-à-dire à leur culture d’apprentissage, aux exigences des programmes d’études spécifiques, aux préférences des apprenants et des enseignants, aux spécifications techniques et administratives ;
définir les exigences en matière de données et d’algorithmes ;
faire participer toutes les parties prenantes à l’élaboration d’une stratégie d’analyse de l’apprentissage et à sa mise en œuvre ;
établir des structures et des processus organisationnels, technologiques et pédagogiques pour l’application des systèmes d’analyse de l’apprentissage, et fournir un soutien à toutes les parties prenantes en vue d’un fonctionnement dans la durée ;
informer toutes les parties prenantes par rapport aux questions éthiques et aux réglementations sur la confidentialité des données, y compris les possibilités d’apprentissage professionnel ( p. ex., la culture des données éducatives) ;
mettre en place un processus solide pour garantir la validité et la crédibilité du système, des données, des algorithmes et des interventions ;
constituer des comités locaux, régionaux et nationaux d’analyse de l’apprentissage qui regroupent des parties prenantes issues des milieux scientifiques, économiques et politiques, en mettant l’accent sur le développement et la mise en œuvre (et l’accréditation) adéquats des systèmes d’analyse de l’apprentissage.
L’analyse de l’apprentissage s’appuie sur un ensemble éclectique de méthodologies et de données pour fournir des informations sommatives, des informations en temps réel et prédictives en vue d’améliorer l’apprentissage, l’enseignement, l’efficacité organisationnelle et la prise de décision (Lockyer, Heathcote et Dawson, 2013[41] ; Long et Siemens, 2011[42]). La capacité de l’analyse de l’apprentissage à prédire l’échec éventuel des apprenants a certes fait l’objet d’une grande attention, mais celle-ci a porté sur des cursus isolés plutôt que sur des structures éducatives en général (Gašević, Dawson et Siemens, 2015[43]). En outre, tous les systèmes d’analyse de l’apprentissage ne semblent pas être efficaces pour l’apprentissage et l’enseignement, comme le démontrent Dawson et al. (2017[44]). L’adoption de l’analyse de l’apprentissage dans les organisations éducatives nécessite des capacités qui ne sont pas encore totalement développées (Ifenthaler, 2017[45]). Elle n’a pas fait l’objet d’une mise en œuvre organisationnelle à grande échelle. Il n’y a donc pas de preuves empiriques que cette méthode améliore la performance des organisations éducatives. Des démarches internationales en faveur des modèles d’adoption (Nouri et al., 2019[46]) ainsi que des recommandations politiques (Ifenthaler et Yau, 2019[12] ; Tsai et al., 2018[47]) pourraient contribuer à faire avancer les choses.
Des questions importantes se posent également : À qui appartiennent les données mises à la disposition des enseignants et des apprenants ? Quelles données doivent être accessibles et lesquelles doivent rester privées ? Qui les analyse et dans quel but ? Que peuvent en faire les enseignants ? Quel retour d’information et quel suivi de l’apprentissage les étudiants peuvent-ils attendre des analyses des données de l’apprentissage ? Comment utiliser équitablement les évaluations fondées sur les technologies et quels sont les risques liés à l’utilisation des données pour évaluer les résultats des apprenants ?
En gardant à l’esprit les avantages que comporte l’analyse de l’apprentissage pour la gestion des établissements scolaires et des systèmes, on peut appliquer les mises en œuvre suivantes :
L’analyse de l’apprentissage peut être utilisée pour élaborer des programmes d’études spécialisés, en phase avec la demande du marché du travail, afin de mieux préparer les étudiants à leur future carrière. Il existe déjà des exemples de données sur le marché du travail qui soutiennent l’apprentissage sur le lieu de travail (Berg, Branka et Kismihók, 2018[48]). Il n’y a peut-être plus qu’un petit pas à faire dans cette direction.
L’analyse de l’apprentissage peut faciliter la gestion des cours et la refonte des supports d’apprentissage afin d’offrir des possibilités d’apprentissage plus flexibles (Gosper et Ifenthaler, 2014[49]). Cette approche peut également inclure l’apprentissage professionnel adaptatif et à la demande pour les professionnels de l’éducation.
Les applications d’analyse de l’apprentissage peuvent prendre en charge une multitude de tâches administratives (Bowers et al., 2019[50]). Parmi celles-ci figurent les activités de budgétisation, d’achat et d’approvisionnement, ainsi que de la gestion des installations. En outre, la gestion des ressources humaines peut mieux prendre en charge les demandes des différents professionnels de l’éducation. Ces systèmes peuvent contribuer à la souplesse de l’enseignement et de l’apprentissage, dans les établissements ou en dehors de ceux-ci, de manière très économique. Ils peuvent aider à gérer une variété de programmes de cours spécialisés, la taille des classes, le personnel enseignant, les technologies et les exigences générales liées à l’environnement d’apprentissage, comme les salles de cours ou même le mobilier.
Dans cette optique, les procédures d’inscription correspondront mieux au besoin des apprenants et permettront aux établissements d’enseignement et au corps enseignant de micro-adapter l’environnement d’apprentissage. Des applications de traduction adaptative aideront les établissements à communiquer avec les parents et à gérer les élèves malades ou absents.
Les décideurs politiques sont invités à élaborer et à coordonner des politiques qui encourageront l’adoption de l’analyse de l’apprentissage afin de faciliter la gestion des établissements scolaires et des systèmes. Cette démarche doit se baser sur des résultats de recherche rigoureux, qui font actuellement défaut. Il faut encourager la R-D afin de développer des systèmes d’analyse de l’apprentissage fiables et efficaces pour gérer les établissements scolaires et les systèmes éducatifs.
En résumé, les décideurs politiques, les chercheurs et les praticiens (Ifenthaler et al., In progress[51]) peuvent envisager les stratégies et actions suivantes :
Une pratique fondée sur des données probantes et axée sur l’analyse : les chercheurs doivent recueillir davantage d’éléments probants concernant l’utilisation de l’analyse de l’apprentissage afin de développer des systèmes qui ont un impact positif sur l’apprentissage. Les décideurs sont en mesure alors d’élaborer de manière plus fiable des politiques d’analyse de l’apprentissage axées sur le leadership, l’apprentissage professionnel, les mécanismes habilitants et la gouvernance des données avec une confiance accrue.
Promouvoir l’adoption de l’analyse de l’apprentissage : l’ouverture au changement culturel facilite l’acceptation sociale et l’adoption, et aide à encadrer le développement de normes, de principes et de procédures par les décideurs politiques. Ces actions ont un effet d’entraînement : elles facilitent l’évolution des principes et des politiques en impliquant les communautés concernées dans le processus continu d’adaptation et d’amélioration de la réponse organisationnelle au changement.
Informer et accompagner les prestataires et les utilisateurs de services de données : les pratiques d’analyse d’apprentissage respectueuses de l’éthique sont soutenues par des mécanismes politiques tels que des normes, des processus d’accréditation, des audits et des recommandations fondées sur des preuves et étayées par la pratique. Les chercheurs jouent ici un rôle essentiel dans la promotion de la durabilité et de l’extensibilité des politiques et des pratiques, par exemple en produisant les connaissances nécessaires pour intégrer efficacement l’analyse et fournir des services de données opportuns qui soutiennent une bonne prise de décision axée sur l’apprentissage. Cette stratégie, qui consiste à équilibrer judicieusement les investissements entre les services de données et les utilisateurs, favorise l’offre et la demande de flux d’informations, ce qui accélère l’adoption et conduit à des changements positifs.
Impact de l’apprentissage grâce aux outils d’analyse : la priorité de l’analyse de l’apprentissage devrait être de renforcer l’apprentissage dans le but d’avoir un système éducatif plus équitable et plus efficace. C’est seulement, en second lieu, que la responsabilité, les tests, le changement organisationnel ou l’efficacité financière devraient entrer en ligne de compte. Toutes les parties prenantes, y compris les praticiens, les chercheurs et les décideurs, ont besoin de développer leur culture des données afin de pouvoir utiliser ce nouvel outil et exploiter les informations que l’analyse de l’apprentissage génère.
Le rôle des prestataires de services dans les solutions d’analyse, l’adoption et la mise en œuvre de systèmes d’analyse : il y a de plus en plus de prestataires qui commercialisent des systèmes pour aider à la gestion des établissements. Un prestataire, tel que BrightBytes (https://www.brightbytes.net), développe des solutions et fournit des preuves via des études autofinancées sur les avantages à mettre en œuvre des systèmes d’analyse de l’apprentissage. Les chercheurs devraient considérer d’un œil critique ces solutions commerciales tout en cherchant des preuves indépendantes rigoureuses par rapport aux avantages annoncés. Les décideurs politiques peuvent recenser les solutions commerciales existantes et prendre acte de leur adoption croissante dans les structures éducatives.
Références
[19] Agasisti, T. et A. Bowers (2017), « Data analytics and decision-making in education: towards the educational data scientist as a key actor in schools and higher education institutions », dans Johnes, G. et al. (dir. pub.), Handbook of contemporary education economics, Edward Elgar Publishing, Cheltenham, UK.
[17] Andresen, B. (2017), « Learning analytics for formative purposes », dans Tatnall, A. et M. Webb (dir. pub.), Tomorrow’s Learning : Involving Everyone. Learning with and about Technologies and Computing. WCCE 2017. IFIP Advances in Information and Communication Technology, Springer, Cham.
[35] Argyris, C. et D. Schon (1974), Theory in practice: Increasing professional effectiveness, Jossey-Bass, San Francisco, CA.
[48] Berg, A., J. Branka et G. Kismihók (2018), « Combining learning analytics with job market intelligence to support learning at the workplace », dans Ifenthaler, D. (dir. pub.), Digital workplace learning. Bridging formal and informal learning with digital technologies, Springer, Cham.
[50] Bowers, A. et al. (2019), Education leadership data analytics (ELDA): A white paper report on the 2018 ELDA Summit, Teachers College, Columbia University.
[2] Buckingham Shum, S. et T. McKay (2018), « Architecting for learning analytics. Innovating for sustainable impact », EDUCAUSE Review, vol. 53/2, pp. 25-37.
[7] Colvin, C. et al. (2015), Student retention and learning analytics: A snapshot of Australian practices and a framework for advancement, Australian Government Office for Learning and Teaching, Canberra, ACT.
[44] Dawson, S. et al. (2017), « From prediction to impact: Evaluation of a learning analytics retention program », dans Molenaar, I., X. Ochoa et S. Dawson (dir. pub.), Proceedings of the seventh international learning analytics & knowledge conference, ACM, New York, NY.
[10] Drachsler, H. et W. Greller (2016), Privacy and analytics - it’s a DELICATE issue. A checklist for trusted learning analytics.
[3] Dyckhoff, A. et al. (2012), « Design and implementation of a learning analytics toolkit for teachers », Educational Technology & Society, vol. 15/3, pp. 58-76.
[27] Ferguson, R. et al. (2014), Setting learning analytics in context: Overcoming the barriers to large-scale adoption, https://doi.org/10.1145/2567574.2567592.
[18] Gander, T. (2020), « Learning analytics in secondary schools », dans Peters, M. et R. Heraud (dir. pub.), Encyclopedia of educational innovation, Springer, Singapore.
[43] Gašević, D., S. Dawson et G. Siemens (2015), « Let’s not forget: Learning analytics are about learning », TechTrends, vol. 59/1, pp. 64-71, https://doi.org/10.1007/s11528-014-0822-x.
[6] Gašević, D. et al. (2019), « How do we start? An approach to learning analytics adoption in higher education », International Journal of Information and Educational Technology, vol. 36/4, pp. 342-353, https://doi.org/10.1108/IJILT-02-2019-0024.
[34] Gibson, D. et al. (2018), Return on investment in higher education retention: Systematic focus on actionable information from data analytics.
[49] Gosper, M. et D. Ifenthaler (2014), « Curriculum design for the twenty-first Century », dans Gosper, M. et D. Ifenthaler (dir. pub.), Curriculum models for the 21st Century. Using learning technologies in higher education, Springer, New York, NY.
[26] Heath, J. et E. Leinonen (2016), « An institution wide approach to learning analytics », dans Anderson, M. et C. Gavan (dir. pub.), Developing effective educational experiences through learning analytics, IGI Global, Hershey, PA.
[29] Hinkelmann, M. et T. Jordine (2019), « The LAPS project: using machine learning techniques for early student support », dans Ifenthaler, D., J. Yau et D. Mah (dir. pub.), Utilizing learning analytics to support study success, Springer, Cham.
[36] Huang, R., J. Spector et J. Yang (2019), « Design-based research », dans Huang, R., J. Spector et J. Yang (dir. pub.), Educational technology. A primer for the 21st century, Springer, Singapore.
[31] Ifenthaler, D. (2020), « Change management for learning analytics », dans Pinkwart, N. et S. Liu (dir. pub.), Artificial intelligence supported educational technologies, Springer, Cham.
[45] Ifenthaler, D. (2017), « Are Higher Education Institutions Prepared for Learning Analytics? », TechTrends, vol. 61/4, pp. 366-371, https://doi.org/10.1007/s11528-016-0154-0.
[1] Ifenthaler, D. (2015), « Learning analytics », dans Spector, J. (dir. pub.), The SAGE encyclopedia of educational technology, Sage, Thousand Oaks, CA.
[11] Ifenthaler, D. et D. Gibson (2020), Adoption of data analytics in higher education learning and teaching, Springer, Cham.
[51] Ifenthaler, D. et al. (In progress), « Putting learning back into learning analytics: actions for policy makers, researchers, and practitioners », Educational Technology Research and Development.
[40] Ifenthaler, D., D. Mah et J. Yau (2019), « Utilising learning analytics for study success. Reflections on current empirical findings », dans Ifenthaler, D., J. Yau et D. Mah (dir. pub.), Utilizing learning analytics to support study success, Springer, Cham.
[24] Ifenthaler, D. et C. Widanapathirana (2014), « Development and Validation of a Learning Analytics Framework: Two Case Studies Using Support Vector Machines », Technology, Knowledge and Learning, vol. 19/1-2, pp. 221-240, https://doi.org/10.1007/s10758-014-9226-4.
[37] Ifenthaler, D. et J. Yau (2020), « Utilising learning analytics to support study success in higher education: a systematic review », Educational Technology Research and Development, vol. 68/4, pp. 1961-1990, https://doi.org/10.1007/s11423-020-09788-z.
[12] Ifenthaler, D. et J. Yau (2019), « Higher Education Stakeholders’ Views on Learning Analytics Policy Recommendations for Supporting Study Success », International Journal of Learning Analytics and Artificial Intelligence for Education (iJAI), vol. 1/1, p. 28, https://doi.org/10.3991/ijai.v1i1.10978.
[23] Ifenthaler, D., J. Yau et D. Mah (2019), Utilizing learning analytics to support study success, Springer, New York, NY.
[21] Jimerson, J. et J. Childs (2017), « Signal and symbol: how state and local policies address data-informed practice », Educational Policy, vol. 31/5, pp. 584-614.
[28] Kärner, T., J. Warwas et S. Schumann (2020), « A Learning Analytics Approach to Address Heterogeneity in the Classroom: The Teachers’ Diagnostic Support System », Technology, Knowledge and Learning, https://doi.org/10.1007/s10758-020-09448-4.
[38] Kevan, J. et P. Ryan (2016), « Experience API: Flexible, Decentralized and Activity-Centric Data Collection », Technology, Knowledge and Learning, vol. 21/1, pp. 143-149, https://doi.org/10.1007/s10758-015-9260-x.
[4] Klasen, D. et D. Ifenthaler (2019), « Implementing learning analytics into existing higher education legacy systems », dans Ifenthaler, D., J. Yau et D. Mah (dir. pub.), Utilizing learning analytics to support study success, Springer, New York, NY.
[8] Kotter, J. (2007), « Leading change: Why transformation efforts fail », Havard Business Review, vol. January, pp. 96-103.
[30] Leitner, P., M. Ebner et M. Ebner (2019), « Learning analytics challenges to overcome in higher education institutions », dans Ifenthaler, D., J. Yau et D. Mah (dir. pub.), Utilizing learning analytics to support study success, Springer, Cham.
[14] Lester, J. et al. (2017), Learning analytics in higher education, Wiley, Malden, MA.
[41] Lockyer, L., E. Heathcote et S. Dawson (2013), « Informing Pedagogical Action », American Behavioral Scientist, vol. 57/10, pp. 1439-1459, https://doi.org/10.1177/0002764213479367.
[42] Long, P. et G. Siemens (2011), « Penetrating the fog: Analytics in learning and education », EDUCAUSE Review, vol. 46/5, pp. 31-40.
[46] Nouri, J. et al. (2019), « Efforts in Europe for Data-Driven Improvement of Education – A Review of Learning Analytics Research in Seven Countries », International Journal of Learning Analytics and Artificial Intelligence for Education (iJAI), vol. 1/1, p. 8, https://doi.org/10.3991/ijai.v1i1.11053.
[5] Pistilli, M. et K. Arnold (2010), « Purdue Signals: Mining real-time academic data to enhance student success », About campus: Enriching the student learning experience, vol. 15/3, pp. 22-24.
[33] Psacharopoulos, G. (2014), « The returns to investment in higher education », dans Menon, M., D. Terkla et P. Gibbs (dir. pub.), Using data to improve higher education. Global perspectives on higher education, Sense Publishers, Rotterdam.
[9] Rogers, E. (1962), Diffusion of innovations, Free Press of Glencoe, New York, NY.
[32] Schumacher, C., D. Klasen et D. Ifenthaler (2019), « Implementation of a learning analytics system in a productive higher education environment », dans Khine, M. (dir. pub.), Emerging trends in learning analytics, Brill, Leiden‚ NL.
[22] Sclater, N. et J. Mullan (2017), Learning analytics and student success – assessing the evidence, JISC, Bristol.
[20] Sergis, S. et D. Sampson (2016), « School analytics: a framework for supporting school complexity leadership », dans Spector, J. et al. (dir. pub.), Competencies in teaching, learning and educational leadership in the digital age, Springer, Cham.
[39] Seufert, S. et al. (2019), « A pedagogical perspective on big data and learning analytics: a conceptual model for digital learning support », Technology, Knowledge and Learning, vol. 24/4, pp. 599-619, https://doi.org/10.1007/s10758-019-09399-5.
[15] Siemens, G., S. Dawson et G. Lynch (2014), Improving the quality and productivity of the higher education sector - Policy and strategy for systems-level deployment of learning analytics. Canberra, Australia: Office of Learning and Teaching, Australian Government, http://solaresearch.org/Policy_Strategy_Analytics.pdf.
[13] Tsai, Y. et D. Gašević (2017), Learning analytics in higher education---challenges and policies: A review of eight learning analytics policies.
[47] Tsai, Y. et al. (2018), « The SHEILA Framework: Informing Institutional Strategies and Policy Processes of Learning Analytics », Journal of Learning Analytics, vol. 5/3, https://doi.org/10.18608/jla.2018.53.2.
[16] Viberg, O. et al. (2018), « The current landscape of learning analytics in higher education », Computers in Human Behavior, vol. 89, pp. 98-110, https://doi.org/10.1016/j.chb.2018.07.027.
[25] Yau, J. et D. Ifenthaler (2020), « Reflections on Different Learning Analytics Indicators for Supporting Study Success », International Journal of Learning Analytics and Artificial Intelligence for Education (iJAI), vol. 2/2, p. 4, https://doi.org/10.3991/ijai.v2i2.15639.