5. Suivi et évaluation des résultats
Les résultats obtenus en matière d’égalité des genres doivent faire l’objet d’un suivi et d’évaluations, et ce, quel que soit le niveau de mise en œuvre. Ce chapitre livre des orientations globales, ciblant pour l’essentiel le niveau des programmes, mais qui demeurent en grande partie applicables à d’autres niveaux.
Afin de mesurer les changements en matière d’égalité des genres, notamment les changements porteurs de transformations à l’appui de l’égalité des genres, il est nécessaire de se référer aux cadres et indicateurs existants, tout en autorisant une part de flexibilité et d’adaptation permettant de refléter la nature et les échelles de temps des résultats visés dans ce domaine. Il est peu probable que ces derniers soient obtenus selon le calendrier d’un projet classique. À l’image de tout autre changement social complexe, l’évolution des relations entre les genres apparaît souvent comme non linéaire et imprévisible. Des changements qui au premier abord semblent positifs peuvent être rapidement sapés. Une victoire âprement remportée par les membres d’une communauté en faveur des droits fonciers des femmes, par exemple, peut provoquer une réaction négative à l’égard des activistes ou une recrudescence de la violence basée sur le genre. Le suivi et l’évaluation des résultats en matière d’égalité des genres requièrent de la flexibilité pour suivre les progrès et réalisations accomplis, et rendre compte des répercussions négatives, des résistances, des réactions, des blocages et des retombées inattendues (Batliwala et Pittman, 2010[1]).
Concernant les initiatives en faveur de l’égalité des genres, chaque membre du CAD se situe à un stade différent dans le suivi et l’évaluation, les infrastructures en place, les ressources et capacités disponibles. Certains membres mettent à l’essai des méthodes d’évaluation innovantes, dont l’évaluation féministe1.
Du fait de l’importance croissante de la question des résultats – et de l’attention accrue portée au suivi et à l’évaluation des efforts en faveur du développement –, les membres du CAD sont aujourd’hui davantage en mesure de définir et suivre les réalisations en matière d’égalité des genres, et d’évaluer les résultats au regard de leurs investissements. L’accent mis sur les résultats a contribué à ancrer l’égalité des genres dans les systèmes des membres du CAD et à créer des conditions propices aux engagements en faveur de l’égalité des genres et des droits des femmes (OCDE, 2014[2]). La compilation d’un important corpus de données probantes mettant en lumière les résultats obtenus en matière d’égalité des genres, ou leur insuffisance, peut nourrir la volonté politique de se concentrer sur les investissements en faveur de cette problématique.
Dans le même temps, les défis inhérents au suivi et à l’évaluation des résultats obtenus en matière d’égalité des genres – notamment les changements porteurs de transformations des relations de pouvoir et à l’évolution des normes – sont devenus plus manifestes, tout comme ce qui compte comme des « données probantes » de changement. Même si les outils et orientations sur les processus de suivi et d’évaluation prenant en compte la problématique du genre sont plus nombreux, les membres du CAD reconnaissent que des indicateurs et méthodologies plus à même de rendre compte des changements à long terme et des résultats porteurs de transformations obtenus en matière d’égalité des genres font défaut. Les changements en profondeur étant par nature observables sur le long terme, les investissements à l’appui des évaluations d’impact, ou ex post, et des méta-évaluations, et l’exploitation de ces dernières, pourraient augmenter les capacités des membres du CAD à évaluer les résultats obtenus en matière d’égalité des genres (USAID, 2021[3]). Ceci vaut pour les programmes financés d’aide publique au développement (APD), ainsi que pour d’« autres » types d’investissements, tels que les instruments de financement mixte.
Le suivi est défini comme « un processus continu de collecte systématique d’informations, selon des indicateurs choisis, pour fournir aux gestionnaires et aux principales parties prenantes d’une action de développement en cours […] des éléments sur les progrès réalisés, les objectifs atteints et l’utilisation des fonds alloués » (OCDE, 2002[4]). Même s’il n’a été ni conçu ni envisagé comme un outil de suivi, le marqueur Égalité des genres, et ses valeurs, peut être appliqué de manière stratégique dans ce contexte en tant que cadre pour les initiatives de suivi. Les valeurs du marqueur peuvent aussi faire l’objet d’ajustements en fonction des résultats du suivi (Chapitre 4).
Les membres du CAD devraient envisager d’ajuster les cadres de mesure des performances et les outils d’évaluation pour tenir compte du rythme et de la complexité des résultats attendus en matière d’égalité des genres. Ils pourraient ainsi, par exemple, encourager les partenaires à établir des rapports sur les résultats inattendus, aussi bien négatifs que positifs, sans jugement hâtif quant à la qualité des programmes.
L’évaluation exhaustive des risques lors de la phase de conception, afin d’identifier les risques potentiels et les stratégies d’atténuation, est un processus indispensable, même si cela n’empêche pas toujours l’apparition de résultats négatifs inattendus (Chapitre 2). Les résultats obtenus doivent être définis, puis faire l’objet d’un suivi et d’une évaluation à l’aide de cadres flexibles et axés sur l’apprentissage. Ces cadres doivent aussi permettre d’extraire de ces résultats, aussi bien positifs que négatifs, des informations aidant à améliorer les politiques et programmes existants et à orienter la conception de ceux à venir (voir l’Encadré 3.3 consacré au Programme voix et leadership des femmes).
Les cadres classiques de suivi et d’évaluation, tous secteurs confondus, reposent sur la mesure des performances par rapport à des objectifs prédéterminés et des changements observables. De ce fait, ils peuvent ne pas être adaptés à la mesure de l’évolution des relations entre les genres ou des normes sociales sources de discriminations fondées sur le genre. Par ailleurs, bien qu’elles soient de formidables sources d’informations explicatives, les enquêtes qualitatives axées sur les études de cas n’offrent pas la couverture nécessaire de la population pour tirer des conclusions fiables concernant l’évolution des institutions, comme le précisent les normes comportementales.
Face à cette difficulté, en s’appuyant sur les enseignements tirés d’un précédent projet, la Finlande, ONU Femmes Népal et ses partenaires réfléchissent à une panoplie d’outils adaptés afin de mieux mesurer le changement social au niveau de l’impact. Cette réflexion est étroitement liée à la nécessité d’assurer un suivi efficace des indicateurs d’impact de l’ODD 5. Elle vise à comprendre sa propre contribution à l’évolution des normes sociales sources de discriminations fondées sur le genre et des pratiques culturelles néfastes, grâce à la méthode de la mise en récit. L’initiative « Mesure de l’évolution des normes sociales par la mise en récit : faire progresser les changements porteurs de transformations en faveur de l’égalité des genres d’ici 2030 » s’appuie sur la puissance de la mise en récit pour mesurer et influencer l’évolution des relations de pouvoir selon les genres et des normes sociales.
Ce type d’étude vise à identifier et comprendre les options possibles pour faire évoluer les normes sociales aux niveaux individuel et communautaire, afin de faciliter une programmation porteuse de transformations en faveur de l’égalité des genres. L’outil de mise en récit de masse conjugue la profondeur interprétative de la mise en récit à la puissance statistique des données agrégées aux fins d’un suivi des schémas et tendances en matière de comportement social. L’objectif est de générer une boucle de rétroaction des données probantes et de l’apprentissage à l’appui d’une programmation à long terme visant à influer sur les normes sociales et les pratiques néfastes. Cette étude qualitative fondée sur la mise en récit est conçue pour mesurer l’évolution des normes sociales, qui se prête à la quantification. Ceci pourrait aider à identifier le changement social avec davantage de certitude, et pourrait aussi permettre aux partenaires au développement de cerner dans quelle mesure ils ont contribué, ou non, aux institutions sociales complexes, et d’élaborer, adapter et intégrer leurs stratégies et leur programmation fondées sur des données probantes. Dans le cadre de l’initiative, un outil de mise en récit, tel que SenseMaker, sera utilisé pour suivre et interpréter les contributions programmatiques liées aux indicateurs de l’ODD 5 en faveur de l’évolution des normes sociales et de la situation autour de l’égalité des genres. Cette étude qualitative fondée sur la mise en récit à l’appui de la mesure de l’évolution des normes sociales est déployée dans quatre provinces au Népal.
Rapport des résultats
Le rapport des résultats peut aider à mettre sur pied et favoriser un soutien politique et financier à l’appui des politiques, programmes et projets, et à constituer une base de connaissances solide. Elle peut aussi aider à faire évoluer les modes opératoires des institutions, conduisant à une amélioration des performances et à un renforcement de la reddition de comptes.
Depuis un certain temps, les partenaires au développement plaident pour une rationalisation et une simplification des processus de notification, en raison notamment du manque de capacités2. Les organisations multilatérales et les organisations de la société civile de grande taille disposent de systèmes leur permettant de satisfaire aux obligations en matière de notification imposées par les membres, mais les petites organisations locales peinent à gérer la charge dans ce domaine induite par l’octroi de tout financement bilatéral ou multilatéral, notamment la collecte des données quantitatives. Certains membres du CAD encouragent les organisations à recourir à d’autres méthodes pour la prise en compte des données qualitatives dans leur rapport. Les organisations peuvent par exemple intégrer des vidéos, de la musique, des études de cas ou encore des anecdotes, en complément des données relatives aux indicateurs quantitatifs.
En outre, il peut être très utile pour les membres du CAD d’aborder les objectifs spécifiques en matière d’égalité des genres et les indicateurs de résultats avec les investisseurs et les acteurs du secteur privé lorsqu’ils s’engagent dans des initiatives « autres que l’aide », à l’image des instruments de financement mixte (voir Chapitre 4).
Les membres du CAD doivent envisager des solutions leur permettant de rationaliser et simplifier les processus de notification. L’une des options existantes, adoptée par certains d’entre eux, consiste à s’appuyer sur une gamme plus restreinte d’indicateurs obligatoires, mais ajustables.
Un petit nombre de membres du CAD ont également expérimenté le recours à un modèle de rapport commun, dans le cas de financements accordés à une même organisation, au lieu de demander des rapports distincts. Il est en outre envisageable de réduire la fréquence de rapports sur les résultats obtenus (par exemple, passer de rapports annuels à des rapports bisannuels) et de continuer à étudier comment équilibrer au mieux l’acquisition de connaissances et la reddition de comptes au sein des structures institutionnelles.
Le ministère australien des Affaires étrangères et du Commerce a conçu un système de rapports sur la performance des investissements pour évaluer la performance et recueillir les résultats des investissements individuels (projets) et de leurs partenaires d’exécution lors de la mise en œuvre des projets ou une fois ces derniers achevés. Des rapports de suivi des investissements sont établis chaque année par les gestionnaires de placement pour tous les investissements réalisés par le ministère australien des Affaires étrangères et du Commerce, d’une valeur totale de 3 millions AUD ou plus. Les rapports de suivi des investissements permettent d’évaluer les progrès accomplis au regard de divers critères de qualité, dont l’égalité des genres. Les données probantes recueillies sont issues des rapports établis par les partenaires d’exécution, des visites de suivi, des examens et des évaluations. Elles permettent d’évaluer la performance des investissements sur les douze mois écoulés. Les investissements sont notés de 1 à 6 selon les critères suivants, dans l’optique d’établir une note globale pour la performance en matière d’égalité des genres au cours de la période concernée :
L’analyse des disparités et des perspectives selon le genre guide en grande partie l’investissement.
Les risques en matière d’égalité des genres sont identifiés et traités de façon adéquate.
Les avancées réalisées dans le cadre de l’investissement sont conformes aux prévisions quant à la mise en œuvre efficace de stratégies visant à promouvoir l’égalité des genres et l’autonomisation des femmes et des filles.
Le système de suivi et d’évaluation recueille des données ventilées selon sur le genre et il intègre des indicateurs visant à mesurer les réalisations en matière d’égalité des genres.
Une expertise et des ressources budgétaires suffisantes sont disponibles pour atteindre les objectifs de l’investissement en matière d’égalité des genres.
À la suite de l’investissement, les partenaires abordent de plus en plus la question de l’égalité des genres comme une priorité dans leurs propres politiques et processus.
Les notes relatives à l’égalité des genres attribuées dans le cadre des rapports de suivi des investissements sont fondamentales pour garantir la pleine mise en œuvre de l’approche à deux volets de cette problématique dans tous les investissements réalisés par le ministère australien des Affaires étrangères et du Commerce au titre de l’aide. Dans le cas des investissements qui ne prévoient d’emblée aucun objectif spécifique sur la question de l’égalité des genres, le processus d’établissement des rapports de suivi des investissements offre alors l’une des rares occasions de discuter et d’étudier cette question. Parfois, le processus même de notation donne lieu à des consultations autour de cette problématique. Les rapports de suivi des investissements peuvent être un outil de motivation ou de négociation avec les partenaires, aux fins d’améliorer la situation autour de l’égalité des genres dans la mise en œuvre des investissements. Lors de la dernière année d’un projet, un rapport final de suivi des investissements est rédigé. Il livre une évaluation de la performance sur l’intégralité du cycle de l’investissement et les enseignements tirés de ce projet.
Avec le processus d’établissement des rapports de suivi des investissements, le ministère australien des Affaires étrangères et du Commerce dispose d’une évaluation globale de l’efficacité et des résultats du programme de développement australien, qu’il utilise dans le dialogue sur les politiques à suivre, les processus de planification et de développement des capacités. La performance fait l’objet d’un suivi annuel et de rapports réguliers.
L’évaluation est définie comme « l’appréciation systématique et objective d’un projet, d’un programme ou d’une action publique en cours ou terminée, de sa conception, de sa mise en œuvre et de ses résultats. Elle vise à déterminer la pertinence et l’accomplissement des objectifs [...] l’efficience, l’efficacité, l’impact et la viabilité. Une évaluation doit fournir des informations crédibles et utiles, permettant d’intégrer les enseignements tirés dans les processus décisionnels des bénéficiaires aussi bien que des donneurs » (OCDE, 2002[4]).
La stratégie d’intégration systématique de la question du genre (voir Chapitre 3) devrait prévoir un volet au niveau institutionnel afin d’aborder l’égalité des genres et l’autonomisation des femmes et des filles par le prisme des changements organisationnels internes, tels que l’affectation des ressources, la planification stratégique, les politiques d’action, la culture, les ressources humaines, les capacités en termes de personnel, l’engagement à haut niveau, les fonctions dirigeantes, la reddition de comptes et la gestion des performances. Ces efforts doivent eux aussi être évalués.
Le CAD de l’OCDE a défini six critères afin d’orienter les partenaires au développement :
Ces critères posent un cadre normatif permettant de déterminer l’intérêt ou la valeur d’une intervention (action publique, stratégie, programme, projet ou activité). Ils peuvent être utilisés lors de l’élaboration des plans d’action ou des programmes, ainsi que pour le suivi et l’évaluation. Ils servent de base de jugement évaluatif.
Les orientations du CAD de l’OCDE intitulées « De meilleurs critères pour de meilleures évaluations » comportent une section sur l’intégration la problématique du genre à ces critères. Cette section précise que « les responsables des évaluations devraient adopter des méthodes de travail qui prennent en compte de manière réfléchie les différences d’expérience et d’impact selon le genre, ainsi que leur interaction avec d’autres formes de discrimination dans un contexte donné (fondées, par exemple, sur l’âge, la « race » et l’origine ethnique, le statut social). Quelle que soit l’intervention, les responsables des évaluations devraient s’intéresser à la manière dont les dynamiques de pouvoir fondées sur le genre se croisent et interagissent avec d’autres formes de discrimination d’une manière qui influe sur la mise en œuvre et les résultats de l’intervention. Il peut s’agir d’étudier la façon dont l’économie politique et le contexte socioculturel dans lequel s’inscrivent les initiatives influencent la poursuite et la réalisation des objectifs. » (OECD, 2021[5])
Source: OECD (s.d.[6]), Evaluation Criteria, https://www.oecd.org/dac/evaluation/daccriteriaforevaluatingdevelopmentassistance.htm.
Collecte des données destinées aux évaluations
Les considérations éthiques doivent prévaloir lors de l’évaluation des initiatives à l’appui de l’égalité des genres, notamment lors de l’appréciation et de la sélection de l’approche et des méthodes retenues pour une évaluation. Dans de nombreux contextes d’évaluation, le soutien en faveur de l’égalité des genres est limité ; la sécurité et la protection des données sont fondamentales dans tous les contextes, et tout particulièrement dans ceux-là.
En vertu des Normes de qualité pour l’évaluation du développement du CAD, les membres s’engagent à respecter les lignes directrices éthiques et professionnelles et les codes de conduite applicables, et à mener les évaluations avec intégrité et honnêteté (OCDE, 2010[7]). Plus précisément, les responsables des évaluations doivent spécifier comment ils prévoient de veiller à ce que le processus d’évaluation ne soit en rien préjudiciable, respecte la confidentialité de tous les participants et garantisse le consentement éclairé de ces derniers. Certains paramètres doivent aussi être pris en considération, tels que le profil des personnes qui posent les questions, le profil des personnes interrogées et la nature des questions posées, ou encore quels types de risques peuvent découler de la réponse apportée à ces questions aux niveaux des ménages, communautaire ou national. Les risques éventuels liés au format numérique des évaluations en font partie. Certains membres du CAD ont formulé des orientations éthiques pour les processus de recherche, d’évaluation et de suivi, qui doivent être appliquées à toutes les activités impliquant ces processus, même si elles ne visent pas toujours l’égalité des genres de façon spécifique (Thorley et Henrion, 2019[8]).
Les bonnes pratiques appellent à prendre en compte les questions suivantes lors de la phase d’élaboration d’une évaluation :
Le processus d’élaboration de l’évaluation et les outils de collecte des données prévoient-ils des approches permettant d’intégrer la pleine participation de différents groupes de femmes et de filles ?
De par la formulation des questions, les outils de collecte des données, notamment les enquêtes, évitent-ils de pérenniser les normes sociales négatives régissant les relations entre les genres et favorisent-ils l’émergence de normes positives ?
Des possibilités sont-elles offertes aux femmes et aux filles pour qu’elles puissent collecter elles-mêmes des données grâce à des méthodes participatives, à une participation à l’analyse des données, à une supervision stratégique du processus d’évaluation et à la communication des résultats ?
Les méthodes de collecte des données permettront-elles de faire ressortir les résultats inattendus – positifs comme négatifs – concernant le bien-être, le vécu quotidien et le statut des filles et des femmes ?
Est-ce que l’équipe d’évaluation comprend un (des) responsable(s) des évaluations doté(s) de solides compétences d’analyse de la question du genre et intersectionnelle, et assure-t-elle une représentation des genres un minimum équilibrée ?
Les protocoles relatifs à la sûreté, à la sécurité des données et à la confidentialité ont-ils été respectés ?
Aux fins de la mise en œuvre de cette approche, et dans le cadre de l’évaluation de l’égalité des genres et de l’autonomisation des femmes et des filles au Moyen-Orient et au Maghreb menée par le ministère Affaires mondiales Canada, l’institution a collaboré avec des chercheurs féministes pour concevoir l’outil de mesure en matière d’égalité des genres et d’autonomisation des femmes visant à collecter et évaluer les données relatives aux résultats des projets. Cet outil utilise une méthodologie féministe pour obtenir des données qualitatives et descriptives sur les réalisations issues des programmes de développement en matière d’égalité des genres et d’autonomisation. Il aborde sous un prisme intersectionnel les débats participatifs au sein des groupes de réflexion et les entretiens mis en place pour rendre compte des opinions et perspectives des partenaires des projets. L’outil de mesure permet aux chercheurs, aux responsables des évaluations ou au personnel des projets de recueillir des données sur l’expérience des participants au projet en matière d’autonomisation, sur la base de cinq catégories d’autonomisation : économique, psychologique, physique, cognitive et sociale. Il est également conçu à des fins de recueil d’informations sur l’environnement propice, notamment les facteurs culturels, juridiques et sociétaux susceptibles d’avoir contribué à l’autonomisation.
L’outil de mesure en matière d’égalité des genres et d’autonomisation a été déployé en Égypte, en Jordanie, au Liban, au Maroc, en Cisjordanie et dans la bande de Gaza. Il a permis de rendre compte des résultats sur le terrain, et les participants ont indiqué s’être sentis impliqués dans les débats au sein des groupes de réflexion. Il a fait l’objet d’un examen collégial mené par des chercheurs féministes, des enseignants, des universitaires et des spécialistes issus d’organisations non gouvernementales canadiennes.
Analyser les données disponibles en tenant compte de la problématique de l’égalité des genres
Une fois les données issues de l’évaluation recueillies – y compris celles relatives au genre –, il convient de les analyser tenant compte de la problématique du genre. Il importe de réfléchir à des solutions permettant d’impliquer les femmes et les filles dans l’analyse des données. Leur participation à cette étape peut apporter un éclairage unique qui sera déterminant lors de la triangulation des données issues de l’évaluation. Outre les approches participatives et inclusives quant à l’analyse des données, les actions suivantes peuvent être utiles lors du processus d’analyse :
intégrer une analyse contextuelle comme les normes sociales fondées sur le genre et les dynamiques de pouvoir puisqu’elles affectent différents groupes d’individus ;
comparer les données avec les informations existantes par communauté, par pays, etc. sur les droits des femmes et des filles, et avec d’autres indicateurs sociaux, afin de confirmer ou informer les tendances et schémas déjà identifiés ;
ventiler les données issues de l’enquête (au besoin) selon le genre, l’âge, l’éducation, la localisation géographique, la pauvreté, l’origine ethnique, l’indigénéité, le handicap, l’orientation sexuelle et l’identité de genre, et prendre en considération les tendances et les schémas, mais aussi les réponses et différences communes (avec l’application ultérieure, si possible, de méthodes et analyses plus qualitatives) ;
analyser dans quelle mesure le programme a abordé les facteurs structurels qui alimentent les inégalités subies par les femmes et les filles, tout particulièrement par celles qui sont confrontées à de multiples formes d’exclusion ;
évaluer dans quelle mesure les femmes et les filles (ou différents groupes d’entre elles) ont été intégrées en tant que participantes dans les processus de planification, de conception, de mise en œuvre, de prise de décision, et de suivi et de reddition de comptes relatifs au programme.
Les membres du CAD doivent élaborer ou commander des évaluations qui s’appuient sur des approches mixtes, en termes de méthode, pour répondre aux questions de l’évaluation et intégrer des techniques participatives de collecte et d’analyse de données qui permettent de faire valoir les opinions et perspectives des femmes.
Évaluation féministe
L’évaluation féministe est fondée sur la théorie et les principes féministes. Elle peut aider à faire le lien entre les politiques féministes étrangères déjà mises en œuvre par certains membres du CAD (Chapitre 1). Elle est née de la reconnaissance des conséquences négatives du manque d’attention portée à la question du genre et aux inégalités fondées sur le genre lors des processus de conceptualisation, d’élaboration, d’obtention et d’analyse des données (Frey, 2018[12]). Au-delà de ces éléments, l’évaluation féministe n’impose aucune méthode ni aucun outil, et elle ne répond à aucune définition faisant l’objet d’un consensus3. Les responsables des évaluations peuvent employer de façon explicite le terme « féministe » pour décrire leur approche ou utiliser un terme différent, tout en appliquant des approches fondées sur les principes féministes.
L’approche fondée sur le genre et l’approche féministe de l’évaluation diffèrent à plusieurs égards, dont la nature des questions posées, l’élaboration des processus d’évaluation, et la façon dont les données et les rapports d’évaluation sont utilisés et par qui. L’évaluation féministe reconnaît d’emblée que des changements en profondeur sont nécessaires concernant les relations entre les genres et les relations de pouvoir – elle est en d’autres termes axée sur des valeurs. En outre, elle analyse et questionne les causes profondes des inégalités fondées sur le genre. Elle met l’accent sur l’élaboration de processus qui non seulement intègrent les femmes et les filles dans toute leur diversité, mais les impliquent également de façon à encourager leur autonomisation, par exemple en prévoyant des méthodes participatives de collecte et d’analyse des données qui intègrent directement les participants aux projets, qui peuvent ainsi partager leur expérience et en tirer une signification. Point important, l’évaluation féministe fait la part belle au positionnement éthique des responsables des évaluations et incite ces derniers à réfléchir sur le type d’hypothèses et de biais qu’ils insufflent dans le processus d’évaluation. En d’autres termes, l’évaluation féministe part du principe que les évaluations ne sont pas exemptes de valeurs.
Enfin, l’évaluation féministe met la priorité sur l’exploitation des connaissances dégagées lors du processus d’évaluation par les personnes directement impliquées dans ce processus. L’ensemble des parties prenantes doivent avoir accès, sans aucun obstacle, aux résultats des évaluations. La solution la plus efficace pour garantir cet accès est de leur demander quels supports seront les plus judicieux (médias sociaux, infographies, vidéos, présentations).
Pour mettre en œuvre sa politique d’aide internationale féministe et promouvoir les changements en profondeur en faveur de l’égalité des genres dans l’ensemble de ses opérations menées dans le cadre de la politique étrangère, Affaires mondiales Canada a adopté une approche féministe pour ses pratiques en matière d’évaluation. Les évaluations féministes visent à encourager les partenariats collaboratifs entre les pays du Nord et les pays du Sud, ainsi que les processus participatifs, qui placent la voix des femmes et des filles au centre du processus d’évaluation. Cette approche permet également aux personnes disposant d’une expérience directe, et d’une connaissance contextuelle et culturelle des dynamiques de pouvoir et des questions relatives au genre d’orienter et d’effectuer les évaluations. Les stratégies d’évaluation féministe favorisent une réflexion et un dialogue continus, laissant ainsi une marge d’adaptation à l’évolution des besoins et des informations. Avec cette approche, les efforts déployés et l’importance accordée portent non seulement sur les résultats d’une évaluation, mais aussi sur le processus en lui-même, ce qui contribue à promouvoir l’autonomisation et l’autonomie.
Apprentissage et communication à partir des résultats du suivi et des évaluations
Les données générées lors des processus de suivi et d’évaluation des résultats ou d’évaluation des performances livrent des informations de grande valeur pour les membres du CAD quant aux progrès accomplis en faveur de l’égalité des genres. La communication et la diffusion des données issues du suivi et des résultats des évaluations peuvent conduire au renforcement de multiples niveaux de reddition de comptes au regard de l’égalité des genres. Ces données sont utiles à l’externe, pour promouvoir les objectifs en matière d’égalité des genres, aussi bien qu’en interne, au sein de l’institution, pour appuyer les efforts de compréhension des progrès accomplis par rapport aux résultats et rectifier la trajectoire si les avancées obtenues ne sont pas conformes aux prévisions.
Il est tout aussi important de suivre et notifier les résultats des initiatives institutionnelles internes des membres du CAD à l’appui de l’égalité des genres (Plans d’action axés sur la problématique du genre, par exemple), que de suivre les résultats d’un programme ou de l’action publique. L’évaluation des initiatives institutionnelles à l’appui de l’égalité des genres présente de nombreux intérêts. Elle aide par exemple à comprendre la pertinence, la cohérence, l’efficience et l’efficacité de l’intégration systématique de la question du genre au niveau institutionnel (notamment les politiques en faveur de l’égalité des genres, les stratégies en faveur de la parité entre les genres, le marqueur Égalité des genres, les systèmes de traçabilité financière, l’analyse intégrant la problématique du genre lors de l’élaboration des programmes et des politiques). Elle contribue également à constituer un socle de données probantes sur les corrélations entre les initiatives institutionnelles à l’appui de l’égalité des genres et les résultats en matière de développement. Un socle de données probantes solide mettant en lumière les liens entre les évolutions internes au regard de l’égalité des genres et les réalisations issues des programmes peut aussi nourrir la volonté politique d’investir dans des initiatives à l’appui de l’égalité des genres.
Il est judicieux d’intégrer des approches axées sur l’apprentissage aux processus de suivi et d’évaluation en matière d’égalité des genres.
De plus en plus, les membres du CAD et les partenaires au développement élaborent un programme d’apprentissage dans le cadre de leurs travaux à l’appui de l’égalité des genres4. En règle générale, un tel programme comprend : un ensemble de questions abordant les lacunes en termes de connaissances fondamentales sur l’égalité des genres, identifiées lors de la mise en œuvre ; un ensemble d’activités connexes pour répondre à ces questions ; et des produits axés sur la connaissance ayant vocation à diffuser les résultats et à être utilisés par diverses parties prenantes. Une approche fondée sur la théorie du changement se prête très bien à l’adoption d’un programme d’apprentissage. Les questions relatives à l’apprentissage peuvent être formulées de façon à mettre à l’essai et étudier les suppositions et hypothèses initiales tout au long de la mise en œuvre, et à produire de nouvelles données probantes à l’appui des actions de sensibilisation et de l’élaboration des futurs programmes et politiques. Un programme d’apprentissage peut être établi à différents niveaux et devrait, dans l’idéal, être conçu lors de la phase d’élaboration d’une stratégie, d’un projet ou d’une activité. Il peut offrir un cadre pour la planification de la gestion des performances, avec des boucles de rétroaction régulières corrélées aux principales questions en matière d’apprentissage. Il peut également aider à hiérarchiser les questions de l’évaluation lors de la phase de conception de l’évaluation.
Les membres du CAD auront intérêt à examiner les questions suivantes :
Les cadres de suivi ou de mesure des performances proposent-ils suffisamment de flexibilité et d’orientation pour rendre compte de la complexité des changements en profondeur nécessaires afin de parvenir à l’égalité des genres lorsque cette problématique constitue l’objectif de l’intervention, y compris les changements négatifs et les résultats inattendus ?
Les structures de reddition de comptes et de notification des programmes épargnent-elles aux partenaires des charges de travail inutiles en rationalisant ou en réduisant les exigences en matière de suivi et de notification ? Les programmes ont-ils vocation à créer des conditions favorables pour que les partenaires puissent participer sans avoir besoin d’adapter ou ajuster leurs systèmes ?
Les approches retenues en matière d’évaluation sont-elles éthiques, inclusives et participatives, et favorisent-elles la reddition de comptes envers les populations ciblées ? Les responsables des évaluations et/ou les chercheurs au niveau local ont-ils été impliqués dans le processus ? Les opinions et perspectives des femmes sont-elles intégrées et reconnues comme des sources d’informations ?
L’élaboration d’un programme d’apprentissage axé sur l’égalité des genres et l’affectation de ressources spécifiques à l’appui de ce programme ont-elles été envisagées au niveau institutionnel ?
Les processus de suivi et d’évaluation de l’égalité des genres aux niveaux institutionnel et organisationnel sont-ils corrélés aux réalisations issues des programmes ?
Une stratégie a-t-elle été mise en place pour partager les nouvelles connaissances et données probantes issues des résultats au regard de l’égalité des genres obtenus suite aux activités de suivi, d’évaluation et d’apprentissage, en interne et/ou avec d’autres parties prenantes et partenaires ?
Références
[1] Batliwala, S. et A. Pittman (2010), Capturing Change in Women’s Realities: A Critical Overview of Current Monitoring and Evaluation Frameworks and Approaches.
[11] Better Evaluation (2014), Photo Voice, https://www.betterevaluation.org/en/evaluation-options/photovoice.
[12] Frey, B. (2018), Feminist Evaluation, https://doi.org/10.4135/9781506326139.n262.
[9] Newton, J., A. van Eerdewijk et F. Wong (2019), What to participatory approaches have to offer to the measurement of empowerment of women and girls?, KIT, https://www.kit.nl/wp-content/uploads/2019/03/KIT-Working-Paper_final.pdf.
[10] Oakden, J. (2013), Evaluation rubrics: how to ensure transparent and clear assessment that respects diverse lines of evidence, Better Evaluation, https://www.betterevaluation.org/sites/default/files/Evaluation%20rubrics.pdf.
[2] OCDE (2014), From ambition to results: Delivering on gender equality in donor institutions, https://www.oecd.org/dac/gender-development/fromambitiontoresultsdeliveringongenderequalityindonorinstitutions.htm.
[7] OCDE (2010), Normes de qualité pour l’évaluation du développement, OCDE, https://www.oecd.org/dac/evaluation/dcdndep/44920384.pdf.
[4] OCDE (2002), Glossaire des principaux termes relatifs à l’évaluation et la gestion axée sur les résultats, https://www.oecd.org/dac/evaluation/2754804.pdf.
[5] OECD (2021), Applying Evaluation Criteria Thoughtfully, OECD Publishing, Paris, https://doi.org/10.1787/543e84ed-en.
[6] OECD (s.d.), Evaluation Criteria, https://www.oecd.org/dac/evaluation/daccriteriaforevaluatingdevelopmentassistance.htm (consulté le 19 mai 2022).
[13] OECD/DAC Network on Development Evaluation (2019), Better Criteria for Better Evaluation: Revised Evaluation Criteria Definitions and Principles for Use, https://www.oecd.org/dac/evaluation/revised-evaluation-criteria-dec-2019.pdf (consulté le 11 janvier 2021).
[8] Thorley, L. et E. Henrion (2019), DFID ethical guidance for research, evaluation and monitoring activities, DfID, https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/838106/DFID-Ethics-Guidance-Oct2019.pdf.
[3] USAID (2021), Discussion Note: Ex-Post Evaluations, https://usaidlearninglab.org/sites/default/files/resource/files/dn-ex-post_evaluation_final2021.pdf.
Pour des informations et des orientations sur l’intérêt des approches participatives, voir le document de travail du KIT Royal Tropical Institute « What do participatory approaches have to offer the measurement of empowerment of women and girls » : https://www.kit.nl/wp-content/uploads/2019/03/KIT-Working-Paper_final.pdf
Pour plus d’informations sur les initiatives de suivi visant à savoir si les projets ou programmes aboutissent aux effets recherchés, et si des ajustements doivent être apportés, voir la note de pratique et de recherche « Changing Gender Norms: Monitoring an Evaluating Programmes and Projects » : https://odi.org/en/publications/changing-gender-norms-monitoring-and-evaluating-programmes-and-projects/
Pour des exemples de conception, de suivi et d’évaluation des résultats en matière d’égalité des genres aux niveaux national et sectoriel, et au niveau des programmes et des projets, voir le « Tool Kit on Gender Equality Results and Indicators » conçu par la Banque asiatique de développement (BAsD) et l’Australie : https://www.oecd.org/derec/adb/tool-kit-gender-equality-results-indicators.pdf
Pour des lignes directrices ayant vocation à aider toutes les personnes travaillant sur les processus de suivi basé sur les résultats, voir les Guidelines on designing a gender-sensitive results-based monitoring (RBM) system de la Deutsche Gesellschaft für Internationale Zusammenarbeit (GIZ) : https://www.oecd.org/dac/gender-development/GIZ-guidelines-gender-sensitive-monitoring.pdf
Pour des exemples de bonnes pratiques où les résultats d’interventions intégrant la problématique du genre et orientés vers l’égalité des genres sont présentés dans des rapports irréfutables sur les résultats, qui combinent des données quantitatives et des études de cas, des résumés et des analyses de données, voir les rapports de l’UNICEF Gender Equality: Global Annual Results Report 2020 : https://www.unicef.org/media/102281/file/Global-annual-results-report-2020-gender-equality.pdf et Health Results 2020: Maternal, Newborn and Adolescent Health : https://www.unicef.org/media/102666/file/Health-Results-2020-Maternal-Newborn-Adolescent-Health.pdf
Pour des exemples d’évaluation en matière d’égalité des genres, y compris les évaluations des Plans d’action axés sur la problématique du genre des membres du CAD et d’autres partenaires au développement, voir le portail d’évaluation d’ONU Femmes : https://genderevaluation.unwomen.org/en/region/global?region=8c6edcca895649ef82dfce0b698ebf60&orgtype=c580545e97254263adfcaf86c894e45b
Pour des orientations sur la façon d’intégrer une approche axée sur l’équité et sensible à la question du genre des systèmes d’évaluation nationaux, voir Evaluating the Sustainable Development Goals With a “No one left behind” lens through equity-focused and gender-responsive evaluations : https://www2.unwomen.org/-/media/field%20office%20americas/imagenes/publicaciones/2017/06/eval-sdgs-web.pdf?la=en&vs=4007
Pour des orientations sur la façon d’intégrer la problématique du genre dans les évaluations menées par l’UNICEF, ou dans les évaluations de manière générale, voir le document UNICEF Guidance on Gender Integration in Evaluation : https://www.unicef.org/evaluation/documents/unicef-guidance-gender-integration-evaluation
Pour des ressources destinées aux acteurs du développement et aux responsables des évaluations en quête d’explications et de recommandations pour l’intégration d’un volet consacré à l’impact selon le genre lors du lancement ou de l’exécution des évaluations, voir le document Addressing Gender in Impact Evaluation: What should be considered? de Methods Lab : https://internationalwim.org/wp-content/uploads/2020/10/Addressing-Gender-in-Impact-Evaluation-.pdf
Le Groupe des Nations Unies pour l’évaluation (UNEG) propose un cadre d’évaluation pour les processus axés sur l’intégration systématique de la problématique du genre au niveau institutionnel, qui pourrait être adapté par les membres du CAD, dans le guide pratique Guidance on Evaluating Institutional Gender Mainstreaming : http://www.uneval.org/document/detail/2133
Dans le document The ‘Most Significant Change’ Technique – A Guide to Its Use, Better Evaluation livre un outil pratique pour toute personne souhaitant utiliser la méthode du changement le plus important : https://www.betterevaluation.org/resources/guides/most_significant_change
Pour une présentation accessible de cette méthode, voir : https://www.betterevaluation.org/en/plan/approach/most_significant_change
Pour un exemple d’élaboration d’enquête sur l’autonomisation des femmes, voir le document A Practical Guide to Measuring Women’s and Girls’ Empowerment in Impact Evaluations d’Abdul Latif Jameel Poverty Action Lab : https://www.povertyactionlab.org/sites/default/files/research-resources/practical-guide-to-measuring-women-and-girls-empowerment-appendix1.pdf
Pour plus d’informations sur la cartographie des réalisations et les façons de l’utiliser pour analyser la théorie du changement d’une initiative et servir de cadre pour la collecte des données, voir le contenu fourni par Better Evaluation : https://www.betterevaluation.org/en/plan/approach/outcome_mapping
Pour des orientations en matière d’éthique sur la collecte des données, voir le document Priorité aux femmes : principes d’éthique et de sécurité recommandés pour les recherches sur les actes de violence familiale à l’égard des femmes de l’Organisation mondiale de la santé : https://apps.who.int/iris/bitstream/handle/10665/66679/WHO_EIP_GPE_99.2_fre.pdf?sequence=1&isAllowed=y
Voir aussi le rapport ultérieur : https://www.who.int/reproductivehealth/publications/violence/intervention-research-vaw/en/
Pour une introduction accessible aux concepts de base qui sous-tendent l’évaluation féministe, voir le contenu « Feminist evaluation » de Better Evaluation : https://www.betterevaluation.org/en/themes/feminist_evaluation
Pour une présentation d’ensemble et une description de l’évaluation féministe et des approches fondées sur le genre, et de leurs différences, voir l’article, initialement publié dans le Journal of Multidisciplinary Evaluation, « Feminist Evaluation and Gender Approaches: There’s a Difference? » : https://www.betterevaluation.org/en/resources/discussion_paper/feminist_eval_gender_approaches
Pour une analyse de la façon dont les évaluations d’impact quantitatives et d’autres choix techniques et considérations éthiques évoluent dès lors que les travaux de recherche sur les processus de suivi et d’évaluation sont abordés sous un angle féministe, voir le document de travail d’Oxfam GB, Centring Gender and Power in Evaluation and Research: Sharing experiences from Oxfam GB’s quantitative impact evaluations : https://policy-practice.oxfam.org/resources/centring-gender-and-power-in-evaluation-and-research-sharing-experiences-from-o-621204/
Une évaluation féministe peut être utilisée parallèlement à d’autres systèmes de suivi, d’évaluation et d’apprentissage à l’appui des programmes, ou associée à ces systèmes, afin d’aider à expliquer les mécanismes à l’œuvre en amont de tout changement social. Pour plus d’informations, voir « Merging Developmental and Feminist Evaluation to Monitor and Evaluate Transformative Social Change » : https://journals.sagepub.com/doi/full/10.1177/1098214015578731
Pour des exemples de mesures concrètes à adopter en lien avec la sécurité et la sauvegarde des données des participants à l’évaluation, voir Action Aid’s feminist research guidelines : https://actionaid.org/publications/2020/feminist-research-guidelines
Notes
← 1. Treize membres du CAD ont intégré l’égalité des genres dans les cadres de suivi et d’évaluation appliqués à la programmation et cinq membres ont procédé à des contrôles qualité annuels complémentaires. Un petit nombre de membres du CAD ont indiqué produire des évaluations de l’égalité des genres en tant que question transversale, tandis que d’autres produisent des rapports d’évaluation relatifs à leurs Plans d’action axés sur la problématique du genre ou autres programmes visant spécifiquement les questions de genre.
← 2. Treize membres du CAD ont établi que l’intégration des résultats obtenus dans le cadre des programmes et initiatives à l’appui de l’égalité des genres dans les rapports préparés à intervalles réguliers est un aspect important de leurs dispositifs de suivi et d’évaluation. Certains de ces membres ont fait de la rédaction des rapports à différentes étapes de l’intervention un dispositif de suivi et d’évaluation des programmes à l’appui de l’égalité des genres (trimestriels, annuels, à mi-mandat, ou en fin de programme).
← 3. Le Réseau du CAD sur l’évaluation du développement travaille actuellement à la constitution d’un glossaire des termes relatifs à l’évaluation.
← 4. Neuf membres du CAD ont intégré un programme d’apprentissage à leurs systèmes et processus de coopération pour le développement (dont le suivi et l’évaluation) – ces programmes ont vocation à améliorer les travaux des membres à l’appui de l’égalité des genres et de l’autonomisation des femmes et des filles. La mise en œuvre de ces programmes prend des formes extrêmement variées. Dans le cas de cinq membres, ils sont institutionnalisés dans leur programmation, avec des axes de travail spécifiques pour la gestion des connaissances, ou dans des systèmes d’apprentissage institutionnels plus vastes. Ceci s’est concrétisé, par exemple, par la constitution d’une unité consacrée à l’égalité des genres chargée de l’apprentissage institutionnel et de la gestion des connaissances, ou encore par la mise en place de centres d’assistance qui permettent d’obtenir rapidement les conseils d’experts externes. Quatre membres ont mis en place de façon systématique des activités d’apprentissage, telles que la préparation de rapports pluriannuels complets sur l’évolution et les progrès accomplis grâce aux approches adoptées pour faire avancer l’égalité des genres dans le contexte de la coopération pour le développement, notamment les principaux enseignements tirés et recommandations pour l’avenir. Deux membres ont fait de leurs processus d’évaluation et d’amélioration des programmes une composante de leur programme d’apprentissage, en intégrant le cas échéant les questions dans ce domaine aux questions de l’évaluation. L’un des membres a précisé avoir confié l’exécution de son programme d’apprentissage à une équipe spécifique. Douze membres du CAD ont indiqué n’avoir établi aucun programme d’apprentissage.