2. Les six critères : finalité et rôle dans l’évaluation
Ce chapitre décrit la finalité des six critères d’évaluation et examine le rôle qu’ils jouent dans l’évaluation. Il explique comment les critères peuvent être appréhendés comme un ensemble de prismes complémentaires et la façon dont chacun peut apporter une perspective différente sur l’intervention et ses résultats. Il présente également différents types d’interventions dont l’intérêt ou le mérite peut être évalué en se servant des critères comme base d’appréciation. La dernière partie analyse les liens entre les critères et d’autres normes et critères d’évaluation.
Un critère est une norme ou un principe utilisé(e) dans l’évaluation comme base de jugement évaluatif.
Chacun des six critères est résumé sous la forme d’une question générale qui en illustre le champ d’analyse. Chaque critère représente un élément d’examen important :
Pertinence : L’intervention1 répond-elle au problème ?
Cohérence : L’intervention s’accorde-t-elle avec les autres interventions menées ?
Efficience : Les ressources sont-elles utilisées de manière optimale ?
La finalité des critères d’évaluation est de contribuer à une évaluation cohérente et de qualité menée conformément à un cadre commun. Les critères offrent un cadre normatif qui permet d’évaluer une intervention donnée. Ils peuvent également être utilisés pour d'autres processus que celui de l'évaluation, notamment pour la définition de cadres et d’indicateurs de suivi et de gestion axée sur les résultats, l’approbation de financements, la planification stratégique et la conception d’interventions, en particulier en vue d’améliorer celles qui seront menées à l’avenir. Collectivement, il est utile de disposer de critères définis d’un commun accord qui soient appliqués de manière identique quelle que soit l’intervention. Les critères offrent également une terminologie cohérente pour l’ensemble du domaine du développement, favorisant ainsi la normalisation, les comparaisons et l’apprentissage d’une intervention à l’autre.
Les critères devraient être considérés comme une série de prismes à travers lesquels une intervention peut être appréhendée et analysée. Ils apportent des perspectives complémentaires et permettent d’avoir une vue globale de l’intervention. Ils encouragent l’approfondissement de la réflexion sur la nature d'une intervention, sa mise en œuvre, son processus et ses résultats. Collectivement, ils décrivent les caractéristiques attendues de toutes les interventions, formulent des hypothèses explicites et fixent des normes pour les interventions, à savoir : être adaptées au problème à résoudre, être cohérentes avec les autres interventions, produire des résultats de manière efficiente et se traduire par des effets positifs pérennes sur le développement durable. Les critères d’évaluation offrent également un cadre largement reconnu pour définir une approche de l’évaluation qui soit complète et systématique ainsi qu’une terminologie commune à utiliser dès le début du processus d’évaluation.
Les critères sont tous reliés entre eux et peuvent être considérés comme un ensemble complémentaire dans lequel chaque critère apporte une perspective différente et unique pour appréhender l’intervention. Même si la définition de chaque critère incarne une notion particulière (illustrée par la question générale qui lui est associée), ces notions sont à de multiples égards liées. Les interventions de développement ont tendance à être multidimensionnelles ; aussi, l’utilisation combinée des différents critères peut aider l’évaluateur à examiner l’intervention dans son ensemble.
Les critères d’évaluation ne forment pas une méthodologie, ni ne constituent des objectifs qu’une intervention tenterait d’atteindre. Ils constituent plutôt des incitations à se poser les bonnes questions lors de l’évaluation d’une intervention. Parce que chaque intervention (l’objet de l’évaluation ou le sujet évalué2) est différente, le processus d’évaluation doit être souple et l’utilisation des critères d’évaluation doit être réfléchie et adaptée à la finalité de l’évaluation et aux utilisateurs. Conformément aux normes de qualité des évaluations, les conclusions et les recommandations relatives aux progrès et aux performances devraient se fonder sur des données pertinentes et crédibles. La logique, la crédibilité et l’interprétation des données devraient être claires et explicites et se conformer à la théorie du changement ou à la logique de l’intervention.
Le terme « intervention » est employé tout au long du document pour désigner le thème ou l’objet de l’évaluation. Il englobe tous les types d’activités qui peuvent être évalués à l’aune de ces critères. Ces activités peuvent être menées à l’échelon international ou national et peuvent viser à favoriser le développement durable ou à satisfaire à des objectifs humanitaires.
Il peut s’agir d’un projet, d’un programme, d’une politique, d’une stratégie, d’un domaine thématique, d’un programme d’assistance, d’une activité de conseil sur l’action publique, d’une initiative institutionnelle, d’un mécanisme de financement, d’un instrument ou de toute autre activité. Sont compris les interventions de développement, l’aide humanitaire, l’appui à la consolidation de la paix, les travaux normatifs et d’autres activités de coopération internationale, ainsi que les activités des acteurs du secteur privé et des administrations nationales dans le contexte du pays. À titre d'illustration, les critères ont déjà été utilisés pour évaluer des thèmes allant de l’efficacité des programmes nationaux sur l’alimentation scolaire à la cohérence du soutien international apporté par différents acteurs dans une région touchée par un conflit. Ils servent également à évaluer des politiques ou des stratégies (voir, par exemple, Encadré 2.1) et sont aussi utilisés pour évaluer des séries d’interventions – par exemple, un ensemble de projets à l’appui du secteur de l’éducation ou une intervention unique de grande ampleur étalée sur de nombreuses années et impliquant de multiples partenaires (soutien budgétaire général, etc.).
Si le terme « intervention » est employé dans ce document à des fins de facilité de compréhension, les évaluateurs devraient veiller à définir clairement le thème de l’évaluation – l’intervention analysée – ainsi que le périmètre couvert à un stade précoce du processus. L’emploi d’autres termes plus précis liés à l’intervention en question – par exemple, « projet » ou « politique » – sera probablement plus utile et intelligible pour les partenaires.
L’évaluation du plan d’action du ministère fédéral allemand de la Coopération économique et du développement (BMZ) pour l’inclusion des personnes handicapées offre un exemple intéressant de la manière dont les critères peuvent être adaptés à l’intervention évaluée (soit, dans le cas présent, un plan d’action stratégique) et sont rattachés aux questions d’évaluation. Cette évaluation visait à examiner dans quelle mesure le plan d’action avait réussi à promouvoir l’intégration systématique du principe d'inclusion dans les activités allemandes de coopération pour le développement. Elle reposait sur une série de questions d’évaluation d’ordre général (voir ci-après), tirées du plan d’action lui-même. Chacune de ces questions était ventilée en plusieurs questions plus précises par critère :
1. Dans quelle mesure le BMZ montre-t-il l’exemple en matière d’inclusion des personnes handicapées dans sa propre organisation interne ?
Pertinence : Dans quelle mesure les domaines d’action et mesures sélectionnés correspondent-ils aux dispositions de la Convention des Nations Unies relative aux droits des personnes handicapées (CDPH) ?
Efficacité : Dans quelle mesure le BMZ parvient-il à établir des structures et des pratiques inclusives ?
2. Dans quelle mesure le plan d’action contribue-t-il à favoriser l’inclusion des personnes handicapées dans les pays partenaires de la coopération allemande pour le développement ?
Pertinence : Dans quelle mesure les domaines d’action et mesures sélectionnés correspondent-ils aux dispositions de la CDPH ?
Efficacité : Dans quelle mesure l’inclusion des personnes handicapées a-t-elle été intégrée avec plus d’efficacité dans les mesures prises dans les pays partenaires de la coopération allemande pour le développement ?
3. Dans quelle mesure le BMZ joue-t-il, aux niveaux national, régional et international, le rôle de défenseur et de partenaire des droits des personnes handicapées dans le cadre de la coopération pour le développement ?
Pertinence : Dans quelle mesure les domaines d’action et mesures sélectionnés correspondent-ils aux dispositions de la CDPH ?
Efficacité : Dans quelle mesure le BMZ est-il parvenu à rallier les acteurs bilatéraux et multilatéraux à la cause de l’inclusion ?
4. Comment l’élaboration et la mise en œuvre du plan d’action pour l’inclusion des personnes handicapées ont-elles été gérées ?
Efficacité : Quels mécanismes et structures de gestion (y compris les rôles joués par les divers groupes de parties prenantes dans le processus de gestion) ont déterminé l’élaboration et la mise en œuvre du plan d’action ?
Efficacité : Dans quelle mesure les mesures ont-elles été mises en œuvre comme prévu ?
5. Comment devrions-nous noter les bénéfices du plan d’action pour l’inclusion des personnes handicapées en termes d’ampleur de l’impact et d’effet de levier en tant qu’instrument de gouvernance ?
Impact : Dans quelle mesure le plan d’action a-t-il eu un impact à grande échelle ?
Impact : Dans quelle mesure le plan d’action a-t-il eu un effet de levier ?
Source : Schwedersky, Ahrens et Steckhan (2017[1]), Evaluation of the BMZ Action Plan for the Inclusion of Persons with Disabilities, https://d-nb.info/1186644206/34
Parce que chaque intervention (l’entité évaluée) est différente, le processus d’évaluation doit être souple et l’utilisation des critères d’évaluation doit être réfléchie et adaptée à la finalité de l’évaluation et aux utilisateurs. Les critères d'évaluation n’ont donc pas vocation à poser un ensemble de règles obligatoires.
Ils n’existent pas isolément. Pour en faire le meilleur usage, il importe de comprendre comment ils se placent par rapport aux autres normes et règles, méthodologies et orientations institutionnelles.
Au macro-niveau se situent les principes fondamentaux d’évaluation tels que l’impartialité et l’indépendance, la crédibilité, l’utilité et la participation (OCDE, 1991[2]), ainsi que les Normes de qualité pour l’évaluation du développement (OCDE, 2010[3]). Les normes d’éthique dans le domaine de la recherche et de la collecte de données relèvent également de ce niveau, qui regroupe donc les normes générales de bonnes pratiques auxquelles toute évaluation devrait se conformer, tout au long du processus.
Au méso-niveau se situent les critères d’évaluation, qui fournissent les prismes à travers lesquels une intervention est analysée et appréhendée.
Le niveau institutionnel désigne le niveau auquel chaque organisation adapte les critères et les traduit en lignes directrices et politiques internes (par exemple, en mettant l’accent sur certains critères, en exigeant des notations, en ajoutant des critères supplémentaires) qui reflètent leurs propres mandats et priorités.
Au micro-niveau, c’est-à-dire dans le contexte de chaque évaluation, se situent les décisions relatives aux questions d’évaluation et aux méthodologies appliquées pour chaque évaluation, ainsi que la manière dont les critères sont appliqués dans ce contexte et pour le sujet évalué.
Références
[3] OCDE (2010), Normes de qualité pour l’évaluation du développement, Lignes directrices et ouvrages de référence du CAD, Éditions OCDE, Paris, https://doi.org/10.1787/9789264083912-fr.
[2] OCDE (1991), Principles for Evaluation of Development Assistance, Comité d’aide au développement, Éditions OCDE, Paris, https://www.oecd.org/development/evaluation/2755284.pdf (consulté le 11 janvier 2021).
[1] Schwedersky, T., L. Ahrens et H. Steckhan (2017), Evaluation of the BMZ Action Plan for the Inclusion of Persons with Disabilities, DEval, https://d-nb.info/1186644206/34 (consulté le 11 janvier 2021).
Notes
← 1. Le terme « intervention » est employé ici et tout au long du document pour désigner l’objet de l’évaluation (ce qui est évalué). Se reporter au Chapitre 3, section « Adapter les critères à la finalité de l’évaluation », pour un examen plus approfondi en la matière
← 2. L’expression « sujet évalué » fait référence à l’objet de l’évaluation – ce qui est évalué.