Résumé
L’Organisation de coopération et de développement économiques (OCDE) a élaboré des définitions communes pour six critères d’évaluation – pertinence, cohérence, efficacité, efficience, impact et viabilité/durabilité – afin de faciliter la conduite d’évaluations cohérentes et de qualité. Ces critères posent un cadre normatif pour déterminer l’intérêt ou la valeur d’une intervention (politique, stratégie, programme, projet ou activité). Ils servent de base de jugement pour l’évaluation.
Les critères peuvent être appréhendés comme un ensemble de prismes apportant des perspectives complémentaires qui, une fois réunies, donnent une vue d’ensemble d’une intervention et de ses résultats. Ils encouragent les évaluateurs – et ceux qui contribuent à la conception ou à la gestion des interventions – à approfondir leur réflexion sur la nature d’une intervention, son processus de mise en œuvre et ses résultats.
Outre les six définitions des critères, deux principes directeurs ont été définis par le Réseau du CAD de l’OCDE sur l’évaluation du développement, à savoir :
1. Principe n°1 : Les critères devraient être appliqués de façon réfléchie pour renforcer la qualité et l’utilité des évaluations.
2. Principe n° 2 : L’utilisation des critères dépend de la finalité de l’évaluation.
Les critères doivent être appliqués de façon réfléchie et adaptés au contexte de l’intervention et de l’évaluation. Même s’ils étaient initialement destinés à être utilisés dans le cadre de la coopération internationale pour le développement, ils peuvent être appliqués dans n’importe quel secteur et pour l’évaluation d’interventions publiques comme privées. Ils peuvent servir à évaluer une grande diversité de domaines et types d’interventions – y compris des stratégies, des politiques et des projets. Différentes méthodologies peuvent être utilisées pour effectuer une évaluation sur la base de ces critères, étant entendu qu’ils ne forment qu’une partie seulement de l’éventail plus large des normes et critères d’évaluation.
Les évaluateurs doivent adopter des méthodes de travail qui prennent en compte de manière réfléchie les différences d’expérience ainsi que la façon dont les dynamiques de pouvoir fondées sur le genre et d’autres formes de discrimination (fondées, par exemple, sur l’âge, l’origine ethnique, le statut social, le handicap) influent sur la mise en œuvre et les résultats de l’intervention.
Les notions fondamentales qui sous-tendent chaque critère sont définies comme suit :
La pertinence examine dans quelle mesure les objectifs et la conception de l’intervention correspondent aux besoins et aux priorités des bénéficiaires, ainsi que l’alignement sur les politiques et priorités nationales et mondiales, et sur celles des partenaires/institutions. La compréhension de la nature sexuée des dynamiques de pouvoir et la réflexion sur l’engagement de « ne laisser personne de côté » sont essentielles pour appréhender la pertinence d’une intervention. Dans le cas de contextes évolutifs, les évaluations doivent également viser à déterminer si les interventions demeurent pertinentes.
La cohérence – un critère nouvellement ajouté – examine dans quelle mesure d’autres interventions (en particulier des politiques publiques) appuient ou affaiblissent l’intervention évaluée, et inversement. Il s’agit tant de cohérence interne (au sein d’une institution ou d’une administration), notamment la compatibilité avec les normes et les critères internationaux, que de cohérence externe (avec les interventions menées par d’autres acteurs dans le même contexte). La cohérence recouvre les notions de complémentarité, d’harmonisation et de coordination, ainsi que la mesure dans laquelle l’intervention apporte une valeur ajoutée tout en évitant le chevauchement d’activités. Conformément au Programme de développement durable à l’horizon 2030, une attention plus soutenue doit être accordée à la cohérence, en mettant davantage l’accent sur les synergies (ou les arbitrages) entre les domaines d’action. Ce nouveau critère encourage l’adoption d’une approche intégrée pour comprendre les interventions complexes et leurs résultats.
L’efficacité examine dans quelle mesure les objectifs et les résultats de l’intervention ont été atteints, ou sont en train de l’être, compte tenu de l’importance relative des objectifs. Cette nouvelle définition encourage l’analyse des résultats différenciés selon les groupes de population et de la mesure dans laquelle l’intervention contribue à réduire les inégalités ou les accentue. L’efficacité est le critère le plus couramment évalué et sert souvent de mesure globale de la réussite d’une intervention.
L’efficience aide les évaluateurs à examiner dans quelle mesure l’intervention produit, ou est susceptible de produire, des résultats de façon économique et dans les temps. Le terme « économique » désigne la conversion des intrants (fonds, expertise, ressources naturelles, temps, etc.) en résultats, de la façon la plus économiquement avantageuse possible, par rapport aux options envisageables dans le contexte. La nouvelle définition inclut la dimension temporelle. Ce critère est l’occasion de vérifier si les ressources consacrées à l’intervention sont justifiées par ses résultats – un aspect qui revêt une importance majeure d’un point de vue pratique et politique. De nombreuses parties prenantes, y compris les bénéficiaires, se soucient de l’efficience car ce facteur peut contribuer à une meilleure utilisation de ressources limitées pour davantage de résultats.
L’impact est la mesure dans laquelle l’intervention a produit, ou devrait produire, des effets importants et de vaste portée, positifs ou négatifs, intentionnellement ou non. Il s’agit d’évaluer l’importance que l’intervention a in fine ainsi que ses effets potentiellement transformateurs (modification globale et durable des systèmes ou des normes). Le critère d’impact ne se contente pas d’analyser l’efficacité et invite à s’interroger sur la différence que fait réellement l’intervention. C’est au titre de ce critère que les évaluateurs examinent si l’intervention a induit des transformations qui comptent réellement pour les populations.
La viabilité/durabilité est la mesure dans laquelle les bénéfices nets de l’intervention perdureront ou sont susceptibles de perdurer. Selon le moment où l’évaluation est effectuée, il peut s’agir d’analyser le flux réel de bénéfices nets ou d’estimer la probabilité que les bénéfices nets perdurent à moyen et long terme. Si la notion sous-jacente de bénéfices durables reste la même, la nouvelle définition englobe plusieurs éléments d’analyse – financiers, économiques, sociaux et environnementaux – et l’attention devrait être accordée à l’interaction entre ces éléments.
Diverses difficultés peuvent être rencontrées dans l’application des différents critères, notamment des problématiques courantes liées à une mauvaise conception des interventions ou à la disponibilité des données. Pour aider les évaluateurs et les responsables d’évaluation à surmonter ces difficultés, le document formule des suggestions concrètes, visant notamment à : apprécier « l’évaluabilité » à un stade précoce du processus, collaborer avec les parties prenantes pour consigner les décisions prises ou recréer les données de référence, et faire preuve de transparence quant aux éventuelles limites, de façon à gérer les attentes. Ces propositions, ainsi que le reste des Orientations, seront mises à jour au fil des enseignements tirés de l’expérience.