Chapitre 6. Résultats, évaluation et apprentissage
La totalité de l’aide publique au développement (APD) de la France s’aligne sur des indicateurs agrégés, mais la gestion axée sur les résultats n’est pas pour autant assimilée par les ministères et leurs opérateurs. Par ailleurs, la montée en puissance de l’Agence française du développement (AFD) nécessitera une approche plus transparente et un effort de communication au regard des résultats visés et réalisés. Les évaluations de l’aide française relèvent des trois entités principales de l’aide française et adhèrent aux principes du CAD. Cependant, les projets ne sont pas systématiquement jugés en fonction de leur évaluabilité ou la qualité de leurs cadres. Cela peut compliquer l’assurance qualité des projets. Par ailleurs, la France n’investit pas autant qu'elle le pourrait dans le renforcement des services d’évaluation des autorités dans les pays partenaires ; pourtant, cette approche pourrait lui permettre de déléguer davantage. Une base de données et des communautés de pratiques facilitent la recherche d’informations liées aux conclusions des évaluations, mais la France ne dispose pas de mécanisme formel pour diffuser systématiquement les résultats et les enseignements des évaluations.
Gestion axée sur les résultats de développement
La totalité de l’aide publique au développement (APD) de la France s’aligne sur des indicateurs agrégés, mais la gestion axée sur les résultats n’est pas pour autant assimilée par les ministères et leurs opérateurs. La mise à jour des différents indicateurs de performance et la révision de la loi d’orientation et de programmation relative à la politique de développement et de solidarité internationale (LOP-DSI), promulguée en 2014, offrent la possibilité d’améliorer la cohérence des différents indicateurs avec les Objectifs de développement durable (ODD). Par ailleurs, la montée en puissance de l’Agence française du développement (AFD) nécessitera une approche plus transparente et un effort de communication au regard des résultats visés et réalisés.
La France a mis en place une liste d’indicateurs communs pour l’ensemble de l’APD française
Depuis 2013, la France communique des résultats agrégés sur la base de 31 indicateurs agrégés ex post figurant en annexe de la loi de 2014, qui constitue le cadre de la politique de développement française. Parmi ces indicateurs, 17 portent sur l’aide bilatérale et 14 sur l’aide multilatérale (JORF, 2014) ; ils recouvrent les priorités thématiques et transversales de la France, et sont utilisés dans les rapports bisannuels au Parlement.
Tous les ministères et opérateurs utilisent quelques-uns de ces indicateurs, qui portent davantage sur le produit que sur le résultat ou l’impact. Par exemple, deux des indicateurs bilatéraux concernent le nombre d’entreprises ou d’exploitations agricoles bénéficiant de financements de l’AFD ou encore la réduction des émissions de gaz à effet de serre. Les indicateurs multilatéraux sont attribués par domaine et par agence multilatérale, et sont recueillis par le ministère de l’Europe et des Affaires étrangères (MEAE) et la Direction générale du Trésor (DGT). Les indicateurs bilatéraux relèvent essentiellement de l’AFD.
Si ces indicateurs ont l’avantage de fournir un aperçu global des activités de la France, ils ne sont pas encore en phase avec les ODD. De même, ils sont dissociés des indicateurs de performance organisée par programme budgétaire et attachée au projet de loi de finances (pour ne citer que deux exemples d’indicateurs de performance, la part des autorisations d’engagement de l’AFD ayant un objectif genre ou un co-bénéfice climat). Des exercices de mise à jour des différents indicateurs par rapport aux ODD sont actuellement en cours. Cela serait donc le moment de revoir et d’harmoniser ces différents exercices. Au sein même de l’AFD, une agence pourtant à la pointe des produits financiers et gagnant de l’ampleur au niveau mondial, le suivi et les résultats sont perçus avant tout comme étant des mécanismes de contrôle et de redevabilité. Les utiliser pour améliorer la mise en œuvre de projets ou l’apprentissage nécessitera le renforcement des moyens qui sont attribués au suivi et à la gestion par les résultats en termes de ressources humaines et logistiques.
L’attention aux résultats est ciblée au niveau des projets et non des pays
La France cale ses objectifs sur ceux de ses pays partenaires. Dans la mesure du possible, elle adopte les cadres de résultats provenant de leurs plans nationaux ou sectoriels, se concentrant sur la contribution de la France, plutôt que sur l’attribution des résultats. C’est une chose positive. L’AFD débute un grand exercice de rationalisation des indicateurs liés aux projets afin d’élaborer un menu d’indicateurs-types par secteur correspondant aux ODD. Dans le secteur de l’urbanisation, qui comprenait à l’origine environ 200 indicateurs, elle est arrivée à sept indicateurs clés parmi lesquels les chefs de projets peuvent sélectionner les plus adaptés (deux des sept indicateurs1 sont repris dans les indicateurs agrégés de la LOP-DSI). Cette bonne pratique permet de renforcer l’évaluabilité des projets. Cependant, l’AFD pourrait également comparer et harmoniser ses indicateurs avec ceux d’autres donneurs. La sélection d’indicateurs communs aurait pour avantage de renforcer la cohérence des projets au sein de l’AFD.
En revanche, la France a élaboré peu de stratégies pays. Même les stratégies développées par l’AFD ne sont pas dotées d’un cadre de performance qui recueillerait les données et les résultats des différents projets, et permettrait de mieux les aligner sur les résultats voulus par le pays. Il est donc difficile de déterminer dans quelle mesure l’ensemble des interventions au sein d’un pays s’inscrit dans la logique du cadre des résultats des pays partenaires. De même, il est impossible d’avoir un aperçu de l’ensemble des résultats auxquels la France a contribué au niveau de chaque pays partenaire. En réalité, au-delà des 17 indicateurs agrégés et de l’information recueillie au niveau projet, la France n’a pas identifié les résultats qu'elle souhaite atteindre aux niveaux pays, programmatique ou thématique. Cela complique d’autant une gestion axée sur les résultats, et ne permet pas à la France d’apprécier l’évolution de son programme d’aide au développement d’une année à l’autre, ni de déterminer l’impact réel de son appui financier.
La gestion axée sur les résultats n’est pas assimilée par les autorités, même si les travaux progressent dans la direction voulue
Les chefs de projets de l’AFD renseignent en début d’année les indicateurs pour chaque projet d’aide bilatérale. Un seul secteur peut comporter jusqu'à 200 indicateurs, qui sont manuellement recueillis par le siège de l’Agence à Paris et regroupés sous 10 à 20 indicateurs agrégeables par secteur ou priorité thématique. À leur tour, ces indicateurs alimentent les 17 « méta-indicateurs » faisant l’objet d’une redevabilité auprès du Parlement. Les informations recueillies sont donc beaucoup plus détaillées que les 17 indicateurs bilatéraux agrégés. Cependant, cette information n’est pas encore consultée ni utilisée de façon systématique par l’AFD pour améliorer sa gestion, sa programmation ou l’apprentissage. Les rapports annuels de l’AFD font état des différentes cibles établies par l’Agence en matière de co-bénéfice et reprennent 12 des 17 indicateurs agrégés concernant l’aide bilatérale. Néanmoins, il reste un travail important à faire pour démontrer dans quelle mesure la coopération française contribue aussi bien aux objectifs de développement de ses partenaires qu’à ses propres objectifs. Les efforts à accomplir sont d’autant plus importants que l’Agence envisage d’augmenter le volume de ses activités (chapitres 3 et 4).
Système d’évaluation
Les évaluations ont un rôle d’apprentissage important et se font de manière plus stratégique qu'avant. Elles relèvent des trois entités principales de l’aide française et adhèrent aux principes du CAD. Cependant, les projets ne sont pas systématiquement jugés en fonction de leur évaluabilité ou la qualité de leurs cadres. Cela peut compliquer l’assurance qualité des projets. La France pourrait réaliser davantage d’évaluations conjointes. Par ailleurs, elle n’investit pas autant qu'elle le pourrait pour renforcer les services d’évaluation des autorités dans les pays partenaires, ce qui lui permettrait de déléguer davantage les processus d’évaluation des projets et programmes et avoir un rôle d’appui-conseil.
Un service d’évaluation réparti entre trois institutions, mais bien coordonné
L’évaluation de l’aide au développement française reflète son architecture institutionnelle, qui relève de trois entités distinctes : le MEAE, le MINEFI et l’AFD. En effet, la LOP-DSI de 2014 prévoyait la création d’un Observatoire de la politique de développement et de solidarité internationale. Cet organisme indépendant était censé avoir accès à l’ensemble des informations des services d’évaluation ; il devait être constitué de 11 membres, dont quatre parlementaires et sept représentants de chaque collège du Conseil national pour le développement et la solidarité internationale. L’Observatoire s’est réuni formellement pour la première fois en avril 2018. Cependant, l’absence de réunions auparavant ne semble pas avoir posé de problème, compte tenu de la collaboration étroite entre les trois services d’évaluation au-delà même des rencontres trimestrielles et qui porte sur la programmation des évaluations ; la prise en compte et le suivi de leurs recommandations ; et la réalisation d’évaluations interministérielles conjointes (DG Trésor, 2017). Les deux ministères représentent l’État au Comité des évaluations de l’AFD.
L’ensemble des dispositifs d’évaluation de la coopération française souscrit aux principes du CAD pour l’évaluation (OCDE, 2010), à savoir : l’impartialité et l’indépendance ; la crédibilité et l’utilité ; la participation des donneurs et des bénéficiaires ; et la coordination entre bailleurs. Pour autant, ces deux derniers principes demanderaient à être renforcés. Chaque évaluation, qu’elle soit centralisée ou décentralisée, est réalisée par des experts externes choisis après une procédure de mise en concurrence. Elle est suivie par un groupe de référence constitué d’agents de l’administration française, de représentants de la structure de pilotage du projet dans le pays partenaire, de chercheurs et d’experts sectoriels, d’opérateurs et d’organisations non gouvernementales (ONG) ; ce fut le cas, par exemple, pour le groupe de référence pour l’évaluation irrigation ou du Fonds français Muskoka2. Le groupe de référence a un rôle de conseil et de suivi, notamment pour les termes de référence, la conduite de l’évaluation et les rapports produits par le consultant.
Enfin, la Cour des comptes fait des analyses de l’exécution du budget de l’État par missions et programmes, y compris pour l’aide publique au développement, et elle s’autosaisit d’autres thématiques, par exemple l’aide publique pour la santé en 2018. Si les Notes d’analyse de l’exécution budgétaire sont rendues publiques, les rapports sur d’autres thématiques relatifs à l’aide publique ne suivent pas souvent cette procédure3.
Des évaluations plus stratégiques, axées sur l’instruction de futurs projets
La France a tenu compte de la recommandation de l’examen par les pairs de 2013 (annexe A) et assure une programmation plus stratégique des évaluations, ainsi qu’une meilleure coordination des évaluations entre le MEAE, l’AFD et le MINEFI. Le MEAE dirige trois à quatre nouvelles évaluations « stratégiques » par an, après consultation des services géographiques et sectoriels. L’AFD programme les évaluations en fonction de quatre critères : 1) le déficit de connaissances ; 2) les axes stratégiques de l’AFD ; 3) l’évaluabilité ; et 4) la plus-value de l’évaluation. L’AFD réalise 30 à 35 évaluations par an, dont 25 évaluations de projets (décentralisées). Des fiches rétrospectives concernant certaines évaluations décentralisées sont maintenant accessibles au public4. Le MINEFI évalue les contributions de la France aux banques et fonds multilatéraux (comme la Banque mondiale, les banques régionales de développement et les fonds sectoriels) en amont des reconstitutions de ces fonds ; de même, il évalue les interventions d’aide bilatérale qu’il finance et découlant du programme budgétaire 110 pour les dons et du programme 851 pour les prêts5.
L’AFD est amenée de plus en plus fréquemment à mener des évaluations à mi-parcours afin de tirer les enseignements permettant d’orienter les prochaines phases de projets ; cette approche plus stratégique a été observée lors de la mission au Maroc. De même, une évaluation de l’impact des infrastructures d’eau potable à Uvira, en République démocratique du Congo6, a permis de réorienter un projet actuellement en cours (AFD, 2018).
Les analyses de « projets en grappe » prennent la forme de méta-évaluations et permettent de tirer des conclusions plus transversales, par exemple sur le climat. Cet aspect très positif gagnerait à être développé. L’AFD a également expérimenté des évaluations filmées qui permettent de tirer des conclusions plus contextualisées ; cependant, ces évaluations sont très coûteuses.
L’évaluabilité des projets n’est pas systématique, et la robustesse des cadres n’est pas assurée
Bien que ce soit l’équipe d’évaluation de l’AFD qui travaille actuellement sur le sujet de l’évaluabilité et la robustesse des cadres de projet, ce qui est à louer, elle n’a ni le mandat ni les ressources pour déterminer l’évaluabilité de tous les cadres logiques et montages de projets de l’Agence7, et la cohérence des indicateurs avec les objectifs du projet n’est pas assurée par d’autres moyens. De même, la cellule évaluation du MEAE travaille également sur l’amélioration de l’évaluabilité des projets financés par le ministère (Fonds de solidarité pour les projets innovants, les sociétés civiles, la francophonie et le développement humain et PISCCA). Les chefs de projets à l’AFD ne sont pas tenus de lire les évaluations précédentes de projets similaires avant de soumettre un nouveau projet. De nombreux projets sont par conséquent difficiles à évaluer, car il n’existe pas de travaux approfondis harmonisés sur les cadres logiques et les indicateurs, même si le service des évaluations organise deux fois par an des formations sur les cadres logiques à l’intention des chefs de projets et des cadres techniques. Dans d’autres pays du CAD, cette tâche relève des entités opérationnelles dans le cadre du suivi des projets et des programmes.
La Cour des comptes a en outre relevé un manque d’évaluation externe de l’APD française. Elle recommande d’augmenter le nombre de projets évalués, et d’en rendre compte plus souvent et plus précisément – notamment au Conseil d’administration de l’AFD, dans un contexte de forte augmentation du volume d’activités de l’Agence. En effet, l’AFD est en train de revoir ses procédures pour améliorer l’évaluabilité, gérer les attentes et assurer la qualité grâce à son équipe de 15 évaluateurs. On peut envisager que les rapports d’achèvement de projets – qui aujourd’hui consistent presque à « cocher des cases » – joueront un rôle dans la redevabilité ex post pour permettre aux chefs de projets de porter un regard critique en fin de phase comme dans sa phase initiale de préparation aux prêts ou dons.
Proparco, la filiale de l’AFD dédiée au secteur privé, effectue des évaluations ex ante des impacts des financements sur le nombre d’emplois créés, les émissions de dioxyde de carbone évitées et le montant des impôts sur les sociétés. Avec l’appui de consultants, elle réalise environ quatre études ex post par an sur des lignes de financement dédiées (par exemple, à l’agriculture) ou les fonds d’investissements. Ces études sont accessibles aux actionnaires, dont les tutelles de la filiale, mais ne sont pas publiques.
La France n’a pas pour priorité de renforcer les capacités d’évaluation au niveau pays et délègue peu d’évaluations aux gouvernements
L’AFD envisage de déléguer davantage d’évaluations au personnel ou aux experts internes, ou encore aux pairs, comme le fait actuellement la KfW. Elle envisage également de se lancer dans les évaluations participatives. L’Agence ne délègue pas la maîtrise d’ouvrage des évaluations aux contreparties, qui se limitent à participer au groupe de référence. La France n’appuie pas les processus d’évaluation des contreparties. Cependant, la France apporte un soutien aux instituts nationaux de statistiques, notamment en Afrique francophone. Les évaluations décentralisées ne sont pas liées aux évaluations stratégiques et sont programmées « sur demande ». Il manque par conséquent un véritable « pilotage stratégique », capable de regrouper selon des thèmes stratégiques la demande et la planification des projets provenant du siège. Afin de favoriser l’échange des expériences de terrain tout en améliorant la qualité des évaluations de projets, le service des évaluations s’attache à ce qu’une équipe basée au siège mène un tiers des évaluations décentralisées.
Apprentissage institutionnel
La France ne dispose pas de mécanisme formel pour diffuser systématiquement les résultats et les enseignements des évaluations. Cependant, une base de données et des communautés de pratiques facilitent la recherche d’informations liées aux conclusions des évaluations. De plus, l’AFD et le Comité interministériel de la coopération internationale et du développement (CICID) étudient les moyens d’améliorer la gestion des connaissances.
Le lien évaluation, capitalisation et gestion des connaissances n’est pas encore d’actualité
La France ne dispose pas de système formel pour assurer le suivi des recommandations et tirer parti systématiquement des conclusions et enseignements des évaluations. Or, si les évaluations sont organisées de manière ciblée et sont liées aux besoins des personnels opérationnels, elles ne semblent pas systématiquement utilisées lors de la préparation de nouvelles phases ou nouveaux projets. Un plus grand effort de capitalisation au sein des ambassades et de l’AFD permettrait de renforcer la portée stratégique des évaluations décentralisées, qui sont rarement diffusées au sein des départements, auprès des partenaires ou auprès du grand public.
Il convient néanmoins de noter les avancées en matière d’apprentissage institutionnel. Aujourd’hui, les communautés de pratique au sein du réseau social de l’AFD (« La Ruche ») partagent les informations et leçons dérivées des évaluations, et les agents de l’AFD peuvent consulter une base de données d’environ 450 évaluations en opérant une recherche par mots-clés. Il n’est cependant pas possible de vérifier dans quelle mesure ces instruments servent à élaborer de nouveaux projets.
L’AFD songe à rendre le partage d’informations plus systématique, par exemple en fournissant des fiches de synthèse des évaluations décentralisées ou des notes de conclusions par secteur. À cet égard, le MEAE et l’AFD travaillent étroitement avec F3E (« évaluer, échanger, éclairer »), un réseau d’ONG et de collectivités territoriales qui organise divers espaces d’échanges. L’AFD soutient l’activité du réseau F3E dans le cadre de son appui aux initiatives des ONG et pour l’organisation d’ateliers8. Le MINEFI co-anime avec le F3E un groupe de la Société française d’évaluation se spécialisant dans l’évaluation du développement.
Les conclusions du CICID de février 2018 envisagent la restitution annuelle des résultats des évaluations devant le Conseil national du développement et de la solidarité internationale. Jusqu’ici les trois services d’évaluation publient un bilan de leurs évaluations qui vient compléter le rapport bisannuel au Parlement sur la stratégie française d’aide au développement. La restitution devant le CNDSI permettrait de déterminer l’efficacité des engagements de la France en matière de coopération au développement (MEAE, 2018).
La mise en place du système de communication interne et de communautés de pratique au sein du réseau social de l’AFD (« La Ruche ») est un pas appréciable vers une culture de gestion des connaissances. L’AFD a également travaillé sur le partage et l’échange des connaissances, notamment à travers des capitalisations d’expérience. Une culture de capitalisation d’expérience plus structurée, ainsi que des mécanismes d’échange d’expérience entre les différents acteurs du Groupe AFD, le MEAE et le MINEFI améliorerait l’apprentissage interne de la coopération française.
Références
AFD (2018), Évaluer les investissements dans les infrastructures d’eau potable, www.afd.fr/fr/evaluer-les-investissements-dans-les-infrastructures-deau-potable (consulté le 09 mars 2018).
BGC (2018), The Barefoot Guide Connection, www.barefootguide.org/ (consulté le 12 mars 2018).
DG Trésor (2017), La politique d’évaluation des activités de développement de la direction générale du Trésor, MEF, Paris, www.tresor.economie.gouv.fr/Ressources/File/442132 (consulté le 13 février 2018).
JORF (2014), Loi n° 2014-773 du 7 juillet 2014 d’orientation et de programmation relative à la politique de développement et de solidarité internationale | Legifrance, Journal officiel de la République française, www.legifrance.gouv.fr/affichTexte.do?cidTexte=JORFTEXT000029210384&categorieLien=id (consulté le 26 février 2018).
MEAE (2018), « Comité interministériel de la coopération internationale et du développement (CICID) 8 février 2018 Relevé de conclusions », www.diplomatie.gouv.fr/IMG/pdf/releve_de_conclusions_du_comite_interministeriel_de_cooperation_internationale_et_du_developpement_-_08.02.2018_cle4ea6e2-2.pdf (consulté le 23 février 2018).
OCDE (2010), Normes de qualité pour l’évaluation du développement, Lignes directrices et ouvrages de référence du CAD, Éditions OCDE, Paris, https://doi.org/10.1787/9789264083912-fr.
Notes
← 1. 1) Nombre de passagers empruntant les transports en commun sur les tronçons financés ; et 2) nombre d'habitants des quartiers défavorisés dont l'habitat est amélioré ou sécurisé.
← 2. Le Fonds français Muskoka a pour objectif de réduire la mortalité maternelle, néonatale et infantile, à travers le renforcement des systèmes de santé de dix pays francophones d’Afrique et Haïti.
← 3. Les notes d’analyse de l’exécution budgétaire de 2014 à 2016 sont publiées sur le site de la Cour des comptes. La note de 2016 est disponible ici : www.ccomptes.fr/sites/default/files/EzPublish/NEB-2016-Aide-publique-au-developpement.pdf
← 4. Voir : https://opendata.afd.fr/explore/dataset/evaluations-retrospectives-publiques-projet/table/.
← 5. Tels que le Fonds français pour l'environnement mondial et le Contrat de désendettement et de développement.
← 6. Cette évaluation a montré que près d’un quart des cas de choléra rapportés dans cette ville sur la période 2009-14 pouvaient être directement attribués aux pannes récurrentes de la centrale de traitement d'eau potable.
← 7. Bien que l'instance d'avis de développement durable étudie ce point, elle n'est pas en mesure d’opérer un suivi de la prise en compte de ses recommandations.
← 8. L'association avec F3E au sein de l'Alliance Barefoot permet d’organiser des ateliers, par exemple sur l'évaluation transformative (BGC, 2018).