6. Résultats, évaluation et apprentissage de la Belgique

Afin de mettre en avant sa contribution aux ODD, la DGD souhaite fixer des objectifs à l’échelle de la coopération belge et agréger les données ex post. Cette approche s’écarte de la stratégie suivie sur la période 2015-20, qui concentrait les efforts de la direction sur la mesure des résultats atteints au niveau des pays et territoires partenaires (DGD, 2015[1]). Pour ce faire, la DGD a établi une liste d’indicateurs standards tirés des indicateurs internationaux de développement durable qui mesurent les effets directs (outcome) d’une intervention sur le développement (OCDE, Direction de la coopération pour le développement, 2016[2]). Ces indicateurs repris dans les notes stratégiques sectorielles et thématiques et dans les nouveaux cadres de résultats des portefeuilles pays d’Enabel doivent à la fois servir de boussole à la coopération belge et d’outils de mesure de sa contribution aux ODD – comme proposé dans le projet de recherche « The SDGs as a Compass for the Belgian Development Co-operation » (HIVA-KU Leuven et IOB-UAntwerp, 2020[3]).1

La Belgique devra veiller à ce que le nombre d’indicateurs standards utilisés par les acteurs reste limité : si un nombre élevé d’indicateurs permet de couvrir l’ensemble du portefeuille, cela crée une charge administrative, en interne et pour les partenaires, qui peut s’avérer peu productive et même aller à l’encontre d’une approche centrée sur les résultats qui vise à informer le pilotage stratégique. Les organisations de la société civile ont notamment mis en avant la charge et les ressources nécessaires pour renseigner ces indicateurs standards. Dans la mesure où la plupart d’entre eux ne renseignent pas les problématiques opérationnelles ou stratégiques auxquelles elles font face lors de la mise en œuvre de leur programme, et compte tenu de leurs ressources limitées, cette charge administrative risque d’atténuer la qualité des informations transmises. Par ailleurs, la DGD ne pourra être en mesure de maintenir un nombre réduits d’indicateurs pertinents si les changements attendus par la coopération belge ne sont pas clarifiés, y compris via une logique globale qui précise les changements attendus et met en avant les complémentarités entre ses priorités stratégiques (Chapitre 2).

De plus, la DGD n’a pas encore mis en avant comment les interventions de chaque partenaire de mise en œuvre doivent contribuer à des objectifs partagés, que ce soit à l’échelle du programme de coopération ou au niveau de futures stratégies pays2, à l’exception de la contribution des ACNG aux cadres stratégiques communs3 (Chapitre 5). Ainsi, la recommandation formulée lors de l’examen par les pairs sur la consolidation des résultats reste valide (OCDE, 2015[4]). Dans ce contexte, les efforts en cours pour synthétiser les leçons, expériences et résultats obtenus par l’ensemble des canaux de financement seront cruciaux (Encadré 6.1).

Les efforts de la DGD s’appuient sur une culture des résultats partagée par les acteurs de la coopération belge et reposent sur une responsabilisation accrue de ces derniers. Ainsi, la qualité des systèmes de gestion axée sur les résultats, y compris d’évaluation, fait partie des critères d’accréditation des partenaires de la société civile et de sélection des partenaires multilatéraux (Chapitres 2 et 5). Les obligations de rapportage des acteurs de la société civile mettent en avant une dynamique d’apprentissage par les résultats ne demandant des détails que sur les points jugés peu performants. De même, Enabel est contractuellement responsable de la réalisation de résultats préalablement fixés dans le cadre des portefeuilles pays dont elle devra faire rapport de manière transparente (Royaume de Belgique, 2017[6]).

Malgré ses efforts pour améliorer la mesure des résultats de développement, BIO, l’institution financière de développement belge, communique peu à la DGD les résultats en terme de développement attendus et atteints de chaque investissement ni sur les méthodes de mesure et de suivi. En poursuivant le dialogue engagé avec BIO pour clarifier les raisons d’investir et les théories du changement sous-jacentes à chaque investissement, la DGD sera mieux à même de de s’assurer que ces investissements contribuent aux objectifs de la coopération belge en faveur du développement durable et évitent les impacts indésirables.

Suite à une évaluation de la gestion axée sur les résultats (Enabel, 2018[7]), Enabel est en train de modifier son approche. L’évaluation avait notamment mis en évidence que les mécanismes portaient plus sur la redevabilité vis-à-vis de la DGD que sur l’utilisation des informations sur les résultats à des fins d’apprentissage et de prise de décision. Si le cadre théorique précédent était solide, il se limitait à la mesure des résultats au niveau des projets. Par ailleurs, la culture organisationnelle promouvait essentiellement l’apprentissage individuel, et le manque de capacités ne permettait pas une analyse systématique des informations axées sur les résultats à des fins d’apprentissage ou de décisions. Dans la lignée des recommandations émises, Enabel travaille à simplifier les processus de rapportage et collecte de données à visées de redevabilité et à rééquilibrer les fonctions de la gestion axée sur les résultats afin de renforcer l’utilisation des informations sur les résultats de développement pour l’apprentissage et la prise de décision.

Dotée de flexibilité pour la mise en œuvre de ses portefeuilles pays (Chapitre 4), l’agence dispose en théorie des processus organisationnels pour une programmation et une gestion adaptatives. Un tel mode de gestion est en effet critique dans les contextes fragiles qui représentent la majorité de la coopération bilatérale directe belge. Néanmoins, l’obligation de rapporter annuellement sa contribution à des résultats attendus pré-identifiés et la pression pour démontrer une efficacité après deux à trois ans d’interventions pourraient entrer en contradiction avec la nécessité de développer des approches non linéaires, nécessaire dans des contextes volatiles. Une réflexion conjointe avec la DGD sur l’adaptation possible de la gestion axée sur les résultats dans les contextes fragiles permettra de développer des théories du changement au niveau pays qui, tout en affichant des objectifs à moyen terme réalistes, permettent des modes de gestion flexibles et adaptatifs.

Dans le cadre du partenariat avec les organisations de la société civile, l’utilisation de théories du changement a offert aux partenaires une plus grande flexibilité pour modifier les programmes basés sur l'apprentissage par la mise en œuvre (OECD, 2020[8]).

Le nouveau contrat de gestion entre l’État fédéral et Enabel énonce clairement que l’agence devra utiliser avant tout les cadres et indicateurs de résultats de ses pays et territoires partenaires ou ceux utilisés par les autres bailleurs (Royaume de Belgique, 2017[6]). L’agence est invitée à ne développer des systèmes spécifiques que lorsque les indicateurs n'existent pas, ou que les systèmes ne sont pas pertinents ou sont de qualité insuffisante. Ainsi, le cadre de résultats du portefeuille pays Burkina Faso s’inscrit directement dans celui du Plan national de développement économique et social.

Néanmoins, la part des objectifs de projets alignés sur les priorités des pays et territoires partenaires a considérablement diminué depuis 2016, passant de 94 à 40 %, bien en dessous de la moyenne du CAD (81 %), de même que le recours aux résultats définis par le gouvernement, aux statistiques et aux systèmes de suivi (OECD/UNDP, 2019[9]). Une telle baisse peut s’expliquer partiellement par le fait que la majorité des pays et territoires qui se sont exprimés lors du second cycle de suivi du Partenariat mondial pour une coopération au développement efficace ne bénéficiaient pas d’interventions mises en œuvre par Enabel mais par d’autres partenaires belges4. La question est donc de savoir comment inciter les acteurs belges de la coopération, autres qu’Enabel, à utiliser les systèmes de résultats des pays et territoires partenaires.

Les efforts d’Enabel pour collecter les données désagrégées répondent aux priorités de la Belgique en matière des droits humains. En effet, l’agence collecte des données désagrégées par âge et sexe, reflétant la priorité accordée aux femmes et aux enfants (Chapitre 2). Alors que la Belgique souhaite inscrire au mieux sa coopération dans le Programme à l’horizon 2030, multiplier les critères pour désagréger ces données – tout en utilisant au maximum les données des pays et territoires partenaires – l’aiderait à mieux opérationnaliser le principe de ne laisser personne de côté en s’assurant que les plus démunis sont bien les bénéficiaires de la coopération belge.

Suite aux réformes successives de sa coopération, la Belgique s’est dotée d’un système d’évaluation global qui repose sur les capacités d’évaluation des acteurs de la coopération. Le Service de l’Évaluation spéciale du Service public fédéral (SPF) Affaires étrangères, Commerce extérieur et Coopération au développement a ainsi mis en place un processus de certification et d’évaluation du système de suivi et d’évaluation des acteurs gouvernementaux et non gouvernementaux belges responsables des évaluations à mi-parcours et finales de leurs projets5. Ce mécanisme destiné à garantir la qualité des évaluations permet au Service de l’Évaluation spéciale de se concentrer sur des évaluations auxquelles il apporte une valeur ajoutée de par sa nature transversale, tout en étant en mesure de construire ses analyses sur la base d’évaluations déjà réalisées6. Une telle approche permet également d’assurer un continuum d’évaluations qui couvre des projets, instruments, thématiques, secteurs et pays.

La révision en cours de la politique d’évaluation du SPF Affaires étrangères, Commerce extérieur et Coopération au développement et du plan d’évaluation stratégique d’Enabel pourra être l’occasion de formaliser la nouvelle répartition des rôles entre ces deux institutions. En effet, la politique d’évaluation actuelle (SES, 2014[10]) est antérieure au processus d’accréditation des ACNG et à la création d’une fonction d’évaluation interne au sein d’Enabel. Or, cette nouvelle fonction a vocation à conduire des évaluations des systèmes internes comme des évaluations stratégiques transversales. Ainsi, il existe un risque de confusion quant à savoir qui est responsable des évaluations pays et sectorielles, sachant que l’agence est responsable de l’évaluation des portefeuilles pays qu’elle met en œuvre mais que le Service de l’Évaluation spéciale est seul en mesure d’évaluer tous les canaux de financements de la coopération belge et les programmes mis en œuvre par tous les acteurs de coopération belge dans un pays donné.7 Formaliser la répartition des rôles entre le service de l’Évaluation spéciale et Enabel permettrait de renforcer la complémentarité entre les évaluations, de réduire les risques de duplication et de ne pas briser le continuum d’évaluations.

L’indépendance des évaluations est assurée par le positionnement institutionnel du service de l’Évaluation spéciale, son autonomie budgétaire et de planification, ainsi que par les processus de contrôle mis en place pour chaque évaluation8. Ce service, dirigé par une évaluatrice spéciale sélectionnée par jury indépendant, répond directement au comité de direction du SPF Affaires étrangères, Commerce extérieur et Coopération au développement et rapporte annuellement au Parlement. Il dispose d’un budget propre qui lui permet d’élaborer un programme d’évaluation sur deux ou trois ans qui peut couvrir l’ensemble de l’aide publique au développement belge, après consultation des besoins des parties prenantes.

Un dispositif similaire est en place au sein d’Enabel, dont le nouveau service d'évaluation interne rapporte directement au conseil d'administration. Il sera important que la future fonction dispose d’une indépendance de programmation et de son propre budget pour conduire des évaluations qui répondent aux besoins de connaissance de l’agence et soient complémentaires à celles du Service d’Évaluation spéciale du SPF.

La Belgique joue le jeu du partenariat en ce qui concerne les évaluations. D’après le suivi du Partenariat mondial pour une coopération au développement efficace, les gouvernements des pays et territoires partenaires sont impliqués dans 75 % des évaluations finales des projets et programmes, comparé à une moyenne du Comité d’aide au développement (CAD) de 48 % (OECD/UNDP, 2019[9]). Enabel dispose notamment d’un outil pour mesurer les capacités en évaluation des pays et territoires partenaires. Peu utilisé dans le cadre de la préparation des nouveaux portefeuilles pays, son utilisation plus systématique et dans une version simplifiée est préconisée par la politique de gestion axée sur les résultats de développement, pour les futurs portefeuilles pays. Les évaluations stratégiques conduites par le Service de l’Évaluation spéciale ayant une vocation transversale à la coopération belge, elles impliquent plus rarement les partenaires dans les comités de pilotage.

Disposant de ressources financières et humaines limitées, le Service de l’Évaluation spéciale ne se positionne pas comme bailleur majeur du renforcement des capacités en évaluation mais comme facilitateur. Dans ce cadre, il octroie des bourses à des experts issus d’institutions publiques, de la société civile, des organismes donateurs, du monde académique et du secteur privé de ses pays et territoires partenaires pour participer à des séminaires. Il intervient également dans certains programmes de formation organisés par ses partenaires [ (SES, 2019[11]), (SES, 2018[12]), (SES, 2017[13])]. En sollicitant la candidature d’équipes d’évaluation mixtes, c’est-à-dire qui incluent également des évaluateurs installés localement, ces évaluations participent indirectement au renforcement des capacités d’évaluation dans ces pays et territoires.

Le SPF Affaires étrangères, Commerce extérieur et Coopération au développement est exemplaire dans le suivi des enseignements tirés des évaluations. Chaque évaluation pilotée par le service de l’Évaluation spéciale fait l’objet d’une réponse de la direction rédigée par toutes les parties prenantes à l’évaluation, y compris BIO et Enabel lorsque c’est pertinent, et publiée en ligne. Comme recommandé lors du précédent examen par les pairs (OCDE, 2015[4]), le service assure un suivi de la mise en œuvre des recommandations jusqu’à deux ans après la conduite de l’étude, en appui avec le service Résultats de la DGD pour les engagements qui ont trait au SPF 9. Si les recommandations sont globalement mises en œuvre, la parfaite synchronisation du rendu des évaluations avec les prises de décision stratégique n’est toutefois pas toujours possible du fait de ressources humaines limitées au sein du service de l’Évaluation spéciale. Par exemple, l’évaluation de l’approche belge pour le renforcement du secteur privé n’a été finalisée qu’après l’élaboration d’une nouvelle doctrine gouvernementale sur ces enjeux.

La DGD et Enabel souhaitent toutes deux se positionner comme centres de connaissance et ont lancé de nombreuses initiatives pour améliorer l’apprentissage institutionnel. Une mise à plat de ces initiatives et une réflexion approfondie sur la division des rôles permettraient d’éviter la duplication des efforts, de renforcer la complémentarité des approches, et à la DGD de se positionner comme centre de connaissance stratégique plus que sectoriel.

La DGD souhaite se positionner à la fois comme centre de connaissance et pilote de la coopération belge. Pour ce faire, elle s’appuie sur de nombreux instruments pour extraire et centraliser la connaissance produite par ses partenaires, comme recommandé par l’examen par les pairs de 2015 (OCDE, 2015[4]), mais ces instruments ne sont pas toujours coordonnés. Elle s’est notamment lancée dans un chantier informatique avec le logiciel Power-BI pour extraire d’une base de données partagée des fiches de suivi par thème, secteur, pays et acteurs qui aillent au-delà des informations financières et permettent une vision transverse aux canaux de financements. Cette démarche est utile pour synthétiser les informations et en faciliter la dissémination alors que la DGD repose entièrement sur ses partenaires pour mettre en œuvre son programme de coopération. Ce chantier est complété par la production de documents de connaissance sectoriels (Encadré 6.1), la production de fiches des leçons apprises par les acteurs non gouvernementaux et la mobilisation d’une recherche en appui à la définition de nouvelles politiques (policy supporting research)10. Ces différentes initiatives ont toutefois été lancées de façon ad hoc, sans préciser à quelles fins les connaissances produites seraient utilisées et par qui – au sein de l’administration comme à l’extérieur. Une plus grande clarté sur la stratégie d’apprentissage institutionnel à moyen terme permettrait à la DGD de mieux structurer ces efforts autour de priorités pour que ces connaissances produites soient mobilisées par la suite.

Enabel souhaite également se positionner comme centre de connaissance et d’appui à la définition des politiques. Pour ce faire, la gestion de la connaissance est au cœur de la nouvelle stratégie managériale et repose sur trois niveaux : opérationnel, résultats et apprentissage. À l’heure actuelle, une grande partie de la gestion de la connaissance repose essentiellement sur les échanges directs au sein du personnel : les ateliers organisés au siège regroupant le personnel en poste sur des thématiques particulières, les rencontres biannuelles entre les représentants résidents et les échanges entre les représentations pays et les experts au siège facilitent le partage de connaissance. La forte concentration géographique de la coopération belge sur deux régions, Sahel et Grands Lacs, offre des opportunités d’échanges qui ne sont pas encore pleinement exploitées dans les dynamiques d’apprentissage de l’agence. Afin de formaliser la gestion de la connaissance, Enabel développe également de nouveaux outils, tels que des indicateurs standards (voir section précédente), les « solutions clés » ayant trait aux enjeux globaux identifiés par Enabel et les exercices de capitalisation propres aux interventions pays. Encore en production, leur efficacité n’a pu être analysée par cet examen.

Références

[5] DGD (2020), “Mémorandum de la Belgique - Examen de l’aide par les pairs Comité d’Aide au Développement de l’OCDE”, document de travail, SPF Affaires étrangères, Commerce extérieur, Coopération au développement, Bruxelles.

[1] DGD (2015), “Note stratégique Résultats de développement”, SPF Affaires étrangères, Commerce extérieur, Coopération au développement, Bruxelles, https://diplomatie.belgium.be/sites/default/files/downloads/Note-strategique-Resultats-de-Developpement.pdf.

[7] Enabel (2018), “Les résultats dans le cycle de gestion”, Agence belge de développement, Bruxelles, https://www.enabel.be/sites/default/files/eval_gestion-axee-resultats_rapport.pdf.

[3] HIVA-KU Leuven et IOB-UAntwerp (2020), “The SDGs as a Compass for the Belgian Development Co-operation - Final report”, HIVA-KU Leuven, Leuven, http://repository.uantwerpen.be › docstore › d:irua:551.

[4] OCDE (2015), Examens de l’OCDE sur la coopération pour le développement : Belgique 2015, Examens de l’OCDE sur la coopération pour le développement, Éditions OCDE, Paris, https://dx.doi.org/10.1787/9789264242036-fr.

[2] OCDE, Direction de la coopération pour le développement (2016), “Discussion note : Development Co-operation Under the 2030 Agenda: Results and Relevance”, OCDE, Paris, https://www.oecd.org/dac/results-development/docs/Development_co-operation_under_2030_Agenda.pdf.

[8] OECD (2020), Development Assistance Committee Members and Civil Society, The Development Dimension, OECD Publishing, Paris, https://dx.doi.org/10.1787/51eb6df1-en.

[9] OECD/UNDP (2019), Making Development Co-operation More Effective: 2019 Progress Report, OECD Publishing, Paris, https://dx.doi.org/10.1787/26f2638f-en.

[6] Royaume de Belgique (2017), Arrêté royal portant approbation du premier contrat de gestion entre l’Etat fédéral et la société anonyme de droit public à finalité sociale Enabel, Agence belge de développement, http://www.ejustice.just.fgov.be/mopdf/2017/12/22_1.pdf#Page19.

[11] SES (2019), “Rapport annuel de l’Évaluatrice spéciale de la Coopération belge au développement Mars 2019 : Dépasser les clivages Nord-Sud”, SPF Affaires étrangères, Commerce extérieur et Coopération au Développement, Bruxelles, https://diplomatie.belgium.be/sites/default/files/downloads/rapport_annuel_2019_depasser_les_clivages_nord-sud.pdf.

[12] SES (2018), “Rapport annuel de l’Évaluatrice spéciale de la Coopération belge au d éveloppement Mars 2018 - De l’évaluation de l’aide vers l’évaluation du développement”, SPF Affaires étrangères, Commerce extérieur et Coopération au Développement, Bruxelles, https://diplomatie.belgium.be/sites/default/files/rapport_annuel_evaluatrice_speciale_cooperation_2018.pdf.

[13] SES (2017), “Rapport annuel de l’Evaluatrice spéciale de la Coopération belge au Développement Mars 2017 - Évaluer l’aide au développement : hier et demain”, SPF Affaires étrangères, Commerce extérieur et Coopération au Développement, Bruxelles, https://diplomatie.belgium.be/sites/default/files/downloads/rapport_annuel_de_levaluateur_special_2017.pdf.

[14] SES (2016), “Évaluation de l’appui aux politiques par les acteurs institutionnels”, SPF Affaires étrangères, Commerce extérieur et Coopération au Développement, Bruxelles, https://diplomatie.belgium.be/sites/default/files/downloads/evaluation_de_lappui_aux_politiques_par_les_acteurs_institutionnels.pdf.

[10] SES (2014), “Politique d’évaluation : Tirer des enseignements de l’expérience passée et rendre compte des résultats”, SPF Affaires étrangères, Commerce extérieur et Coopération au Développement, Bruxelles, https://diplomatie.belgium.be/sites/default/files/downloads/politique_evaluation_SES_v2.pdf.

Notes

← 1. Il est également prévu qu’une série d’indicateurs spécifiques aux acteurs de coopération non gouvernementale (ACNG) soit développée une fois les travaux de recherche finalisés.

← 2. La DGD ne s’est pas encore dotée de stratégies pays qui reprennent l’ensemble des activités financées par la Belgique, quel que soit le canal de financement, mais le processus est en phase pilote dans certains pays partenaires.

← 3. Suite à l’introduction de cadres stratégiques communs aux acteurs non gouvernementaux (Chapitre 5), les ONG doivent non seulement rapporter sur les résultats de leurs interventions mais également sur leurs contributions aux résultats des cadres stratégiques communs dont elles font partie.

← 4. Alors qu’en 2016, 12 des 13 participants étaient des pays et territoires partenaires.

← 5. Le processus de certification examine la capacité en évaluation de l’organisation, les processus d’évaluation qu’elle met en œuvre et les rapports d’évaluation qui en découlent. L’utilisation des leçons apprises est également analysée.

← 6. Sur la période 2018-19, le service de l’évaluation spéciale a notamment évalué l’appui au secteur privé par la Coopération belge au Développement, les actions d’éducation au développement, l’impact de la coopération universitaire belge au développement, l‘entrepreneuriat inclusif et durable dans le secteur agricole au Bénin, les stratégies belges de sortie de six pays de la coopération bilatérale directe, ainsi que le Fonds belge pour la Sécurité alimentaire, l’intégration du thème de la sécurité alimentaire et de l’approche multi-acteurs dans le cadre de la Coopération belge au développement.

← 7. Le Service de l’Évaluation spéciale est habilité à évaluer toute activité de l’État fédéral reconnue comme aide publique au développement.

← 8. Pour chaque évaluation qu’il pilote, le service s’assure également de l’absence de conflits d’intérêts dans le choix de l’équipe d’évaluation externe et arbitre entre les commentaires émis par les membres du comité d’accompagnement des évaluations.

← 9. Ce suivi des recommandations est publié dans le rapport annuel de l’évaluatrice spéciale.

← 10. Une évaluation de ce dernier outil (SES, 2016[14]) notait toutefois qu’il servait plus au renforcement de stratégies qu’à l’élaboration de nouvelles politiques et mettait en avant le risque que la DGD ne soit plus à même de formuler des demandes pertinentes et d’utiliser les résultats des recherches alors que ses ressources humaines décroissent.

Mentions légales et droits

Ce document, ainsi que les données et cartes qu’il peut comprendre, sont sans préjudice du statut de tout territoire, de la souveraineté s’exerçant sur ce dernier, du tracé des frontières et limites internationales, et du nom de tout territoire, ville ou région. Des extraits de publications sont susceptibles de faire l'objet d'avertissements supplémentaires, qui sont inclus dans la version complète de la publication, disponible sous le lien fourni à cet effet.

© OCDE 2020

L’utilisation de ce contenu, qu’il soit numérique ou imprimé, est régie par les conditions d’utilisation suivantes : http://www.oecd.org/fr/conditionsdutilisation.