4. Creando un Sistema de Evaluación Sólido para el Plan Estratégico de Nuevo León
En este capítulo se presenta un análisis profundo y comparativo de los mecanismos establecidos para evaluar el Plan Estratégico 2015-2030. Con este fin, en el capítulo se adopta un enfoque sistémico para la evaluación de políticas públicas y se proporciona una visión general del sistema de evaluación del Gobierno de Nuevo León. Incluye un análisis comparativo de la estructura institucional de evaluación de Nuevo León, así como sus herramientas para promover la calidad y el uso de la evaluación. Los resultados obtenidos por la OCDE indican que crear un sistema de evaluación sólido del Plan Estratégico implicará aclarar los recursos disponibles para las evaluaciones, así como su uso previsto, al establecer un marco de políticas para la evaluación. El fortalecimiento de las competencias del Consejo Nuevo León en materia de evaluación también será fundamental para garantizar la calidad de sus evaluaciones.
La evaluación es esencial para comprender si las políticas mejoran y mantienen el bienestar y la prosperidad. Entender qué políticas públicas funcionan, por qué, para quién y bajo qué circunstancias, contribuye a generar ciclos de retroalimentación en el proceso de formulación de políticas. La evaluación de políticas públicas también contribuye de manera fundamental a una gobernanza pública sólida al ayudar a los gobiernos a diseñar y poner en marcha reformas con eficacia y con mejores resultados. Por consiguiente, puede fomentar la rendición de cuentas pública, aumentar la eficacia del sector público y garantizar el avance hacia los objetivos gubernamentales de largo plazo (OECD, 2020[1]). Lo anterior es especialmente pertinente en Nuevo León: la evaluación de políticas públicas y su uso estratégico a lo largo del ciclo de políticas públicas pueden sustentar la planeación estratégica al mejorar los vínculos entre sus intervenciones y resultados e impacto.
En este capítulo se brinda un análisis en profundidad del sistema de evaluación de Nuevo León, que incluye una comparación con las prácticas de los miembros de la OCDE en materia de institucionalización, calidad y uso de la evaluación de políticas. Aquí se adopta un enfoque sistémico para la evaluación de políticas, lo cual propicia un debate pleno de los mecanismos mediante los cuales la evaluación de políticas puede contribuir al ciclo de política, la planeación estratégica y las herramientas de política como la regulación y el presupuesto por resultados en Nuevo León. Proporciona una descripción del marco institucional para la evaluación de Nuevo León, así como sus herramientas para promover su calidad y su uso. Además, enmarca el sistema de evaluación de Nuevo León en un contexto mexicano general, comparándolo con estados seleccionados, como Jalisco y Ciudad de México, entre otros. El análisis de las brechas actuales en el sistema de evaluación de Nuevo León brinda la oportunidad de plantear recomendaciones concretas y precisas de mejora.
La evaluación recoge una preocupación generalizada por mejorar el desempeño del Gobierno y promover la formulación de políticas públicas basadas en evidencia. De hecho, la evaluación de políticas se menciona en el marco legal de una gran mayoría de países y en todos los estados mexicanos (CONEVAL, 2017[2]), incluso a nivel constitucional en algunos casos. Sin embargo, la mayoría de los países de la OCDE también enfrentan retos importantes para promover la evaluación de políticas en todo el Gobierno. También afrontan retos al utilizar los resultados de la evaluación en la formulación de políticas públicas, ya que no se dispone de un enfoque congruente para todo el Gobierno en esta área y se carece de competencias y capacidades adecuadas (OECD, 2020[1]). La creación de un ecosistema de evaluación depende del contexto político y cultural local, así como de los diversos impulsores y objetivos (como mejorar el desempeño presupuestario o comprender mejor el impacto de las políticas sociales). En Nuevo León, se utilizan el monitoreo, la elaboración de presupuestos por resultados y la inclusión de los ciudadanos en el proceso público de toma de decisiones para garantizar la eficacia y la eficiencia del Gobierno y promover la rendición de cuentas. Esto es particularmente cierto en lo que respecta al Plan Estratégico, para el cual se estableció el Consejo Nuevo León para la Planeación Estratégica, con el propósito de asesorar al Estado en materia de planeación estratégica y su evaluación (artículo 7 del Plan Estratégico). Sin embargo, el estado de Nuevo León aún no cuenta con un sistema de evaluación sólido y fuerte como se entiende comúnmente en los países de la OCDE, tanto desde la perspectiva de todo el Gobierno como para su Plan Estratégico. Por ejemplo, el Consejo parece "monitorear" en lugar de "evaluar" el Plan Estratégico. Sin embargo, Nuevo León cuenta con instituciones, partes interesadas y competencias que podrían aprovecharse para establecer un sistema de evaluación sólido.
Un marco institucional sólido para la evaluación puede ayudar a incorporar iniciativas de evaluación aisladas y no planeadas en enfoques más formales y sistemáticos, cuyo objetivo es priorizar y establecer estándares para las metodologías y las prácticas (Gaarder and Briceño, 2010[3]). Un marco institucional puede brindar incentivos para garantizar la realización de evaluaciones de calidad más eficaces. Dicho marco puede también contribuir a mejorar la comparabilidad y la congruencia de los resultados a través del tiempo, las instituciones y las disciplinas (OECD, 2020[1]).
Institucionalizar la evaluación es fundamental para mantener un sistema de evaluación sólido y, en última instancia, obtener buenos resultados. Si bien no hay un enfoque universal sobre cómo los países han procedido a institucionalizar sus prácticas de evaluación, por lo general un marco institucional sólido incluye:
Algunas definiciones claras e integrales de evaluación. De hecho, los datos de la OCDE (OECD, 2020[1]) demuestran que más de la mitad de quienes respondieron la encuesta (27 países) han adoptado una definición formal de lo que es la evaluación de políticas.
Una práctica incorporada en un marco legal y de política. Según datos de la OCDE, la mayoría de los países (29 en total, 23 pertenecientes a la OCDE) han desarrollado un marco legal que orienta la evaluación de políticas públicas, en tanto que la mitad de los países encuestados (21 en total, 17 pertenecientes a la OCDE) han desarrollado un marco de políticas para organizar la evaluación de estas en todo el gobierno (OECD, 2020[1]).
La identificación de actores institucionales con recursos asignados y mandatos para supervisar o llevar a cabo evaluaciones, como ocurre en casi todos los países. Los datos de la OCDE muestran que 40 países (34 de ellos pertenecientes a la OCDE) cuentan al menos con una institución con responsabilidades vinculadas con la evaluación de políticas públicas en todo el gobierno (OECD, 2020[1]).
Orientación a nivel macro sobre quién deberá realiza la evaluación, cuándo y cómo.
Nuevo León persigue varios objetivos complementarios mediante la evaluación
Si bien Nuevo León reconoce la importancia de la evaluación para la rendición de cuentas, no comunica plenamente su valor en lo que se refiere al aprendizaje de políticas. La evaluación de políticas facilita el aprendizaje, pues aclara por qué y cómo una política fue o puede ser exitosa o no, al informar a los responsables de formular políticas públicas las razones y los mecanismos causales que conducen al éxito o fracaso de una política. Asimismo, la evaluación de políticas puede mejorar la transparencia y la rendición de cuentas públicas. De igual manera, legitima el uso de fondos y recursos públicos, ya que brinda a las personas y a otras partes interesadas información sobre si las actividades realizadas por el gobierno, incluida la asignación de recursos financieros, están arrojando los resultados esperados (OECD, 2018[4]). Por consiguiente, el aprendizaje y la rendición de cuentas son objetivos complementarios que Nuevo León puede plantearse expresamente al realizar evaluaciones.
En la actualidad, la función de evaluación del Consejo se centra en aumentar la rendición de cuentas y no en mejorar el aprendizaje sobre políticas públicas. Esto se debe en parte a la combinación de evaluación y monitoreo del Plan Estratégico (véase el Capítulo 2). El informe de evaluación anual de 2016-2017 dedica una sección completa a analizar de qué manera el Consejo promueve la rendición de cuentas al cumplir con su responsabilidad de informar al público sobre los avances del Plan Estratégico y su evaluación. En términos más explícitos, este informe de evaluación se denomina el "primer ejercicio de rendición de cuentas" del Consejo (Nuevo Leon Council, 2017[5]). Por tanto, hay una aparente falta de reconocimiento de los objetivos completos y el valor potencial de la evaluación del Plan Estratégico, que se refuerza aún más porque la Ley de Planeación Estratégica no establece de forma explícita los objetivos para evaluar el Plan Estratégico. La evaluación no se trata solo de rendición de cuentas, sino también de comprender por qué los objetivos se han logrado o no, y qué se puede hacer para mejorar la intervención pública en cuestión.
Dejar claros los objetivos de la evaluación y comunicarlos en la Ley de Planeación Estratégica construiría un entendimiento compartido entre los responsables de tomar decisiones, los y las evaluadores/as y la ciudadanía de la importancia y el propósito de esta herramienta de política.
Las definiciones de evaluación adoptadas en todo el Gobierno de Nuevo León podrían ser más precisas
Según datos de la OCDE, la mayoría de los países pertenecientes a la Organización (23 de 35) tienen una definición (11 países) o varias definiciones (12 países) de lo que es la evaluación (véase la Gráfica 4.1). En algunos casos, dicha definición está incorporada en un documento jurídico. Por ejemplo, Japón define la evaluación en una ley, la Ley de Evaluación de Políticas Gubernamentales (Ley número 86 de 2001), en tanto que Argentina lo hace en el decreto 292/2018, el cual designa al organismo responsable de elaborar y ejecutar el plan anual de monitoreo y evaluación para políticas y programas sociales (2018[92]). Otros países definen la evaluación en guías o manuales, como ocurre en México (Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal (2007[6])), Costa Rica (Manual de Evaluación para Intervenciones Públicas (2018[7])), y Colombia (Guía para la Evaluación de Políticas Públicas (2016[8])).
Nota: n=41 (35 países miembros de la OCDE). Kazajistán respondió que no saben si hay una definición formal de la evaluación de políticas. Las respuestas recogen las respuestas a la pregunta: "¿Tiene su gobierno una definición formal de lo que es la evaluación de políticas?" y "Proporcione la definición (o definiciones) y la referencia a los documentos pertinentes".
Fuente: OECD Survey on Policy Evaluation (2018).
En Nuevo León coexisten dos definiciones de evaluación. En primer lugar, de acuerdo con los Lineamientos Generales del Poder Ejecutivo del Estado de Nuevo León para la Consolidación del Presupuesto por Resultado (PpR) y el Sistema de Evaluación del Desempeño (SED), la evaluación puede definirse como “el análisis sistemático y objetivo de las políticas, los programas presupuestarios y el desempeño institucional, que tiene como objetivo determinar la pertinencia y el logro de sus objetivos y metas, así como su eficiencia, eficacia, calidad, resultados e impacto” (Estado de Nuevo León, 2017[9]).
El hecho de contar con esta definición es un primer paso útil para crear un entendimiento compartido en el seno del sector público de los objetivos, las herramientas y las características de la evaluación de políticas. En segundo lugar, la Ley de Planeación Estratégica aporta una definición específica de evaluación aplicable al Plan Estratégico y la función del Consejo a este respecto (artículo 18). Según dicha ley, el monitoreo y la evaluación se refieren a la medición de la eficacia y la eficiencia de los instrumentos de planeación y su ejecución. Además, señala que estas tareas deben ser realizadas por el Consejo, en colaboración con organismos y entidades de la administración estatal. Sin embargo, esta definición mezcla el monitoreo y la evaluación, que son dos prácticas complementarias pero distintas, con dinámicas y objetivos diferentes (véase el Cuadro 4.1). Desde una perspectiva analítica y práctica, al mezclar las prácticas de monitoreo y evaluación en una sola definición, las disposiciones relacionadas con ellas no resultan claras.
De hecho, el término monitoreo de políticas públicas se refiere a una función continua que utiliza la recopilación sistemática de datos de indicadores específicos para brindar a los responsables de formular políticas públicas y a las partes interesadas, información sobre los avances y los logros de una iniciativa de política pública en curso y/o sobre el uso de fondos asignados (OECD, 2016[11]; OECD-DAC, 2009[12]). Por su parte, el término de evaluación de políticas públicas se refiere a la evaluación estructurada y objetiva del diseño, la aplicación y/o los resultados de una iniciativa de política futura, en curso o concluida. Su propósito es sopesar si los objetivos de las políticas son pertinentes y se cumplen, así como evaluar dimensiones como la eficiencia, eficacia, impacto o sostenibilidad de las políticas públicas. Por consiguiente, la evaluación de políticas públicas se refiere al proceso de determinar el valor o la importancia de una de ellas (OECD, 2016[11]; OECD-DAC, 2009[12]). En consecuencia, en tanto que el monitoreo es descriptivo y constituye una fuente importante (aunque no exclusiva) de información que puede utilizarse en el contexto de una evaluación, la evaluación de políticas públicas es una actividad diferente orientada a analizar y comprender los vínculos de causa-efecto entre una intervención de política y sus resultados.
La falta de una definición clara y exhaustiva aplicable al Plan Estratégico menoscaba la capacidad de la administración pública estatal y del Consejo de fomentar y mantener un sistema de evaluación sólido. Tener una definición clara e integral de lo que es la evaluación sensibilizaría a los profesionales y a las partes interesadas por igual, aclarando los objetivos y los métodos de evaluación en comparación con otras prácticas similares (como monitoreo, revisiones de gastos, gestión del desempeño, entre otras).
Por tanto, es recomendable que Nuevo León actualice la Ley de Planeación Estratégica y/o su reglamento para incluir dos definiciones distintas de monitoreo y evaluación. Para ello, podría utilizar o referirse a la definición ya existente en los Lineamientos Generales del Poder Ejecutivo para la Consolidación del Presupuesto por Resultados y el Sistema de Evaluación del Desempeño.
Al igual que la mayoría de los países de la OCDE, Nuevo León ha integrado la evaluación de su Plan Estratégico en un marco legal
Otro componente clave de la institucionalización de la evaluación de políticas es el acceso a un marco legal o de política pública, pues brinda una base legal clave para realizar evaluaciones, así como una guía sobre cuándo y cómo llevarlas a cabo. Los marcos legales y de política pública también pueden determinar formalmente los actores institucionales, sus mandatos y los recursos necesarios para supervisar y llevar a cabo evaluaciones (OECD, 2020[1]).
Hay varias vías para la institucionalización legal de las prácticas de evaluación. Como se aprecia en la encuesta de la OCDE (2018), la necesidad de una evaluación de políticas se reconoce al más alto nivel, y casi todos los países tienen requisitos para la evaluación en su legislación primaria y secundaria, y en ocasiones incluso en su Constitución. Por ejemplo, México tiene disposiciones relacionadas con la evaluación de políticas incorporadas en los tres niveles. El Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) es un ejemplo de institución responsable de la evaluación cuyos mandatos están inscritos en varios órdenes jurídicos (véase el Recuadro 4.1).
Creación e integración de CONEVAL en un marco legal multinivel:
El Consejo Nacional de Evaluación de Políticas de Desarrollo Social (CONEVAL), fue creado en 2004 al promulgarse la Ley General de Desarrollo Social. Dicha ley, dirigida a crear un sistema de monitoreo y evaluación en México, estableció al CONEVAL como un organismo descentralizado con autonomía presupuestaria, técnica y de gestión, encargado de medir la pobreza y evaluar la política de desarrollo social.
Además, la Ley Federal de Presupuesto y Responsabilidad Hacendaria (2006), que estableció el Sistema de Evaluación del Desempeño y los Lineamientos Generales de Evaluación, ordenó la coordinación entre CONEVAL y otras entidades encargadas de la evaluación en la administración pública federal.
La Constitución Política de los Estados Unidos Mexicanos se enmendó en 2014, con un decreto que definió al CONEVAL como un órgano constitucional autónomo con personalidad jurídica y patrimonio propios. En consecuencia, tiene el mandato de establecer normas, coordinar los ejercicios de evaluación de la Política Nacional de Desarrollo Social y sus acciones subsidiarias, así como establecer lineamientos para definir, identificar y medir la pobreza. En la práctica, la entidad lleva a cabo o contrata evaluaciones de las políticas sociales desarrolladas por el Gobierno mexicano.
Fuente: Adaptado de (Cámara de Diputados del H.Congreso De la Unión, 2018[13]) Ley Federal de Presupuesto y Responsabilidad Hacendaria [Ley General de Desarrollo Social] ; y (Cámara de Diputados del H.Congreso De la Unión, 2020[14]) Constitución Política de los Estados Unidos Mexicanos.
En el orden estatal, los datos del CONEVAL recabados en 2017 muestran que todas las entidades federativas de México cuentan con un instrumento normativo que establece obligaciones relacionadas con la evaluación de políticas y programas sociales, lineamientos para la realización de evaluaciones y requisitos para publicar sus resultados (CONEVAL, 2017[2]).
Nuevo León es uno de esos estados que ha implementado un marco legal para la evaluación, como parte de su Sistema de Gestión Basado en el Desempeño (“Gestión para Resultados”), en consonancia con los lineamientos nacionales. De hecho, desde la Ley Federal de Presupuesto y Responsabilidad Hacendaria (LFPRH) de 2006, México ha hecho la transición a un Sistema de Gestión Basada en Resultados. Un paso importante fue la puesta en marcha de un proceso de presupuesto por resultados (PpR), orientado a vincular las asignaciones con el logro de resultados específicos, y el desarrollo de un Sistema de Evaluación del Desempeño (SED). El SED se define como un conjunto de instrumentos metodológicos utilizados para realizar evaluaciones objetivas del desempeño y los efectos del programa con base en el monitoreo de acciones y el uso de indicadores (SHCP, 2018[15]).
A nivel nacional, las principales instituciones responsables de la implementación del sistema RBB-SED son la Secretaría de Hacienda y Crédito Público (SHCP) y el CONEVAL. Creado en 2008, el Consejo Nacional de Armonización Contable (CONAC) también desempeña una función importante a nivel federal y municipal. Tiene a su cargo la emisión de normas contables y el establecimiento de lineamientos sobre la clasificación de programas y la estructura de las cuentas públicas.
Nuevo León y los demás estados mexicanos son regidos por los marcos nacionales. En particular, los párrafos 1 y 2 de la Constitución mexicana establecen que los recursos no son evaluados por una unidad independiente, sino por las instancias establecidas por el Gobierno Federal y los estados. Este proceso de evaluación se lleva a cabo mediante un Programa Anual de Evaluación (PAE) ideado por cada estado, el cual establece una lista de programas y fondos que deberán evaluarse en el transcurso del año.
En Nuevo León, la Secretaría de Finanzas y Tesorería General del Estado elabora el Programa Anual de Evaluación en coordinación con la Contraloría. En 2020 se evaluarán 25 programas, como el “Nuevo León Respira”, programa monitoreado por la Secretaría de Desarrollo Sustentable. En 2019 se publicaron los informes finales de 13 evaluaciones en el sitio web de Nuevo León (Gobierno de Nuevo Leon, 2020[16]).
El PAE especifica qué tipo de evaluación deberán realizar (diseño, procesos, resultados o impacto) las unidades administrativas, juzgados o instituciones designadas. Deben seguir los lineamientos establecidos por el CONEVAL y la Secretaría de Finanzas, la cual, a su vez, se encarga de coordinar las evaluaciones y de monitorear la selección de evaluadores externos (institutos de investigación, universidades, organizaciones de desarrollo, entre otros). Nuevo León ha puesto en marcha un mecanismo de respuesta de gestión para las evaluaciones realizadas dentro del Programa Anual de Evaluación. Las entidades administrativas deberán tomar en cuenta las recomendaciones de la evaluación (“Aspectos Susceptibles de Mejora”), mediante la implementación de un Plan de Acción para la Mejora de la Gestión (PAMGE).
La evaluación específica del Plan Estratégico está incorporada en la legislación primaria, el nivel más común elegido entre los países miembros de la OCDE y los no pertenecientes a la Organización. En particular, la evaluación del Plan Estratégico está incorporada en la Ley de Planeación Estratégica del estado, el principal documento de legislación que organiza y sustenta al Plan Estratégico. La ley también se acompaña de normas destinadas a regular sus disposiciones.
La ley y su reglamento dan al Consejo el mandato claro e integral de llevar a cabo la evaluación del Plan Estratégico, en una serie de aspectos diferentes:
El artículo 7 de la ley establece que el Consejo será un órgano asesor del Ejecutivo estatal en materia de planeación estratégica y evaluación, y especifica los actores que integran dicho Consejo.
En cuanto a la asignación de evaluaciones a evaluadores externos, el artículo 9 del reglamento también menciona que las comisiones pueden contratar personal adicional en función de la evaluación por realizar y la disponibilidad de recursos.
El artículo 19 de la ley establece que el Consejo debe evaluar anualmente los resultados del Plan Estratégico y del Plan Estatal de Desarrollo, con base en la evolución de los proyectos estratégicos y programas prioritarios, así como la medición de la actividad económica y social.
En lo referente al uso de los resultados de la evaluación, el artículo 21 de la ley estipula que los resultados de las evaluaciones de desempeño realizadas por el Consejo se presentarán a la Jefatura del Ejecutivo, y el artículo 22 bis especifica que deben enviarse al Congreso del Estado después de que se adopten las decisiones tras implementar las recomendaciones de la evaluación.
En Nuevo León, falta orientación a nivel macro sobre quién lleva a cabo las evaluaciones del Plan Estratégico 2015-2030 y cuándo se deberían realizar
Contar con un marco legal para evaluar el Plan Estratégico, en forma de ley primaria acompañada de normativa, demuestra la importancia que el estado de Nuevo León confiere a esta práctica, dentro del Consejo y en todo el Gobierno. Sin embargo, la presencia de un marco de este tipo no basta para sostener un sistema de evaluación sólido. De acuerdo con la evaluación del Plan Estratégico, un sistema de evaluación sólido debe especificar qué hay que evaluar, los actores involucrados, sus mandatos, el cronograma, la metodología y las herramientas para hacerlo.
El artículo 19 de la Ley de Planeación Estratégica establece que el Consejo debe evaluar el Plan Estratégico cada año. Sin embargo, dado el gran alcance y el número de objetivos que tiene, no es posible evaluar en su totalidad el Plan Estratégico —ni siquiera un solo objetivo amplio de este— en un año. La realización de una evaluación adecuada requiere tiempo, una cantidad considerable de recursos y, lo más importante, el respaldo de una metodología clara.
Una evaluación adecuada requeriría un enfoque más focalizado. El Consejo tendrá que definir un número limitado de evaluaciones por efectuar en un año determinado, las cuales deberán centrarse principalmente en cómo las políticas o programas concretos que el Gobierno está implementando contribuyen al logro de los objetivos de un plan específico. Para ello, es preciso que el Consejo desarrolle un cronograma especial para las evaluaciones (por ejemplo, para la recopilación de datos, la entrega del informe de evaluación, entre otras). Otro elemento medular que actualmente carece de cualquier forma de metodología es la manera como se deben comunicar las recomendaciones basadas en los resultados de la evaluación (sobre todo a la administración pública estatal) y qué tipos de respuestas formales, si las hay, deberán darse después. Por ejemplo, el marco legal de Jalisco contiene un amplio conjunto de disposiciones, incluida la planeación de la evaluación; los criterios para la realización y publicación de evaluaciones, y el monitoreo de resultados, entre otros (véase el Recuadro 4.2).
Jalisco, al igual que las demás entidades federativas de México, cuenta con un marco legal que establece obligaciones para evaluar políticas y programas sociales, así como con lineamientos que incluyen criterios para realizar evaluaciones y publicarlas junto con sus resultados. Sin embargo, Jalisco se destaca por ser el único estado que también cuenta con instrumentos legales que incluyen disposiciones sobre planeación de la evaluación y monitoreo de los resultados de la evaluación. El marco legal del estado también estipula los objetivos de la evaluación, el uso de los resultados de esta para las decisiones presupuestarias, los actores de la evaluación y la definición de indicadores (EVALUA Jalisco, 2017[17]). Precisamente, en términos de:
Planeación de la evaluación: el plan de evaluación de Jalisco especifica los programas que se evaluarán, los tipos de evaluación aplicables y los plazos en los que habrá que emprender las evaluaciones.
Publicación de evaluaciones: el marco legal de evaluación de Jalisco requiere la publicación de evaluaciones, incluida la información sobre los responsables de la evaluación y los evaluadores, el costo y propósito de la evaluación, la metodología utilizada, los principales resultados, las recomendaciones y un resumen ejecutivo. En la práctica, y de acuerdo con esto, el estado publica las evaluaciones y sus resultados.
Monitoreo de los resultados de la evaluación: el marco legal de Jalisco incluye disposiciones sobre el uso de los resultados de la evaluación. En concreto, una evaluación debe especificar las acciones que se emprenderán, los plazos, los actores responsables y los mecanismos de coordinación.
El principal instrumento legal del estado son los Lineamientos Generales para el Monitoreo y Evaluación de los Programas Públicos del Gobierno de Jalisco, que contiene definiciones y disposiciones sobre los programas por evaluar, los actores responsables y el proceso de evaluación, los tipos y los alcances de evaluación, la comunicación y el uso de los resultados (Gobierno del Estado de Jalisco, 2017[102]). Estos se describen en detalle en el Recuadro 4.4.
Fuente: (EVALUA Jalisco, 2017[17])
El Consejo podría considerar establecer expresamente los mandatos y el carácter oportuno de las evaluaciones en un marco de políticas públicas
Para garantizar la calidad y el buen uso de la evaluación es importante planearla adecuadamente. De hecho, muchos investigadores hacen hincapié en la importancia de la puntualidad de los resultados de la evaluación para fomentar su uso en la toma de decisiones (Leviton and Hughes, 1981[18]): el consenso es que las evaluaciones deben pensarse con mucha anticipación y el proceso de evaluación debe planearse minuciosamente. Los Lineamientos Generales del Poder Ejecutivo del Estado de Nuevo León para la Consolidación del Presupuesto por Resultado (PpR) y el Sistema de Evaluación del Desempeño (SED) señalan a la administración pública estatal cuándo realizar evaluaciones que se vinculen con la programación presupuestaria (Estado de Nuevo León, 2017[9]).
Muchos marcos nacionales de evaluación contienen disposiciones sobre el propósito, el alcance (plazo de tiempo, población objetivo, entre otras) y los objetivos de las evaluaciones. En Nuevo León, los lineamientos mencionados presentan una definición útil de los diferentes tipos de evaluaciones, sus objetivos y sus metodologías (véase el Recuadro 4.3).
En sus Lineamientos Generales del Poder Ejecutivo del Estado de Nuevo León para la Consolidación del Presupuesto por Resultado (PpR) y el Sistema de Evaluación del Desempeño (SED), el Ejecutivo del estado de Nuevo León aporta una tipología de evaluación. En los lineamientos se declara que deben aplicarse diferentes tipos de evaluaciones a lo largo del Programa Anual de Evaluación:
Evaluación del diseño: analiza el orden del programa presupuestario, considerando su definición de propósito y sus objetivos, sus productos (bienes y servicios generados por el programa y entregados a la población objetivo), las actividades identificadas como necesarias para generar los productos, los supuestos de acuerdo con los cuales se desarrollaron los objetivos del programa, así como el problema que dio origen al programa y de qué manera ha evolucionado como elemento de diagnóstico. Se recomienda su aplicación para programas presupuestarios de nueva creación que se han ejecutado durante uno o dos años.
Evaluación de procesos: analiza los procesos operativos (actividades) desarrollados con el fin de transformar insumos en bienes y servicios públicos con valor público para la población objetivo. Optimiza dichos procesos para lograr mejores resultados del programa (eficacia, eficiencia). Asimismo, genera información para mejorar la gestión operativa de los programas. Se recomienda aplicarlo durante el tercer año de funcionamiento de un programa presupuestario.
Evaluación de la congruencia y los resultados: analiza la congruencia del programa presupuestario o el uso de los recursos estatales; el gasto federalizado programable en términos de su diseño y planeación estratégica; la cobertura, la focalización, la operación y la percepción de la población objetivo, y los resultados obtenidos.
Evaluación específica del rendimiento: basada en un estudio resumido, analiza el rendimiento del programa presupuestario, centrándose en el avance en el logro de objetivos y metas mediante el monitoreo de los indicadores de desempeño.
Evaluación de impacto: analiza, con metodologías rigurosas, la eficiencia y eficacia de los programas presupuestarios, el uso de recursos estatales, el gasto federalizado programable, así como la satisfacción del usuario. El análisis incluye aspectos cuantitativos y cualitativos e identifica el efecto que los bienes y los servicios ejercen sobre los beneficiarios una vez que los utilizan.
Fuente: (Estado de Nuevo León, 2017[9])
Sobre la base de las directrices y definiciones vigentes de la administración pública estatal, el Consejo podría desarrollar un marco de evaluación, con el fin de especificar qué tipo de evaluaciones realizará, con qué propósito, con qué recursos y en qué plazo. Esto puede ayudar a apoyar la implementación de la evaluación de la calidad y brindar orientación y claridad de alto nivel para las instituciones al trazar las mejores prácticas y los objetivos generales.
Desarrollar marcos de políticas de evaluación o los requisitos para que las instituciones gubernamentales realicen evaluaciones periódicas de sus políticas es una práctica común (OECD, 2020[1]). Estos marcos operan en España, donde se dispone de un plan de acción para la revisión del gasto y un plan anual de impacto normativo. Asimismo, desde 2017, México publica un programa de evaluación todos los años. Como punto interesante, los datos de CONEVAL muestran que en 2017, 30 entidades federativas planearon sus evaluaciones, entre ellas 16 entidades que han actualizado sus planes de evaluación en los últimos dos años, especificando los programas por evaluar, los tipos de evaluación aplicables y los plazos para llevarlos a cabo (CONEVAL, 2017[2]). Otro ejemplo relevante a nivel subnacional que podría servir de modelo son los Lineamientos Generales para el Monitoreo y Evaluación de los Programas Públicos del Gobierno de Jalisco (véase el Recuadro 4.4). Como punto interesante, el estado de Jalisco cuenta con una estrategia de evaluación (Evalúa Jalisco), cuya implementación es apoyada por un consejo técnico (Consejo Evalúa Jalisco) integrado por académicos y expertos en la evaluación de políticas públicas a nivel nacional y local (Estado de Jalisco, 2019[19]).
Estos lineamientos aportan las bases técnicas para la implementación de los métodos, lineamientos y procedimientos de la Estrategia Estatal de Monitoreo y Evaluación de los programas y políticas públicas ejecutados por el estado de Jalisco (EVALUA Jalisco, 2020[20]).
En términos más precisos, los lineamientos incluyen elementos pertinentes para la implementación de un plan o estrategia de evaluación (EVALUA Jalisco, 2017[17]):
Definiciones: incluye definiciones de entidades de evaluación externa e interna, evaluación, indicadores (resultados, gestión y desempeño), monitoreo, programa público, términos de referencia, unidades de evaluación.
Objetos de evaluación: incluye instrumentos de planeación, programas presupuestarios, entre otros, que deben ser objeto de evaluación.
La ejecución de evaluaciones: incluye el proceso de evaluación (planeación, selección del evaluador externo, monitoreo y verificación de los productos de evaluación, elaboración de una agenda de mejora). También contiene indicaciones sobre los términos de referencia (quién los redacta y qué información contienen; es decir, objeto de la evaluación, objetivos, tipo de evaluación, metodología, fuentes de datos, producto esperado, criterios de selección de evaluadores externos), financiamiento de la evaluación y selección de evaluadores externos.
Los tipos y el alcance de la evaluación: incluye información sobre la evaluación interna y externa, y otros tipos de evaluación (de proceso, resultados, impacto, entre otros).
Los informes de evaluación: incluye resumen ejecutivo, recomendaciones derivadas de los resultados de la evaluación (ordenados por prioridad para lograr la mejora), y las implicaciones técnicas, operativas, financieras y legales de la implementación de las recomendaciones.
Fuente: (EVALUA Jalisco, 2017[17]) (EVALUA Jalisco, 2020[20])
El Consejo Nuevo León podría incluir varios tipos de evaluaciones en su marco de políticas. De hecho, más allá de la evaluación del impacto de los objetivos de las políticas, el Consejo quizá podría también realizar evaluaciones de diseño. Estas permitirían al Consejo brindar apoyo a la administración pública estatal en la elaboración de planes de acción relacionados con la implementación del Plan Estratégico. En particular, dichas evaluaciones permitirían al estado identificar las incongruencias existentes en las condiciones para el financiamiento y la puesta en marcha de los planes de acción con metas medibles y evaluables.
Por último, el Consejo podría establecer si habrá algún mecanismo formal de respuesta a las evaluaciones que realizará, así como a los Planes de Acción de Mejoramiento de la Gestión del SED. En concreto, podría distinguir entre:
Evaluaciones del Plan Estratégico realizadas sobre la base del mandato del Consejo y de su propia iniciativa, para las cuales no se necesitaría ningún mecanismo formal de respuesta.
Evaluaciones a solicitud de la administración pública estatal, en las que un mecanismo formal de respuesta de la administración al Consejo puede servir para asegurar un mayor uso de la evidencia de la evaluación. El Consejo también podría compartir estas evaluaciones con el Congreso con fines informativos. La Comisión de Productividad de Australia es un ejemplo de dicho mecanismo (véase el Recuadro 4.5).
La Comisión de Productividad del gobierno australiano es un organismo autónomo de investigación y asesoramiento que se enfoca en diversos asuntos económicos, sociales y ambientales que afectan el bienestar de sus ciudadanos y ciudadanas. A petición del Gobierno de Australia, proporciona asesoramiento e información independientes y de calidad sobre aspectos regulatorios y de políticas clave. También lleva a cabo investigaciones por iniciativa propia para ayudar al Gobierno en sus informes de desempeño y sus informes anuales, y actúa como secretaría del Consejo del Gobierno australiano en la revisión intergubernamental de la prestación de servicios gubernamentales.
La comisión pertenece a la cartera de tesorería del Gobierno y sus actividades abarcan todos los niveles de gobierno. No tiene poder ejecutivo y no administra programas gubernamentales. No obstante, la Comisión sustenta con eficacia la formulación de políticas y el debate público gracias a las tres características siguientes:
Independencia: opera bajo su propia legislación y su independencia se formaliza mediante la ley de la Comisión de Productividad. Además, tiene su propia asignación presupuestaria y personal permanente que trabaja por separado de los organismos gubernamentales. Aunque en gran medida el programa de trabajo de la comisión es definido por el Gobierno, sus resultados y su asesoramiento siempre se derivan de sus propios análisis.
Procesos transparentes: todo el asesoramiento, la información y los análisis generados y suministrados al Gobierno están sujetos al escrutinio público a través de foros consultivos y la publicación de conclusiones preliminares y borradores de informes.
Perspectiva de toda la comunidad: según sus directrices estatutarias, la Comisión debe adoptar una visión que abarque los intereses de toda la comunidad australiana y no intereses particulares.
Fuente: Australian Government. “About the Commission” y “How we operate”. Consultado el 2 de septiembre de 2019. https://www.pc.gov.au/about , https://www.pc.gov.au/about/operate.
La calidad y el uso de las evaluaciones son esenciales para asegurar su efecto en la formulación de políticas y, por tanto, en la capacidad de las evaluaciones de servir como herramientas para el aprendizaje, la rendición de cuentas y una mejor toma de decisiones. Sin embargo, tanto la calidad como el uso se reconocen ampliamente como algunos de los retos más importantes afrontados por los responsables de formular políticas y los profesionales en esta área. Esto se debe a una combinación de brechas de habilidades, descuidos heterogéneos en los procesos de evaluación y mecanismos insuficientes para el control de calidad y la capacidad de recabar evidencia (OECD, 2020[1]).
Asimismo, la calidad y el uso de las evaluaciones están intrínsecamente relacionados, lo que aumenta su importancia para los responsables de formular políticas públicas. El uso puede considerarse un factor clave de la calidad, ya que la medida en la cual una evaluación cubre las necesidades de diferentes grupos de usuarios determina su calidad (Patton, 1978[21]; Kusters et al., 2011[22]; Vaessen, 2018[23]). De igual manera, las evaluaciones que se apegan al estándar de calidad de idoneidad —es decir, evaluaciones que abordan múltiples consideraciones políticas, que son útiles para alcanzar objetivos de políticas y considerar posibles alternativas, así como el contexto local— son por definición más útiles para los prospectos de usuarios.
La calidad también debe propiciar un mayor potencial de uso. En la medida en que las evaluaciones de buena calidad gocen de mayor credibilidad, es probable que se les dé más peso en la toma de decisiones. Igualmente, es probable que los datos no utilizados se vean afectados porque no están sujetos a cuestionamientos críticos. Sin embargo, en la práctica, es importante reconocer que la calidad puede relacionarse con una mayor complejidad de los resultados, debido a los requisitos metodológicos y limitaciones en el uso de métodos cuantitativos, que en ocasiones pueden provocar que los resultados sean difíciles de entender e interpretar para un público no especializado (OECD, 2020[1]).
El Consejo podría desarrollar mecanismos de aseguramiento y control de calidad
La mayoría de los países de la OCDE han desarrollado uno o varios mecanismos explícitos para fomentar la calidad técnica de las evaluaciones (OECD, 2020[1]). Por un lado, los mecanismos de aseguramiento de la calidad se proponen apuntalar la credibilidad de la forma como se realiza la evaluación, es decir, que el proceso de evaluación de una política respete determinados criterios de calidad. Por otro lado, los mecanismos de control de calidad velan por que el diseño, la planeación y la ejecución de la evaluación se hayan realizado correctamente para cumplir con los criterios de calidad predeterminados. En ese sentido, las herramientas de control de calidad se aseguran de que el producto final de la evaluación (el informe) cumpla con una determinada norma de calidad. Ambos son elementos clave para garantizar la solidez de las evaluaciones de políticas públicas (HM Treasury, 2011[24]).
En Nuevo León, las comisiones del Consejo están integradas en parte por expertos en la materia, que podrían movilizarse para asegurar la calidad de las evaluaciones. Sin embargo, el Consejo no cuenta en la actualidad con mecanismos explícitos de aseguramiento de la calidad (estándares de calidad para el proceso de evaluación, requisitos de competencia o mecanismos de desarrollo de competencias, medidas organizacionales para fomentar la calidad) o mecanismos de control (revisiones del producto de evaluación realizadas por pares, metaevaluaciones, herramientas y listas de verificación para autoevaluación, auditorías de la función de evaluación). El Consejo podría desarrollar uno de los mecanismos de aseguramiento o control de la calidad que se presentan a continuación, o varios.
Según datos de la OCDE, la mayoría de los países encuestados han desarrollado estándares relacionados con la calidad técnica de la evaluación y con su buena gobernanza. Los estándares son una forma de aseguramiento de la calidad, ya que permiten que la evaluación se lleve a cabo como es debido o velan por que el proceso respete ciertos criterios de calidad preestablecidos. En muchos países, los estándares para evaluaciones de buena calidad están integrados en directrices, esto es, documentos o recomendaciones no vinculantes cuyo objetivo es ayudar a los gobiernos a diseñar e implementar una política y/o práctica (los ejemplos incluyen libros blancos y manuales).
Las organizaciones internacionales también han adoptado dichas directrices con miras a establecer estándares para evaluaciones de calidad y principios adecuados para su supervisión (United Nations Evaluation Group, 2016[25]). En la OCDE, los Estándares de Calidad para la Evaluación del Desarrollo del CAD (Comité de Ayuda al Desarrollo) (OECD, 2010[26]) incluyen consideraciones generales sobre la ética de la evaluación y la transparencia en el proceso de evaluación, así como lineamientos técnicos para el diseño, la realización y el monitoreo de las evaluaciones de desarrollo por parte de los países. De igual forma, los Principios de Evaluación del Grupo del Banco Mundial establecen los principios de evaluación medulares para seleccionar, llevar a cabo y utilizar evaluaciones (World Bank et al., 2019[27]) con el fin de garantizar que todas las evaluaciones del Grupo sean sólidas y confiables desde el punto de vista técnico.
Determinadas entidades subnacionales también han desarrollado directrices. Por ejemplo, a nivel estatal, Queensland, en Australia, tiene sus Lineamientos de evaluación de programas gubernamentales, los cuales describen un conjunto de principios para respaldar la planeación y la puesta en marcha de la evaluación de programas financiados por el Gobiernoo estatal (véase el Recuadro 4.6).
El estado australiano de Queensland cuenta con directrices de evaluación que establecen los requisitos mínimos que deben cumplir los encargados de planear, implementar y administrar evaluaciones de programas financiados por el Gobierno. Dichas directrices describen principios orientados a fomentar la calidad de las evaluaciones, tanto en aspectos de gobernanza como técnicos.
Asegurar la buena gobernanza de las evaluaciones:
Con una introducción que contiene varias definiciones y los objetivos de la evaluación, en las directrices se explican los pasos clave en la planeación de una evaluación, con un enfoque particular en la definición de su propósito y sus resultados. También describen consideraciones prácticas respecto de la gobernanza de la evaluación, como la determinación de funciones, responsabilidades y recursos adecuados para los funcionarios públicos que planean y realizan la evaluación.
Garantizar la calidad técnica de las evaluaciones:
Las directrices se adjuntan a indicaciones concretas y prácticas sobre enfoques de evaluación y recopilación de datos. El primer anexo presenta orientación detallada y recursos adicionales para diseñar, implementar y entregar evaluaciones eficaces y eficientes. El segundo anexo sobre la recopilación de datos de evaluación describe diferentes tipos de métodos de recopilación de datos, recomendaciones para seleccionar el método correcto y más recursos.
Fuente: (Queensland Government Statistician’s Office, 2020[28])
En 2017, todas las entidades federativas mexicanas contaban con uno o varios instrumentos en los que se describían ciertos criterios de calidad para efectuar evaluaciones. Entre ellos se encuentran los estados de Quintana Roo y Yucatán, que han desarrollado estándares relativos a las competencias del evaluador, los tipos de evaluación y la planeación de la evaluación (CONEVAL, 2017[2]) (véase el Recuadro 4.7).
Quintana Roo cuenta con lineamientos y criterios para llevar a cabo y coordinar evaluaciones, los cuales establecen los diferentes tipos de evaluaciones por realizar, el uso de los resultados de la evaluación, la frecuencia con la que deben realizarse las evaluaciones y los requisitos específicos que deben cumplir los evaluadores (CONEVAL, 2018[29]). Por ejemplo, los Estándares de Quintana Roo para la difusión de resultados de evaluación de recursos federales administrados a entidades federales (CONAC, 2015[30]) plantean diversas recomendaciones sobre lo siguiente:
Programa anual de evaluación: debe establecer los programas sujetos a evaluación, los tipos de evaluación que aplican y un calendario para su ejecución.
Encargo de la evaluación: el encargo, el funcionamiento y la supervisión de la evaluación deberán ser objetivos, imparciales, transparentes e independientes.
Redacción de los Términos de Referencias: estos deberán incluir los objetivos, los alcances, las metodologías, los perfiles de evaluadores y los productos esperados de la evaluación.
Yucatán cuenta con diversas normativas sobre los procesos de evaluación emprendidos en los estados, orientados a fortalecer los mecanismos para la realización de evaluaciones de calidad, sistemáticas y participativas (Estado de Yucatán, 2019[31]). Por ejemplo, los Lineamientos Generales del Sistema de Monitoreo y Evaluación del Desempeño del estado (Estado de Yucatán, 2016[32]) incluyen los siguientes:
Requisitos para la contratación de evaluadores externos: por ejemplo, experiencia reconocida en el tipo de evaluación que se realizará, presentación de una propuesta de trabajo que incluya el objetivo de la evaluación, la metodología, los perfiles de los evaluadores que conforman el equipo evaluador, entre otros.
Definición de tipos de evaluación y sus objetos de aplicación: por ejemplo, desempeño, desarrollo, estrategia, proceso, congruencia y resultados, y evaluación de impacto.
Recomendaciones sobre la metodología de evaluación: la Secretaría Técnica es responsable de aprobar las metodologías aplicables en las evaluaciones externas e internas. Los lineamientos también recomiendan que los instrumentos para recabar información (cuestionarios, entrevistas, entre otros) sean adecuados y relevantes.
Fuente: (CONEVAL, 2017[2]), (CONAC, 2015[30]), (CONEVAL, 2018[29]), (Estado de Yucatán, 2019[31]), (Estado de Yucatán, 2016[32])
Las directrices desarrolladas por los países abordan una gran variedad de temas específicos, como el diseño de enfoques de evaluación, el plan de acción para encargar evaluaciones, la planeación de evaluaciones, el diseño de métodos de recopilación de datos, las metodologías de evaluación o la conducta ética de los evaluadores. En el Cuadro 4.2 presentado a continuación se ofrece una descripción general de los diferentes estándares de calidad, en términos de gobernanza y calidad, que los países miembros y no miembros de la OCDE incluyeron en sus directrices.
En Nuevo León, respecto al Programa Anual de Evaluación (PAE) de la SED, la evaluación de cada programa deberá seguir varios lineamientos y buenas prácticas definidas a nivel nacional y estatal. Por ejemplo, el CONEVAL ha elaborado los Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal que establecen los diferentes tipos de evaluaciones por realizar, el uso de una matriz de indicadores, la frecuencia con la que deberán efectuarse las evaluaciones, entre otros (CONEVAL, 2007[6]). El CONAC también publicó sus Lineamientos para la Construcción y Diseño de Indicadores de Desempeño mediante la Metodología de Marco Lógico (CONAC, 2013[33]) para ayudar a los estados a diseñar indicadores de monitoreo y desempeño eficientes. Además, Nuevo León publicó sus propios lineamientos para poner en marcha el presupuesto por resultados y un sistema de evaluación del desempeño (PpR-SED): Lineamientos Generales del Poder Ejecutivo del Estado de Nuevo León para la Consolidación del Presupuesto por Resultado (PpR) y el Sistema de Evaluación del Desempeño (SED), 2017.
Por otra parte, cada unidad de evaluación se encarga de recabar y analizar una fuente primaria de datos que consta de información contenida en registros administrativos, bases de datos, evaluaciones internas y/o externas, documentación pública y documentos regulatorios. Posteriormente, la unidad debe responder a un conjunto de preguntas metodológicas predefinidas sobre la calidad de la Matriz de Indicadores de Resultados relacionada con el programa, la eficacia de la gestión del programa, los resultados en términos de productos, la transparencia, la satisfacción ciudadana, entre otros. La Matriz de Indicadores de Resultados (MIR) es una importante herramienta de planeación estratégica que establece los objetivos de cada programa. Incluye varios indicadores que miden objetivos, impactos y resultados esperados, e identifica las fuentes de información requeridas para el proceso de gestión del desempeño.
El Consejo Nuevo León podría interesarse en desarrollar sus propias regulaciones para la evaluación del Plan Estratégico, las cuales también podrían aplicarse en todo el Gobierno. Una metodología para evaluar el Plan Estratégico deberá aportar los objetivos de la evaluación, su alcance preciso, los tipos de evaluación (diseño, implementación e impacto), los métodos de recopilación de datos y orientación para realizar o encargar evaluaciones. Para ello, Nuevo León podría inspirarse en las directrices desarrolladas por France Stratégie (véase el Recuadro 4.8), así como en el posicionamiento general de esta institución en el aparato gubernamental francés.
France Stratégie es una agencia francesa adscrita a la oficina del Primer Ministro pero que opera por separado del gobierno y que aporta conocimiento experto de los principales asuntos sociales y económicos mediante evaluaciones ex post de políticas públicas, notas de análisis, debates y ejercicios de consulta. La institución ha publicado directrices sobre evaluaciones de impacto, con el fin de apoyar a los responsables de tomar decisiones y a los profesionales a realizar evaluaciones y analizar los resultados de estas (Comment évaluer l’impact des politiques publiques: un guide à l’usage des décideurs et des praticiens, 2016).
En primer lugar, las mencionadas directrices presentan diferentes métodos para realizar evaluaciones de impacto científicamente confiables con objeto de deducir una relación causal entre la intervención pública que se evalúa y los efectos que causa sobre sus beneficiarios (los indicadores pertinentes incluyen salud, empleo y educación, entre otros). Se explican en detalle varios métodos (incluidas las “diferencias en las diferencias” y los ensayos controlados aleatorios), y las directrices hacen hincapié, entre otros, en la importancia de desarrollar un razonamiento contrafactual confiable, de elegir indicadores pertinentes y de evitar mecanismos de selección que pudieran sesgar los resultados de la evaluación. En la siguiente sección de las directrices se aborda el tema de cómo analizar los resultados de la evaluación e identificar las razones del éxito o fracaso de una política pública. Por último, se explica cómo comparar los efectos de múltiples políticas con el mismo objetivo y elegir la más eficaz. Esta última sección abarca los análisis de costo-beneficio y costo-eficacia.
Las directrices de France Stratégie son concretas y están orientadas al usuario, pues toman en cuenta una gran variedad de limitaciones científicas y operativas en torno a la implementación de evaluaciones, como la disponibilidad, amplitud y calidad de los datos y el presupuesto de evaluación. Estas limitaciones suelen determinar el método de evaluación que se utilizará, ya que los diferentes métodos requieren diferentes tipos de datos (por ejemplo, el método de comparación exige datos valiosos sobre las personas y su entorno socioeconómico).
Por último, las directrices de France Stratégie se orientan a la política pública y ayudan a los responsables de tomar decisiones a cerrar la brecha entre la evaluación de políticas y la toma de decisiones, ya que ofrecen recomendaciones claras sobre cómo utilizar los resultados de la evaluación para mejorar las políticas públicas, y cómo reforzar las capacidades de evaluación de los responsables de formular políticas públicas. Las directrices recomiendan, entre otros, realizar revisiones sistemáticas de la evidencia existente, para así evaluar si los resultados de la evaluación convergen y difieren según el contexto institucional de la política. Asimismo, en las directrices se resalta la necesidad de los responsables de formular políticas públicas de institucionalizar y poner en práctica la generación y el acceso a datos.
Fuente: (France Stratégie, 2016[34])
El Consejo podría desarrollar competencias para encargar o llevar a cabo evaluaciones internas
Si bien las directrices y los estándares de calidad brindan a los evaluadores recursos que los apoyarán para tomar las decisiones adecuadas al realizar evaluaciones, también les sería muy útil contar con las competencias adecuadas. Dichas competencias implican contar con las habilidades, los conocimientos, la experiencia y las destrezas adecuadas (Stevahn et al., 2005[35]; American Evaluation Association, 2015[36]). Por ejemplo, la Asociación Estadounidense de Evaluación desarrolló una lista de competencias básicas del evaluador (American Evaluation Association, 2015[36]), las cuales se centran en las habilidades profesionales, técnicas, interpersonales, de gestión y organizacionales requeridas para actuar como evaluador, lo que refleja la amplia variedad de competencias que dicha profesión exige más allá de los conocimientos técnicos expertos.
Para que Nuevo León lleve a cabo evaluaciones de alta calidad en el largo plazo, será importante invertir en habilidades, al fomentar la formación en competencias del evaluador. De hecho, en la actualidad el Consejo no tiene competencias de evaluación del todo adecuadas en sus comisiones y secretarías técnicas para encargar o realizar evaluaciones internas. Para asegurarse de que sus evaluaciones tengan calidad técnica, el Consejo puede considerar varios escenarios.
En primer lugar, el Consejo debería basarse en las competencias de los evaluadores externos para llevar a cabo evaluaciones en el corto y el mediano plazo. En particular, el Consejo puede recurrir a universidades y centros de investigación del estado para encargar evaluaciones. Podría definir algunos estándares de calidad para el encargo de evaluaciones, como requisitos de competencia para los evaluadores, ya que los términos de referencia (TdR) constituyen una herramienta esencial para el aseguramiento de la calidad (Kusters et al., 2011[22]). Las directrices también cubrirían aspectos como el alcance de la evaluación, su metodología y sus objetivos, la composición del equipo evaluador, su presupuesto y cronograma, así como el tipo de partes interesadas que participarán (Independent Evaluation Office of UNDP, 2019[37]).
En el largo plazo, el Consejo podría establecer mecanismos orientados a desarrollar las competencias adecuadas para realizar evaluaciones internas. Por tanto, podría considerar la organización de cursos de formación para evaluadores (es decir, los comisionados y el personal de la secretaría técnica). En efecto, los datos obtenidos de la encuesta de la OCDE indican que la formación de evaluadores es la técnica más utilizada para el desarrollo de competencias (la mitad de los países encuestados la han puesto en práctica). Se podría alentar al personal para que participe en cursos (incluida la capacitación en línea) sobre diferentes temas, como la evaluación del impacto de políticas, programas y proyectos públicos (International Training Centre, 2019[38]), la evaluación económica o la recopilación de datos para evaluación de programas ofrecida por la Universidad de Washington (University of Washington, 2020[39]). Además del uso de cursos y sesiones de formación, el Consejo podría considerar contratar personal con las habilidades técnicas apropiadas para realizar evaluaciones, como profesionales con experiencia previa en evaluaciones en un entorno multidisciplinario.
Por último, otra forma en que el Consejo podría desarrollar las competencias de sus evaluadores es fomentando redes de evaluadores. Los datos de la OCDE muestran que un mecanismo común de aseguramiento de la calidad que los países han implementado es el establecimiento de una red de evaluadores.
El Consejo Nuevo León podría considerar promover su función de defensor de la evaluación en el estado mediante la formación de dichas redes en él. La Red de Conocimiento del Consejo sería un punto de partida positivo para desarrollar una red de evaluadores de este tipo en Nuevo León, así como en todos los estados mexicanos. En la actualidad dicha red fomenta la colaboración y la participación de la comunidad académica de Nuevo León, con un interés especial en alentar la investigación aplicada para apoyar el monitoreo y la evaluación del Plan Estratégico (Consejo Nuevo León, 2019[40]). Al reunir a académicos de todo el estado por medio de foros temáticos, la Red de Conocimiento podría convertirse en un centro informal para el intercambio de experiencias prácticas y técnicas relacionadas con la evaluación. Organizada por el Consejo, la Red podría conectar con facilidad a sus académicos con los miembros del Consejo, en concreto, profesionales, funcionarios públicos, representantes del sector privado y la sociedad civil. Para ampliar el alcance de los intercambios, podría invitarse a evaluadores y partes interesadas pertinentes de otros estados mexicanos y sus consejos de evaluación a foros, reuniones o incluso webinars. El Consejo de Evaluación del Desarrollo Social de la Ciudad de México es un posible participante interesante, puesto que ya trabaja con una red de evaluadores externos pertenecientes a la sociedad civil y la academia para evaluar programas sociales (OECD, 2019[41]).
Controlar la calidad del producto de evaluación
Las herramientas de control de calidad ayudan a que el producto de la evaluación (el informe) cumpla con un cierto estándar de calidad (HM Treasury, 2011[24]). En general, los mecanismos de control de calidad se usan mucho menos que los de aseguramiento de la calidad (solo cerca de un tercio de los países utilizan los primeros). Los mecanismos de control de calidad son menos comunes y pueden constituir un área de desarrollo para velar por que los informes de evaluación y la evidencia evaluativa cumplan con un estándar de alta calidad (OECD, 2020[1]).
El mecanismo de control de calidad más utilizado por los países para fomentar la calidad del producto final de las evaluaciones es el proceso de revisión por pares. Las revisiones por pares constan de un grupo de referencia, compuesto por expertos externos o internos, a quienes se somete a una evaluación para examinar su calidad técnica y su contenido sustantivo. El proceso de revisión por pares ayuda a decidir si la evaluación cumple con los estándares de calidad adecuados y, por consiguiente, puede publicarse.
El Consejo podría considerar someter sus evaluaciones a revisiones por pares expertos (por ejemplo, académicos) antes de que se publiquen. Debido a su composición, y en particular a los expertos y académicos que forman parte de las comisiones, el Consejo puede construir relaciones con una comunidad de posibles pares que contribuirían a controlar su producto de evaluación.
Algunos países también han desarrollado herramientas dirigidas a los propios evaluadores (a saber, autoevaluación) o al equipo de gestión y/o responsable de hacer encargos (listas de verificación de control de calidad, por ejemplo) para ayudarlos a controlar que su trabajo cumpla con los criterios de calidad adecuados. El objetivo de estas listas de verificación es estandarizar las prácticas de control de calidad de los entregables de la evaluación y, por ende, pueden ser útiles para que los gerentes de evaluación, comisionados, responsables de tomar decisiones u otras partes interesadas sopesen las evaluaciones contra un conjunto de criterios predeterminados (Stufflebeam, 2001[42])
Por ejemplo, la unidad de evaluación de la ayuda al desarrollo en la Comisión Europea incluye en sus términos de referencia una cuadrícula de criterios de calidad clara, contra la cual el gerente de evaluación evalúa el trabajo de los evaluadores externos (OECD, 2016[43]). Por otro lado, la autoevaluación es una revisión crítica del desempeño de un proyecto o programa por parte del equipo de operaciones a cargo de la intervención, pues sirve para estandarizar las prácticas al estudiar los entregables de la evaluación. Si bien se utilizan con menor frecuencia, las herramientas de autoevaluación pueden convertirse en un elemento importante de un sistema de control de calidad (OECD, 2016[43]), pues constituyen el primer paso en el proceso de control. El Consejo podría diseñar una lista de verificación para las evaluaciones, con el fin de ayudar a controlar la calidad de su propio trabajo. Ejemplos como el conjunto de herramientas de evaluación de Nueva Gales del Sur (véase el Recuadro 4.9), muestran que también se han puesto en marcha iniciativas a nivel estatal para fomentar la calidad técnica de las evaluaciones.
El conjunto de herramientas de evaluación de Nueva Gales del Sur (NSW) es un recurso en línea que ofrece asesoramiento y herramientas para planear y efectuar evaluaciones de programas. El conjunto de herramientas apoya a los organismos gubernamentales en la implementación de las Directrices de evaluación de programas gubernamentales de NSW desarrolladas por el Centro de Evaluación de Programas, el cual asesora sobre el diseño de evaluaciones, realiza evaluaciones y fomenta la creación de capacidad para la evaluación (New South Wales Government, 2020[44]).
El conjunto de herramientas ayuda a los directivos de evaluación y evaluadores internos o externos a gestionar un proyecto de evaluación, elegir los métodos idóneos, usarlos correctamente y cumplir con los estándares de calidad establecidos en las directrices relacionadas. Proporciona orientación concreta basada en siete pasos detallados para garantizar la calidad de la evaluación en lo referente a rigor técnico, viabilidad práctica, utilidad y ética (New South Wales Government, 2020[45]). Un recurso clave que complementa el conjunto de herramientas es el sitio web Better Evaluation, en el cual actores clave del mundo entero brindan de manera continua información y orientación sobre la evaluación. En la actualidad puede accederse a más de 200 métodos, herramientas y recursos de evaluación, sobre temas que abarcan desde definir lo que se va a evaluar, resumir los datos de la evaluación, informar y utilizar los resultados de esta.
Fuente: (New South Wales Government, 2020[44]) (New South Wales Government, 2020[45]).
Las metaevaluaciones representan otra herramienta que corresponde a la evaluación de una evaluación con el fin de controlar su calidad y/o sopesar el desempeño global de la evaluación (Scriven, 1969[132]). Hoy, se refiere sobre todo a evaluaciones diseñadas para agregar hallazgos de diversas evaluaciones. En su último sentido, la metaevaluación es un método de síntesis de evidencia útil para evaluar la calidad de una serie de evaluaciones (al valorarlas mediante informes y otras fuentes pertinentes) y su apego a los estándares establecidos. Por consiguiente, las metaevaluaciones constituyen una herramienta útil para revisar la calidad de las evaluaciones de políticas públicas, antes de hacerlas del conocimiento público. Un número relativamente limitado de países utiliza metaevaluaciones para controlar la calidad de las evaluaciones, bien sea por falta de competencias, de familiaridad o de métodos idóneos (OECD, 2020[1]).
Si bien la calidad es muy importante y puede facilitar el uso, no es suficiente para garantizar el uso de evaluaciones, que sigue siendo un reto importante que muchos países enfrentan. De hecho, en términos generales, las conexiones entre la evidencia y la formulación de políticas públicas aún no se concretan (OECD, 2020[1]). Esto parece suceder también en Nuevo León, al menos en lo que concierne al alcance del Plan Estratégico.
El fomento del uso de evaluaciones de políticas está vinculado con cómo se comunican las evaluaciones dentro y fuera del sector público, y cómo (de hacerse) se utilizan las evaluaciones para mejorar los efectos y el diseño futuro de las políticas públicas. A mayor precisión, el uso activo de la evaluación de políticas implica que las recomendaciones de la evaluación sustentan la toma de decisiones y alteran el objeto de evaluación (Ledermann, 2012[46]). En ese sentido, el uso eficaz de las evaluaciones es fundamental para incorporarlas en los procesos de formulación de políticas y para generar incentivos para difundir las prácticas de evaluación. Es una fuente fundamental de retroalimentación para generar nuevas políticas y justificar las intervenciones gubernamentales.
Por el contrario, si no se utilizan las evaluaciones, quedarán brechas entre lo que se sabe, según la evidencia, que es eficaz, y la formulación de políticas y la toma de decisiones en la práctica. Sencillamente, las evaluaciones que no se utilizan representan oportunidades de aprendizaje y responsabilidad perdidas (OECD, 2020[1]). Además, la debilidad del vínculo entre la evidencia y la formulación de políticas se agrava por el hecho de que subutilizar las evaluaciones puede poner en peligro la legitimidad del ejercicio evaluativo en primer lugar. Cuando los responsables de tomar decisiones ignoran los resultados de las evaluaciones, se debilita el reclamo de un análisis más detallado (Leviton and Hughes, 1981[18]): las evaluaciones no utilizadas pueden contribuir a dar la impresión de que hay un exceso de oferta y provocar que la evidencia de calidad se pierda en la confusión. La subutilización representa también un desperdicio de recursos públicos: las evaluaciones de políticas, bien sea realizadas a nivel interno subcontratadas a actores externos, requieren importantes recursos humanos y financieros públicos, los cuales se perderán si no producen resultados.
Nuevo León puede fomentar el uso de evaluaciones por medio de los siguientes mecanismos, puestos en práctica por una gran mayoría de países:
Fomento del acceso a los resultados de la evaluación y aceptación de estos
Incorporación del uso de los resultados de la evaluación en el marco institucional, dentro y fuera del Ejecutivo, mediante, por ejemplo, el debate de los resultados de la evaluación en el orden más alto de gobierno y la creación de mecanismos de respuesta de la gestión.
Aumento de la demanda de evaluaciones por la vía del desarrollo de competencias.
Como se mencionó al iniciar este capítulo, el Gobierno de Nuevo León puso en marcha, dentro de su sistema de evaluación del desempeño, un mecanismo de respuesta de la gestión. Según datos obtenidos por la OCDE, el uso de mecanismos formales de respuesta y monitoreo de la gestión es relativamente poco frecuente. Sin embargo, algunos países, como Costa Rica y México, los instauran. De hecho, en el ámbito nacional, México implementó un mecanismo para establecer un proceso de monitoreo a las recomendaciones de la evaluación externa, el cual define a los actores responsables de construir las herramientas que monitorearán los aspectos de programas y políticas que habrá que mejorar.
En consonancia con el ámbito nacional, los informes finales de evaluación de Nuevo León deberán identificar áreas de mejora (“Aspectos Susceptibles de Mejora, ASM”), que incluyan las debilidades, oportunidades y amenazas a la eficacia del programa. De conformidad con el artículo 39 del reglamento de la Ley de Planeación Estratégica, las entidades administrativas deben tomar en cuenta estas recomendaciones al implementar un Plan de Acción de Mejoramiento de la Gestión (PAMGE). Este plan incluye acciones estratégicas orientadas a mejorar el diseño, los procesos y la implementación de la política o el programa evaluados. Cada acción se relaciona con un porcentaje de avance y un responsable de su ejecución. El uso de las conclusiones en el caso del PAE también se facilita porque el informe de evaluación final que incluye los ASM y el PAMGE debe publicarse en el sitio web del estado (artículo 42 de los lineamientos neoloneses).
Aunque el Consejo ha promovido evaluaciones centradas en el uso y publica las evaluaciones, el uso de estas sigue siendo un reto en Nuevo León
Los países han desarrollado mecanismos para garantizar que los procesos de evaluación se centren en el uso, lo cual implica que las evaluaciones se realizan de una manera adecuada para el propósito y toman en cuenta las necesidades de sus usuarios principales y los tipos de usos previstos (Patton, 1978[21]). Investigaciones empíricas (Johnson et al., 2009[47]) descubrieron que las evaluaciones centradas en el usuario comparten varias características:
Son metodológicamente sólidas y confiables (consulte en la sección "Promover la calidad de las evaluaciones" un análisis de los determinantes de las evaluaciones confiables).
Los usuarios y las partes interesadas participaron en el proceso de evaluación.
Los usuarios percibieron que la metodología de evaluación era apropiada.
El Consejo Nuevo León es, en sí mismo, un organismo compuesto por una amplia variedad de actores, que incluyen representantes estatales, de la academia, del sector privado y la sociedad civil. Por tanto, podría considerarse que las evaluaciones que lleva a cabo se centran en el uso, ya que cuentan con actores comprometidos, a quienes puede consultarse en cualquier momento durante el proceso de evaluación. Lo anterior indica que, al Gobierno del estado de Nuevo León, al igual que otros gobiernos, le interesa sobremanera involucrar a una amplia gama de actores en el proceso de toma de decisiones para generar un consenso más amplio e incrementar la legitimidad de las decisiones sobre políticas públicas (OECD, 2016[11]). De igual manera, datos obtenidos por la OCDE muestran que la mayoría de los países reportan que han involucrado a las partes interesadas en la evaluación de sus prioridades políticas (véase la Gráfica 4.2).
Nota: Para la principal institución a cargo de la evaluación de políticas de todo el gobierno n = 21. Ministerios de salud n = 28. Para los ministerios PSR (presión-situación-respuesta) n = 19. Las respuestas recogen las respuestas a la pregunta "¿Qué partes interesadas se involucran en la evaluación de las prioridades de política de todo el gobierno? (Marque todas las que apliquen)".
Fuente: OECD Survey on Policy Evaluation (2018).
En efecto, según la evidencia, es más probable que los responsables de formular políticas públicas busquen y utilicen los resultados de la evaluación obtenidos de personas u organizaciones familiares de confianza, que los obtenidos de fuentes formales (Oliver et al., 2015[48]; Haynes et al., 2012[49]). En consecuencia, contar con representantes estatales en el Consejo podría aumentar su confianza y su uso de la evaluación que realiza. Asimismo, comunicar los hallazgos a las partes interesadas a medida que avanza la evaluación o involucrar a las partes interesadas en el diseño de la evaluación —algo que el Consejo puede hacer fácilmente con sus miembros—puede también favorecer su aceptación y su comprensión de los resultados (Fleischer and Christie, 2009[50]).
Respecto del Consejo, pese a que el "informe de evaluación" anual es de hecho un ejercicio de "monitoreo" y a que, como se mencionó, no será factible hacer una evaluación anual real del Plan Estratégico, cabe mencionar algunas disposiciones relativas a la participación de los actores durante este proceso. Durante el proceso de revisión, el documento se presenta a cada comisión en cuatro instancias por lo menos: al empezar el proceso, al terminarse el primer borrador, al redactarse las recomendaciones y al publicar la evaluación. Un punto interesante es que las comisiones son invitadas a participar en todo el proceso y en todas las etapas deben dar sus opiniones y sugerencias, así como analizar las recomendaciones. Cuanto antes y de manera más activa participen los usuarios en un proceso de evaluación y se difundan los resultados, más probable será que utilicen los resultados de la evaluación (Patton, 1978[21]) (Patton, 1978[21]). El Consejo debería continuar involucrando activamente a las comisiones de esa manera.
Sin embargo, aunque el Consejo está compuesto por una amplia variedad de partes interesadas, eso no significa que todos estén igualmente involucrados en el proceso de evaluación. En efecto, como se comentó en el capítulo 1, podría considerarse que en el Consejo hay una sobrerrepresentación del sector privado y que da muy poca voz a los representantes de la sociedad civil. Sin embargo, es posible argumentar que la ciudadanía, como los principales usuarios previstos de la política que se evalúa, son las partes interesadas que es más importantes incluir en el proceso de evaluación (Kusters et al., 2011[22]). Además, los actores de la sociedad civil ciertamente influyen en la institucionalización de la evaluación de políticas y resultan esenciales para facilitar la demanda de evaluación (OECD, 2020[1]). Para equilibrar las voces de cada actor que forme parte de las comisiones, el Consejo podría considerar adaptar la composición de estas para asegurar una mayor representación de la sociedad civil y la ciudadanía (véase en el Capítulo 5 un análisis detallado de la composición del Consejo).
Para facilitar su uso en la práctica, las evaluaciones centradas en el uso también requieren que la configuración de la evaluación —entendida como la planeación, los recursos y los canales de comunicación implicados en la creación y el uso de los resultados— se adapte a las necesidades de los responsables de formular políticas públicas (Patton, 1978[21]). Los recursos para la evidencia deberán coincidir con la demanda de los formuladores de políticas en términos de tiempo y formato. Por último, las preguntas de evaluación previstas por el evaluador tendrán que ajustarse a las necesidades de los usuarios (Patton, 1978[21]). En Nuevo León, los funcionarios públicos que proporcionan información solicitada por el Consejo para la evaluación en ocasiones no conocen o conocen muy poco el trabajo de las comisiones y la forma como este se relaciona con sus propias labores.
En ese caso, al iniciar el proceso de evaluación, el Consejo podría consultar a los usuarios previstos (secretaría, responsables de formular políticas y profesionales) para asegurarse de que estén enterados de la evaluación y la utilicen. Más aún, la administración pública estatal podría encargar evaluaciones específicas para el Consejo, sobre temas importantes para las secretarías. La intervención del centro de gobierno sería fundamental para comunicar y coordinar la demanda de evaluaciones en toda la administración pública. También es recomendable que haya una fuerte coordinación con la Secretaría de Finanzas, dado que anualmente esta emite el Plan Anual de Evaluación (PAE). Las evaluaciones que el Consejo lleve a cabo serán complementarias o abarcarán temas distintos de los que coordina la Secretaría de Finanzas.
Un aspecto clave para asegurar que las evaluaciones se usen es garantizar el acceso a ellas. De hecho, los responsables de formular políticas públicas y las partes interesadas no podrán hacer uso de la evidencia y los resultados de las evaluaciones si no los conocen (Haynes et al., 2018[51]). Por tanto, el primer paso para fomentar dicho uso es poner los resultados a disposición de los usuarios previstos, esto es, comunicarlos y difundirlos a las partes interesadas.
No obstante, si bien la difusión constituye un primer paso útil para propiciar el acceso al informe de evaluación, no es suficiente. De hecho, la investigación indica que, de manera aislada, la difusión no mejora significativamente la incorporación de las evaluaciones en las políticas públicas (Langer, Tripney and Gough, 2016[52]; Dobbins et al., 2009[53]; Haynes et al., 2018[51]). Más bien, la presentación de la evidencia debe ser estratégica y recibir impulso del propósito de la evaluación y las necesidades de información de los usuarios previstos (Patton, 1978[21]). Por consiguiente, para facilitar su uso, los resultados de la evaluación tendrán que resumirse adecuadamente y diseñarse para usuarios específicos (Haynes et al., 2018[51]).
En términos más generales, los informes de evaluación como los publicados por el Consejo no siempre resultan fácilmente comprensibles o asimilables para el público en general y los responsables de formular políticas públicas que quizá no dispongan de tiempo para leer informes extensos. Asimismo, las recomendaciones podrían ser demasiado generales, por lo que no permiten identificar acciones políticas claras. Por ello, los estados de Baja California, Jalisco, Estado de México, Morelos, Oaxaca, Puebla, Querétaro y Tabasco incluyen un resumen ejecutivo en sus informes de evaluación (CONEVAL, 2017[2]).
En el futuro, el Consejo también podría considerar incluir un resumen ejecutivo en los informes de evaluación, redactado en un lenguaje claro, conciso y fácil de usar que permita a la ciudadanía y a los responsables de formular políticas públicas comprender con rapidez la evaluación y sus resultados. En el Capítulo 5 también se plantean recomendaciones sobre cómo el Consejo podría plasmar esta evidencia en un lenguaje más comprensible para los responsables de formular políticas públicas y un público más amplio.
En general, a pesar de la participación de los actores, la difusión de los resultados y, por tanto, el fomento de evaluaciones centradas en el uso hasta cierto punto, los resultados de la evaluación del Consejo pueden no generar sistemáticamente una mayor incorporación de la evaluación de políticas en la toma de decisiones. De hecho, la incorporación de los resultados de evaluaciones es un fenómeno complejo que exige medidas más amplias y sistemáticas. Como se analizará en las secciones siguientes, una solución para aumentar la demanda de evaluaciones es crear un mercado específico al incorporar el uso de estas en la estructura institucional, y otra sería promover las habilidades de los responsables de tomar decisiones y formular políticas públicas para el uso de evidencia.
El Consejo podría considerar desarrollar una estrategia de comunicación para promover la incorporación de la evidencia de evaluación
Por otra parte, el día de la publicación de su “informe de evaluación” (el cual es, de hecho, un ejercicio de monitoreo), el Consejo envía al Congreso y al Gobernador un comunicado de prensa. Como ya se analizó, la evidencia no solo debe ser accesible para el público y los responsables de formular políticas públicas; también debe presentarse de manera estratégica y ser impulsada por el propósito de la evaluación y las necesidades de información de los usuarios previstos.
Con el fin de adaptar la evidencia de la evaluación a diferentes públicos, el Consejo podría desarrollar una estrategia de comunicación para ajustar la forma como se presentan los resultados de la investigación a sus posibles usuarios. En especial, podría elaborar una estrategia de comunicación adaptada a los funcionarios públicos y a los responsables de tomar decisiones en la administración pública estatal para asegurar una mayor incorporación de sus evaluaciones en la administración. Esta estrategia podría incluir el uso de infografías, síntesis personalizadas de evidencia de investigación (por ejemplo, resúmenes ejecutivos, que son especialmente útiles para quienes toman decisiones) y la difusión de “perlas informativas” a través de las redes sociales y seminarios para presentar las conclusiones de la investigación, entre otras (OECD, 2016[43]) (OECD, 2018[54]).
Es muy importante utilizar estas estrategias personalizadas de comunicación y difusión, las cuales aumentan el acceso a resultados de la investigación presentados con claridad. Un ejemplo interesante es el What Works Centre del Reino Unido, que incluye la Education Endowment Foundation, la Early Intervention y el What Works Center for Local Economic Growth, el cual genera diversos informes de política pública para difundir mensajes clave a su público objetivo. En el Recuadro 4.10 a continuación se presenta el uso por parte del CONEVAL de infografías y narración de historias (storytelling) para presentar los resultados de la evaluación y su impacto en la ciudadanía, que es otra herramienta que el Consejo podría desarrollar en su sitio web.
La narración de historias (storytelling) en casos locales donde la evaluación se utiliza para contribuir al desarrollo social
El sitio web de CONEVAL comparte públicamente cinco historias que muestran el uso de la información generada por las evaluaciones de CONEVAL en relación con la mejora del desarrollo social. Los cinco casos de evaluación se presentan de manera sencilla, clara y concisa, por medio de historias con personajes, diálogos y, en ocasiones, referencias a artículos de periódicos internacionales. Dichas historias también presentan el contexto en el cual se llevó a cabo la evaluación real, los datos que se utilizaron y generaron a través de ella y cómo sus resultados afectaron a las personas.
Por ejemplo, la historia del “Valor del tiempo” es un monólogo en el que el protagonista describe la experiencia de transformación de una escuela primaria como parte del Programa Escuelas de Tiempo Completo. El programa se consolidó gracias a las recomendaciones del CONEVAL por medio del monitoreo y la evaluación de su desempeño. La historia refleja la realidad de un programa que evoluciona con resultados y efectos verificables.
Otra historia describe la experiencia de un gobierno estatal que pone en marcha una estrategia de política social fundamentada en la metodología de medición multidimensional de la pobreza elaborada por el Consejo Nacional de Evaluación de la Política de Desarrollo Social. La historia explica cómo los tres órdenes de gobierno definieron y orientaron sus políticas públicas a aumentar al máximo el bienestar de los ciudadanos y las ciudadanas por medio de un proceso participativo.
El sitio web también incluye infografías que resumen, con breves textos e imágenes, algunas iniciativas de evaluación emprendidas por el CONEVAL y sus efectos en la ciudadanía.
Fuente: Adaptado de CONEVAL, (2019[55])
Para Nuevo León puede ser provechosa la incorporación sistemática de las evaluaciones en el ciclo de formulación de políticas
Si bien las competencias individuales son importantes, las organizaciones formales y los mecanismos institucionales preparan el terreno para la formulación de políticas públicas basadas en evidencia, capaces de resistir las transiciones entre el liderazgo (Results for America, 2017[56]). El uso de evaluaciones está estrechamente ligado a las estructuras y los sistemas organizacionales, en la medida en que crean un terreno fértil para cubrir la oferta y la demanda de evaluaciones.
Los mecanismos institucionales u organizacionales que permiten desarrollar un mercado de evaluación se encuentran en instituciones específicas, como los mecanismos de respuesta de la gestión, o en el ciclo de políticas más amplio, por ejemplo, mediante la incorporación de los hallazgos de la evaluación de políticas en el ciclo presupuestario o los debates sobre las conclusiones al más alto nivel político. Como se verá en la siguiente sección, el Estado de Nuevo León podría considerar poner en práctica o fortalecer dichos mecanismos para promover la incorporación de los resultados de su evaluación.
La incorporación de los resultados de la evaluación en el ciclo presupuestario representa uno de los mecanismos más utilizados para fomentar el uso de evaluaciones (OECD, 2020[1]). De hecho, la evidencia obtenida de las evaluaciones puede emplearse de manera más o menos sistemática en el ciclo presupuestario, según el modelo de presupuesto por resultados que se adopte (de presentación, sustentado en el desempeño, de gestión, por desempeño directo). En la mayoría de los países de la OCDE, la evidencia de resultados se incluye en el ciclo presupuestario, de acuerdo con uno de los tres primeros enfoques. Algunos países, como Dinamarca, Países Bajos o Alemania, llevan a cabo revisiones de gastos especiales para sustentar ciertas decisiones de asignación cada año. En México, en términos estatales, todas las entidades federativas, como Sinaloa, Coahuila y Tamaulipas, cuentan con disposiciones legales para aplicar los resultados de la evaluación en las decisiones presupuestarias (CONEVAL, 2017[2]).
En Nuevo León, podrían también usarse las evaluaciones de política pública realizadas por el Consejo como parte de los debates relativos al presupuesto en el Congreso, para sustentar las decisiones de Nuevo León en este ámbito. Por ejemplo, cuando sea pertinente, las evaluaciones de políticas y programas del Consejo podrían incluirse como anexo en el documento presupuestario principal. Asimismo, un mayor monitoreo por parte de la administración pública estatal del gasto del programa presupuestario permitiría a Nuevo León realizar análisis de gastos, que podrían sustentarse en los resultados de la evaluación.
Por otra parte, la administración pública estatal y el Consejo podrían debatir los resultados de la evaluación al más alto nivel político. Por ejemplo, en Corea, en el contexto del plan quinquenal “100 tareas de política”, los resultados de la evaluación se debaten en el Consejo de Ministros. Otros países establecieron comités o consejos específicos, casi siempre en el centro del Gobierno, para monitorear la implementación de evaluaciones de políticas y/o intercambiar opiniones sobre sus hallazgos. Un ejemplo de ello es el Comité Brasileño de Monitoreo y Evaluación de Políticas Públicas Federales, que reúne a representantes de alto nivel del Ejecutivo (Presidencia de la República, Ministerio de Hacienda, Ministerio de Planeación y Ministerio de Transparencia) y de la Contraloría General de la Unión (CGU).
En el seno del Consejo podrían entablarse los debates sobre la implementación de los hallazgos de la evaluación, reuniendo a representantes de alto nivel de la administración y a diversos sectores. Los miembros del Consejo, incluidos los representantes del Ejecutivo, podrían intercambiar información sobre el uso de los resultados de la evaluación. Posteriormente, los representantes del Ejecutivo presentarían a la administración estatal las conclusiones de estas discusiones, mediante la organización de una segunda ronda de debates con representantes políticos de alto nivel. El foco de interés sería la aplicación de las recomendaciones de las evaluaciones del Consejo y su monitoreo. Por tanto, los debates podrían organizarse de forma sistemática y no personalizada.
Aparte del Ejecutivo, el Congreso también podría ser fundamental en el fomento del uso de la evidencia recolectada en evaluaciones. Además de garantizar la rendición de cuentas del estado, el Congreso puede desarrollar un enfoque más estructurado y sistemático al uso de evaluaciones (OECD, 2020[1]). Por ejemplo, se ha demostrado que los parlamentos han sido fundamentales para aumentar el uso de evaluaciones al promover el uso de evidencia evaluativa en el ciclo presupuestario al exigir más información sobre el desempeño del gasto público, incorporar cláusulas de evaluación en las leyes y encargar evaluaciones a nivel de comité en el contexto de las audiencias (Jacob, Speer and Furubo, 2015[57]). Por ejemplo, los datos de la OCDE muestran que 21 países miembros incorporan los hallazgos de las evaluaciones en el ciclo presupuestario (OECD, 2020[1]). Algunos países, como Dinamarca, Países Bajos o Alemania, realizan revisiones de gastos para sustentar las decisiones de asignación de gastos cada año. En Nuevo León, el artículo 22 de la Ley de Planeación Estratégica estipula que el informe de evaluación del Plan Estratégico se enviará al Congreso y que el Ejecutivo comunicará a este las acciones que pretenda tomar siguiendo las recomendaciones del Consejo. Esta disposición constituye un paso importante para fomentar la formulación de políticas basadas en evidencia en Nuevo León, que sería útil dar si se modificara la Ley de Planeación Estratégica o se adoptara una nueva ley. Nuevo León podría actualizar la Ley de Planeación Estratégica y establecer que las evaluaciones que se realicen a solicitud de la administración pública estatal se compartan con el Congreso con fines informativos.
Construyendo un marco institucional sólido para la evaluación del Plan Estratégico
Adoptar una definición integral de evaluación aplicable a todo el Gobierno. Esto podría implicar actualizar el reglamento de la Ley de Planeación Estratégica para especificar que esta definición se aplica a todas las iniciativas públicas, incluido el Plan Estratégico. La Ley de Planeación Estratégica también podría actualizarse para incluir esta definición.
Establecer un cronograma claro de las actividades de evaluación del Plan Estratégico, en el que se especifique cuántos y qué programas y políticas se evaluarán, quiénes serán los evaluadores (qué competencias deben tener, si pertenecen al Consejo o son externos a este) y cuándo y cómo debe realizarse la evaluación.
Actualizar el mandato del Consejo para evaluar el Plan Estratégico:
Actualizar el artículo 19 de la Ley de Planeación Estratégica, al sustituir el cronograma anual por uno basado en los tipos de evaluación por realizar y sus etapas correspondientes en el Plan Estratégico (diseño, implementación, resultados e impacto).
Actualizar el artículo 19 de la Ley de Planeación Estratégica, al mencionar que la evaluación del Plan Estratégico tendrá que realizarse de conformidad con una metodología específica, que facilite el aprendizaje y la comprensión de lo que funciona y por qué (véase más adelante).
Desarrollar un documento de política que formule las actividades de evaluación para el Consejo. El documento de política podría incluir lo siguiente:
Una descripción de los diferentes tipos de evaluación (es decir, de diseño, de proceso y de impacto) que se harán de las diferentes etapas del Plan Estratégico y del tipo de iniciativa de política por evaluar (política, programa, entre otras). Dicha descripción podría explicar las evaluaciones ya previstas en el PAE de la Secretaría de Finanzas, para así evitar redundancias.
Un cronograma que especifique cuándo deberá emprenderse cada uno de estos tipos de evaluación (es decir, durante el diseño del Plan Estratégico, durante su implementación y después de su ejecución).
Una explicación de si la evaluación se hará a solicitud de la administración pública estatal y, por tanto, requerirá un monitoreo formal, dentro de un plazo específico, de las recomendaciones por parte de la administración pública estatal.
Los recursos (humanos y financieros) dedicados a la evaluación, incluido si el Consejo considerará externalizar la evaluación.
Fomentando la calidad de las evaluaciones
Desarrollar mecanismos explícitos y sistemáticos de aseguramiento de la calidad dentro del Consejo, para así garantizar la credibilidad del proceso de evaluación, como los siguientes:
Desarrollar estándares de calidad para el proceso de evaluación. Estos deberán basarse en las regulaciones vigentes para la Consolidación del Presupuesto por Resultado (PpR) y el Sistema de Evaluación del Desempeño (SED), e incluir requisitos de competencia para los y las evaluadores/as. Asimismo, estos estándares pueden detallar las metodologías específicas para llevar a cabo estos diferentes tipos de evaluación (es decir, métodos de recopilación y evaluación de datos).
Desarrollar competencias de evaluación adecuadas, por ejemplo, al:
Recurrir a las competencias de los/as evaluadores/as externos/as, en particular de universidades y centros de investigación, en el mediano plazo e identificar los requisitos de competencia para dichos evaluadores.
Desarrollar competencias para llevar a cabo evaluaciones internas del Consejo al impartir capacitación (por ejemplo, para los comisionados y el personal de la secretaría técnica) y contratar personal con las habilidades técnicas adecuadas para realizar evaluaciones.
Fomentar una red de evaluadores y considerar impartir capacitación a la administración pública estatal en evaluación como parte de esta red.
Desarrollar mecanismos de control de calidad explícitos y sistemáticos, para así garantizar que el diseño, la planeación, la entrega y la presentación de informes de la evaluación se realicen correctamente con el fin de cumplir con los criterios de calidad predeterminados, como los siguientes:
Revisar la composición de las comisiones para equilibrar las voces de las partes interesadas, sobre todo para reforzar la voz de la sociedad civil en relación con la del sector público, puesto que los ciudadanos y las ciudadanas, como usuarios finales del Plan Estratégico, son los actores que es más importante involucrar en la evaluación.
Continuar fortaleciendo la función de las partes interesadas internas (en el seno de las comisiones) y las partes interesadas externas durante todo el proceso de evaluación. Desde el principio, invitarlas a participar en el arranque de la evaluación. Durante la redacción del informe de evaluación y las recomendaciones, invitarlos a dar su opinión y sus sugerencias, que posteriormente deberán ser tomadas en consideración. Por último, al publicar la evaluación, enviarla directamente a las partes interesadas y organizar un debate con ellas a ese respecto.
Continuar publicando informes de evaluación en el sitio web del Consejo y a la vez presentar un resumen ejecutivo de la evaluación (que incluya su objetivo, alcance, métodos, resultados, entre otros elementos) (véase la estrategia presentada a continuación).
Fomentando el uso de evaluaciones
Elaborar una estrategia de comunicación para adaptar la manera de presentar los resultados de la investigación a sus usuarios potenciales. Dicha estrategia podría incluir el uso de infografías, una síntesis personalizada de la evidencia encontrada (por ejemplo, resúmenes ejecutivos, que son especialmente útiles para los responsables de tomar decisiones), difusión de “perlas informativas” a través de las redes sociales y seminarios para presentar los resultados de la investigación, entre otros (OECD, 2016[43]) (OECD, 2018[54]). En particular, desarrollar una estrategia de comunicación adaptada a los funcionarios y responsables de tomar decisiones en la administración pública estatal para asegurar una mayor aceptación de sus evaluaciones en el seno de la administración
Incorporar los resultados de la evaluación en el ciclo presupuestario al implementar evaluaciones de impacto y de desempeño para sustentar las decisiones presupuestarias (y/o sustentar las revisiones de gastos utilizadas en el ciclo presupuestario).
Debatir sobre los resultados de la evaluación al más alto nivel político mediante la celebración sistemática de debates en la administración pública estatal, así como en las comisiones del Consejo, tras recibir el informe de evaluación.
Realizar debates sistemáticos sobre los resultados de la evaluación en el Congreso, tras recibir el informe.
Referencias bibliográficas
[36] American Evaluation Association (2015), Core Evaluator Competencies, http://www.eval.org.
[14] Cámara de Diputados del H.Congreso De la Unión (2020), Constitución Política de los Estados Unidos Mexicano, http://www.diputados.gob.mx/LeyesBiblio/pdf_mov/Constitucion_Politica.pdf (accessed on 25 November 2020).
[13] Cámara de Diputados del H.Congreso De la Unión (2018), Ley General de Desarollo Social, https://www.coneval.org.mx/Evaluacion/NME/Documents/Ley_General_de_Desarrollo_Social.pdf (accessed on 25 November 2020).
[30] CONAC (2015), Norma para establecer el formato para la difusión de los resultados de las evaluaciones de los recursos federales ministrados a las entidades federativas, https://www.conac.gob.mx/work/models/CONAC/normatividad/NOR_01_14_011.pdf (accessed on 25 November 2020).
[33] CONAC (2013), LINEAMIENTOS para la construcción y diseño de indicadores de desempeño mediante la Metodología de Marco Lógico.
[55] CONEVAL (2019), Usos de la informacion del CONEVAL, http://www.coneval.org.mx/quienessomos/InvestigadoresAcademicos/Paginas/Investigadores-academicos.aspx.
[29] CONEVAL (2018), Informe de pobreza y evaluacion, Quintana Roo, https://www.coneval.org.mx/coordinacion/entidades/Documents/Informes_de_pobreza_y_evaluacion_2018_Documentos/Informe_QuintanaRoo_2018.pdf (accessed on 25 November 2020).
[2] CONEVAL (2017), Diagnóstico del avance en monitoreo y evaluacion en las entitades federativas.
[6] CONEVAL (2007), Lineamientos generales para la evaluación de los Programas Federales de la Administración Pública Federal, https://www.coneval.org.mx/rw/resource/coneval/eval_mon/361.pdf (accessed on 18 June 2019).
[40] Consejo Nuevo León (2019), Knowledge Network Nuevo León Council, https://red.conl.mx/ (accessed on 11 January 2020).
[8] Departamento Nacional de Planeación (2016), ¿Qué es una Evaluación?, https://sinergia.dnp.gov.co/Paginas/Internas/Evaluaciones/%C2%BFQu%C3%A9-es-Evaluaciones.aspx.
[53] Dobbins, M. et al. (2009), “A randomized controlled trial evaluating the impact of knowledge translation and exchange strategies”, Implementation Science, Vol. 4/1, p. 61, https://doi.org/10.1186/1748-5908-4-61.
[19] Estado de Jalisco (2019), Estrategia Evalúa Jalisco, https://seplan.app.jalisco.gob.mx/evalua/unidad/evalua (accessed on 19 December 2019).
[9] Estado de Nuevo León (2017), Lineamientos Generales del Poder Ejecutivo del Estado de Nuevo León para la Consolidación de Presupuesto por Resultado (PpR) y el Sistema de Evaluación del Desempeño (SED), http://sgi.nl.gob.mx/Transparencia_2015/Archivos/AC_0001_0007_00161230_000001.pdf (accessed on 6 November 2019).
[31] Estado de Yucatán (2019), Sistema de Evaluación del Desempeño, http://transparencia.yucatan.gob.mx/informes.php?id=evaluacion_desempeno (accessed on 25 November 2020).
[32] Estado de Yucatán (2016), Lineamientos generales del Sistema de Seguimiento y Evaluación del Desempeño, https://www.coneval.org.mx/sitios/RIEF/Documents/yucatan-mecanismoseguimiento-2016.pdf (accessed on 25 November 2020).
[20] EVALUA Jalisco (2020), Normatividad en Monitoreo y Evaluación, https://seplan.app.jalisco.gob.mx/evalua/unidad/normatividad (accessed on 25 November 2020).
[17] EVALUA Jalisco (2017), Lineamientos Generales para el Monitoreo y Evaluación de los Programas Públicos del Gobierno de Jalisco, http://www.sepaf.jalisco.gob.mx (accessed on 25 November 2020).
[50] Fleischer, D. and C. Christie (2009), “Evaluation use: Results from a survey of U.S. American evaluation Association members”, American Journal of Evaluation, Vol. 30/2, pp. 158-175, https://doi.org/10.1177/1098214008331009.
[34] France Stratégie (2016), How to evaluate the impact of public policies: a guide for the use of decision makers and practitioners (Comment évaluer l’impact des politiques publiques : un guide à l’usage des décideurs et des praticiens), https://www.strategie.gouv.fr/sites/strategie.gouv.fr/files/atoms/files/guide_methodologique_20160906web.pdf (accessed on 21 August 2019).
[3] Gaarder, M. and B. Briceño (2010), “Institutionalisation of government evaluation: balancing trade-offs”, Journal of Development Effectiveness, Vol. 2/3, pp. 289-309, https://doi.org/10.1080/19439342.2010.505027.
[16] Gobierno de Nuevo Leon (2020), Programa Anual de Evaluacion del Estado de Nuevo Leon (PAE 2020) 2020.
[49] Haynes, A. et al. (2012), “Identifying Trustworthy Experts: How Do Policymakers Find and Assess Public Health Researchers Worth Consulting or Collaborating With?”, PLoS ONE, Vol. 7/3, p. e32665, https://doi.org/10.1371/journal.pone.0032665.
[51] Haynes, A. et al. (2018), “What can we learn from interventions that aim to increase policy-makers’ capacity to use research? A realist scoping review”, Health Research Policy and Systems, Vol. 16/1, p. 31, https://doi.org/10.1186/s12961-018-0277-1.
[24] HM Treasury (2011), The Magenta Book: Guidance for evaluation, https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/220542/magenta_book_combined.pdf (accessed on 18 June 2019).
[37] Independent Evaluation Office of UNDP (2019), UNDP Evaluation Guidelines.
[38] International Training Centre (2019), Impact evaluation of public policies, programmes and projects | ITCILO, https://www.itcilo.org/courses/impact-evaluation-public-policies-programmes-and-projects (accessed on 12 January 2020).
[57] Jacob, S., S. Speer and J. Furubo (2015), “The institutionalization of evaluation matters: Updating the International Atlas of Evaluation 10 years later”, Evaluation, Vol. 21/1, pp. 6-31, https://doi.org/10.1177/1356389014564248.
[47] Johnson, K. et al. (2009), “Research on Evaluation Use A Review of the Empirical Literature From 1986 to 2005”, https://doi.org/10.1177/1098214009341660.
[22] Kusters, C. et al. (2011), “Making evaluations matter: a practical guide for evaluators”, Centre for Development Innovation, Wageningen University & Research centre., https://www.researchgate.net/publication/254840956.
[52] Langer, L., J. Tripney and D. Gough (2016), The science of using science: researching the use of Research evidence in decision-making..
[46] Ledermann, S. (2012), “Exploring the Necessary Conditions for Evaluation Use in Program Change”, American Journal of Evaluation, Vol. 33/2, pp. 159-178, https://doi.org/10.1177/1098214011411573.
[18] Leviton, L. and E. Hughes (1981), Research on the Utilization of Evaluations: A Review and Synthesis view and Synthesis.
[7] Ministerio de Planificación Nacional y Política Económica (2018), Manual de Evaluación para Intervenciones Públicas, https://documentos.mideplan.go.cr/share/s/6eepeLCESrKkft6Mf5SToA (accessed on 5 August 2019).
[44] New South Wales Government (2020), Centre for Program Evaluation, https://www.treasury.nsw.gov.au/projects-initiatives/centre-program-evaluation (accessed on 25 November 2020).
[45] New South Wales Government (2020), How to use the Evaluation Toolkit - NSW Department of Premier & Cabinet, https://www.dpc.nsw.gov.au/tools-and-resources/evaluation-toolkit/how-to-use-the-evaluation-toolkit/ (accessed on 25 November 2020).
[5] Nuevo Leon Council (2017), Evaluaction Anual 2016-2017.
[1] OECD (2020), Improving Governance with Policy Evaluation: Lessons From Country Experiences, OECD Public Governance Reviews, OECD Publishing, Paris, https://dx.doi.org/10.1787/89b1577d-en.
[58] OECD (2020), Policy Evaluation: Governance Insights from a Cross Country Study.
[41] OECD (2019), OECD Integrity Review of Mexico City.
[10] OECD (2019), Open Government in Biscay, OECD Public Governance Reviews, OECD Publishing, Paris, https://dx.doi.org/10.1787/e4e1a40c-en.
[54] OECD (2018), Building capacity for evidence informed policy making: A policy guide to support governments, OECD, Paris.
[4] OECD (2018), Draft Policy Framework on Sound Public Governance, http://www.oecd.org/gov/draft-policy-framework-on-sound-public-governance.pdf (accessed on 8 July 2019).
[43] OECD (2016), Evaluation Systems in Development Co-operation: 2016 Review, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264262065-en.
[11] OECD (2016), Open Government: The Global Context and the Way Forward, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264268104-en.
[26] OECD (2010), “DAC Guidelines and Reference Series: Quality Standards for Development Evaluation”, https://www.oecd.org/development/evaluation/qualitystandards.pdf (accessed on 9 July 2019).
[12] OECD-DAC (2009), “Guidelines for Project and Programme Evaluations”, https://www.entwicklung.at/fileadmin/user_upload/Dokumente/Projektabwicklung/Englisch/Guidelines_for_Project_and_Progamme_Evaluations.PDF (accessed on 20 September 2019).
[48] Oliver, K. et al. (2015), “Identifying public health policymakers’ sources of information: comparing survey and network analyses”, The European Journal of Public Health, Vol. 27/suppl_2, p. ckv083, https://doi.org/10.1093/eurpub/ckv083.
[21] Patton, M. (1978), “Utilization-focused evaluation”.
[28] Queensland Government Statistician’s Office, Q. (2020), Queensland Government Program Evaluation, https://www.treasury.qld.gov.au/resource/queensland-government-program-evaluation-guidelines/.
[56] Results for America (2017), Government Mechanisms to Advance the Use of Data and Evidence in Policymaking: A Landscape Review.
[15] SHCP (2018), Documento relativo al cumplimient de las disposiciones contenidas en el parrafo tercero del articulo 80 de la Ley General de Contabilidad Gubernamental.
[35] Stevahn, L. et al. (2005), “Establishing Essential Competencies for Program Evaluators”, ARTICLE American Journal of Evaluation, https://doi.org/10.1177/1098214004273180.
[42] Stufflebeam, D. (2001), Method Notes Evaluation Checklists: Practical Tools for Guiding and Judging Evaluations, http://www.wmich.edu/evalctr/checklists/.
[25] United Nations Evaluation Group (2016), Norms and Standards for Evaluation.
[39] University of Washington (2020), Data Collection for Program Evaluation | Northwest Center for Public Health Practice, http://www.nwcphp.org/training/data-collection-for-program-evaluation (accessed on 12 January 2020).
[23] Vaessen, J. (2018), New blogpost - Five ways to think about quality in evaluation, https://www.linkedin.com/pulse/new-blogpost-five-ways-think-quality-evaluation-jos-vaessen (accessed on 21 June 2019).
[27] World Bank et al. (2019), World Bank Group Evaluation Principles, http://www.worldbank.org.