13. Poniendo los pies sobre la tierra

Abstract

Este capítulo se enfoca en la verificación de hechos derivada de la intervención institucional. Presenta el principio y las prácticas internacionales para evaluar los resultados, describe la visión del OEFA en el diseño de indicadores de desempeño, y presenta una evaluación y recomendaciones con el fin de ayudar al OEFA a alcanzar el nivel de rendimiento esperado por los actores interesados.

    

Las instituciones a cargo de las fiscalizaciones y la promoción del cumplimiento y del sistema de promoción del cumplimiento en general, deben de alcanzar los niveles de desempeño que se espera de ellos—en términos de satisfacción de los actores interesados, eficiencia (beneficios/costos) y efectividad general (seguridad, salud, protección ambiental, etc.,) (OECD, 2014[1]), (OECD, 2018[2]).

Los indicadores clave de desempeño deben rastrearse con regularidad: la satisfacción y la confianza (entre los sujetos regulados, ciudadanos, consumidores, etc.), la eficiencia (costos con relación al presupuesto, carga para los sujetos regulados) y la efectividad (seguridad, salud, protección ambiental, etc.). Aunque existen desafíos y costos significativos involucrados en la recolección de datos, el rastreo del desempeño es indispensable para el buen funcionamiento del sistema y su mejora.

El nivel de satisfacción y confianza de los actores interesados debería ser estable o mostrar mejora. La satisfacción y la confianza de los sujetos regulados debe equilibrarse con la perspectiva de aquellos que esperan protección de las regulaciones (ciudadanos, consumidores, trabajadores, entre otros) en términos de efectividad. El nivel de satisfacción de los actores interesados no debe ser el único indicador de éxito, debido a que la falta de información entre los actores interesados o sus sesgos pueden influir en la expresión de su satisfacción.

Los resultados en cuanto a la salvaguardia del bienestar social y/o el control de los riesgos deberían ser estables o mejorar (corrigiendo las posibles conmociones externas). Las fiscalizaciones y la aplicación de la ley sólo tienen una influencia indirecta y limitada en los objetivos que tratan de proteger (por ejemplo, la seguridad y la salud), por lo que su desempeño debe evaluarse en función de las tendencias y la corrección de las perturbaciones externas. Asimismo, resulta crucial corregir la calidad de datos y los estudios ad hoc cuando los existentes son insuficientes.

La eficiencia en términos de bienestar social equilibrada con los costos para el Estado y la carga para las entidades reguladas debe ser estable o mejorar. Las fiscalizaciones y el cumplimiento generan costos para el Estado y cargas para los sujetos regulados. Estos costos deben rastrearse con regularidad con el fin de equilibrarlos contra el desempeño en términos de efectividad.

Proliferación de indicadores y puntos de datos

El OEFA cuenta con un conjunto de indicadores – en particular en los Planes Estratégicos Institucionales y Operacionales del OEFA, así como en el PLANEFA del OEFA – dirigidos a evaluar la eficiencia y la efectividad de la agencia, así como la satisfacción de los actores interesados. Los indicadores son bastante numerosos, lo que puede llevar a una percepción errónea, ya que existen muchos indicadores en diferentes documentos, algunos de los cuales se superponen (p. ej., PEI para 2017-2019 y 2019-2022).

Los resultados que se incluyen actualmente en las Memorias Institucionales del OEFA reflejan los resultados, p. ej., número de quejas, tipos de violaciones, número de multas, número de medidas administrativas impuestas, incumplimientos remediados. La publicación del número de sanciones y otras medidas impuestas contribuye a la transparencia y a la rendición de cuentas, pero no refleja el enfoque de la agencia en términos de bienestar público, y el OEFA ha afirmado que este no es su propósito. Una situación similar aplica para la mayoría de los resultados del 2018 que contiene el Informe de Evaluación del PEI 2017-2019 – en particular, el porcentaje de las entidades comerciales inspeccionadas, el porcentaje de violaciones confirmado en la segunda instancia – así como otros indicadores, por ejemplo, aquellos establecidos en el POI para 2018 y en el PEI para 2019-2022.

De manera similar, el Boletín del OEFA (OEFA en Cifras) proporciona las estadísticas y los datos sobre las actividades de la agencia en una base trimestral, pero en la actualidad sobre todo en términos de productos (no de indicadores de resultados). Además, los resultados de la medición no siempre son fáciles de encontrar y con frecuencia resulta poco claro a qué indicador se relacionan los datos que se ponen disponibles para el público (por ejemplo en el OEFA en Cifras).

Lo anterior se debe principalmente a que la mayoría de los indicadores son de introducción reciente (p. ej., aquellos establecidos en el PLANEFA del OEFA para el año civil 2019) y aún no se han medido. Además, por el momento, los informes estadísticos trimestrales del OEFA no establecen una diferencia entre diferentes tipos de “resultados”. Los informes anuales y trimestrales del OEFA no solo establecen un informe sobre los indicadores (como la tasa de cumplimiento), sino que también brindan información necesaria, p. ej., para propósitos de rendición de cuentas (sobre las actividades de la agencia, como el número de comentarios recibidos durante los procesos de consulta).

A pesar de que es notorio el esfuerzo realizado por el OEFA para garantizar la transparencia relativa a sus actividades, acciones, entre otras, la proliferación de números, gráficas, e información diversa crea un poco de confusión al realizar una búsqueda de datos importantes relacionados al desempeño del OEFA. El OEFA ha notificado haber reconocido la necesidad de realizar una “limpieza” o de categorizar mejor la información proporcionada en los informes trimestrales y anuales. Los resultados de las mediciones que reflejan los resultados de la agencia deben comenzar a estar disponibles al final de este año civil. Además, en el proceso para la definición de los indicadores, el OEFA podría clarificar dónde y cuándo las mediciones relevantes pueden encontrarse para cada conjunto de indicadores.

Indicadores de desempeño recién introducidos

Se han establecido varios indicadores para medir el desempeño del OEFA en términos de salvaguardar el bienestar social y/o controlar riesgos.

Los PLANEFA preparados para todas las EFA para los años fiscales/civiles 2019 y 2020, se dirigen a introducir indicadores desarrollados basándose en una teoría de cambio, como se muestra en la Figura 13.1, Figura 13.2 y la Figura 13.3. Se han impartido y se han estado impartiendo talleres sobre la preparación de estos indicadores.

Figura 13.1. Teoría del cambio utilizada para el diseño de los indicadores del PLANEFA

Fuente: OEFA (n.d.[3]), Organismo de Evaluación y Fiscalización Ambiental, https://www.gob.pe/minam/oefa (acceso el 14 de octubre de 2019).

Figura 13.2. Ejemplo práctico sobre ruido

Fuente: OEFA (n.d.[3]), Organismo de Evaluación y Fiscalización Ambiental, https://www.gob.pe/minam/oefa (acceso el 14 de octubre de 2019).

Figura 13.3. El marco para la evaluación de la política regulatoria

Fuente: OECD (2014[4]), OECD Framework for Regulatory Policy Evaluation, Paris, https://dx.doi.org/10.1787/9789264214453-en.

El OEFA ha desarrollado la metodología para diseñar indicadores en los PLANEFA basándose en una serie de fuentes,1 incluyendo el Framework for Regulatory Policy Evaluation [marco para la evaluación de políticas regulatorias] de la OCDE (2014), como se muestra en la Figura 13.3. Las Guías PLANEFA establecen que las EFA deben contar con indicadores que permitan medir la efectividad del desempeño de las fiscalizaciones ambientales y el cumplimiento, como la reducción de riesgos y prevención de daños con respecto al problema ambiental que se ha identificado, con el fin de incrementar bienestar social.2

El PLANEFA actual del OEFA tiene indicadores de impacto. Ejemplos de estos son: la disminución de la concentración de contaminantes (%), la mejoría en la percepción de la población en el área de influencia del OEFA, número de hectáreas con el logro del cumplimiento, número de personas directamente beneficiadas de la intervención del OEFA, entre otros (véase el Capítulo 2 sobre Cumplimiento basado en la evidencia y el PLANEFA del OEFA para 2019, p. 36). También se incluyen indicadores en términos de "resultados" (o efectos), a menudo en términos de cumplimiento logrado. Posteriormente se establecen indicadores específicos para cada sector de responsabilidad del OEFA, basados en el mismo método.

Podemos ver en el Plan Estratégico Institucional del OEFA un esfuerzo real para establecer indicadores basándose en los cuatro objetivos estratégicos establecidos para el período de 2019-2022. Como se menciona en el Capítulo 6 sobre Visión a largo plazo, dichos objetivos son 1) fortalecer el desempeño del OEFA; 2) incrementar el cumplimiento con los requisitos regulatorios entre los sujetos regulados; 3) “modernizar” la gestión institucional del OEFA; y 4) reducir la vulnerabilidad del OEFA con respecto al riesgo de desastre.

El indicador establecido para el objetivo estratégico (2) es el porcentaje promedio de cumplimiento con los requisitos regulatorios comprobado en los operadores inspeccionados. Posteriormente, cada indicador se combina con varias acciones estratégicas institucionales para respaldar el resultado esperado. Para continuar con este ejemplo, las acciones estratégicas institucionales relevantes son las siguientes:

• (1) Porcentaje de evaluaciones ambientales preventivas y responsivas3 que sirvan como insumos técnicos para las acciones de cumplimiento ambiental

• (2) Porcentaje de medidas administrativas impuestas en la etapa de fiscalizaciones cumplidas por los sujetos regulados

• (3) Porcentaje de recomendaciones en los informes de las fiscalizaciones confirmadas por la dirección del OEFA a cargo del cumplimiento y la imposición de incentivos

• (4.1) Porcentaje de decisiones que determinan la responsabilidad administrativa confirmada en la primera instancia

• (4.2) Porcentaje de infracciones confirmadas en la segunda instancia

• (5) Porcentaje de compromisos realizados por el OEFA en plataformas de diálogo que se han cumplido

Este es un conjunto de indicadores útil y bien construido, que aspira a medir el cumplimiento, aunque no necesariamente mide la protección ambiental real.4

Sin embargo, como ya se mencionó en el Capítulo 6 sobre Visión a largo plazo, dichos objetivos e indicadores podrían desarrollarse más, considerando que dos objetivos estratégicos sectoriales principales establecidos por el Ministerio del Ambiente son a) “Mejorar las condiciones de la calidad del medio ambiente para proteger la salud de las personas y los ecosistemas”, y b) “Fortalecer la concienciación ambiental, la cultura y la gobernanza”. Aunque los indicadores sectoriales del PLANEFA consideran más sistemáticamente elementos fundamentales como el desempeño en términos de protección del medio ambiente y la salud de las personas, el PEI (Plan Estratégico Institucional) falla en cierto modo en llegar al fondo. Debe incluirse el porcentaje de recursos asignados a a) acciones preventivas y b) acciones reactivas (con el objetivo de reducir las últimas).

De acuerdo con la Guía para el Planeamiento Institucional del CEPLAN, el OEFA debe limitarse a los objetivos con los que se relaciona, como mucho, a los “resultados iniciales” de la política pública. A partir de esta perspectiva, varios objetivos e indicadores establecidos por el OEFA en su PEI y PLANEFA van más allá de estas instrucciones. Las guías del CEPLAN parecen limitar la capacidad del OEFA para continuar y expandir los esfuerzos iniciados en el diseño y la adopción de objetivos e indicadores en términos de productos, para el enfoque y la efectividad de la agencia en términos de protección de la meta regulatoria. Los indicadores y los datos utilizados para evaluar el desempeño de las actividades de las autoridades de fiscalización y el cumplimiento deben enfocarse en resultados e impactos; es decir, reduciendo los riesgos y el número de accidentes y otros incidentes, protegiendo los objetos de valor. Deben ayudar a comprender si las actividades realizadas son útiles en términos de metas regulatorias. Medir los productos no es importante. Es un indicador circular que muestra el logro de ciertas actividades. Respecto a este tema véase el Recuadro 13.1.

Recuadro 13.1. Midiendo productos y cumplimiento

Midiendo productos

Muchas instituciones de implementación de la regulación utilizan los resultados, y en particular las cifras de fiscalización, como indicador de rendimiento. Sin embargo, se trata de una referencia circular: el aumento del volumen de trabajo llevará automáticamente a suponer que el rendimiento ha aumentado si se equiparan los dos, y no tendrá el propósito de evaluar si el trabajo fue eficaz o no.

De hecho, las medidas de producción no proporcionan información sobre la cronología de una intervención de cumplimiento. El hecho de medir sólo los resultados significa que mientras más produzca una “actividad” la agencia, mayor será su “calificación”, incluso si falla completamente en su misión. Sin embargo, esto con frecuencia sucede en la impartición regulatoria, basándose en la suposición que existe entre muchos de que “más” significa automáticamente “mejor”, que más fiscalizaciones y sanciones crearán invariablemente un mayor cumplimiento y mejores resultados. Esto se basa en modelos de cumplimiento basados puramente en la disuasión y en la suposición de que un mejor cumplimiento es idéntico a mejores resultados (p. ej., seguridad). Además, el hecho de dar incentivos a los inspectorados para que fiscalicen (y utilizar medidas de cumplimiento) en la medida de lo posible, los distrae de considerar los resultados reales, tanto en términos de metas de bienestar público que se supone que deben ayudar a alcanzar, como del impacto social y económico de sus actividades.

Midiendo el cumplimiento

Medir los niveles de cumplimiento y utilizar sus variaciones para evaluar el desempeño de la impartición regulatoria, parecería estar relacionado directamente con los mandatos regulatorios y el objetivo de las actividades de impartición. Sin embargo, puede ser problemático.

En primer lugar, existe un vínculo imperfecto entre el cumplimiento y los resultados deseados: parecería que solo las normas técnicas “prescriptivas” parecen dar la certeza de que lo que se requiere del negocio corresponde al propósito de la regulación. No obstante, estas normas dejan al negocio con incertidumbre respecto a cómo alcanzar el resultado deseado y pone a los inspectores en una situación difícil debido a los retrasos o a los efectos de terceros.

El segundo problema es la dificultad de obtener datos de cumplimiento confiables. Los negocios tienen una comprensión imperfecta de lo que sería un cumplimiento completo, y se rehúsan a notificar fraudes y violaciones. Los inspectores tienen una serie de incentivos para informar sobre los niveles de cumplimiento que pueden diferir de la realidad y, por supuesto, nunca tienen una visión completa del nivel de cumplimiento de un negocio determinado, ni siquiera de uno que fiscalicen. Una tasa de cumplimiento bruta no es suficiente en ningún caso, ya que debe corregirse en función del nivel de riesgo o daño creado por las diferentes infracciones.

Una tercera razón para tener precaución es que tal vez el pleno cumplimiento de todos los reglamentos no siempre es un objetivo deseable. Aunque teóricamente pueda ser así, lograr el pleno cumplimiento puede dar lugar a costos excesivamente altos de promoción de fiscalización y cumplimiento.

Fuente: Russell and Hodges (2019[5]), Regulatory Delivery, Hart Publishing.

Los documentos operativos y estratégicos del OEFA también reflejan un intento de establecer indicadores para medir la eficiencia de la agencia.

La Memoria institucional del OEFA muestra una reducción significativa en la duración de la elaboración de los informes de fiscalización – de 274 días en promedio en 2016 a 57 días en 2018 – así como en el número de informes pendientes – de 11 185 en septiembre de 2016 a 49 en diciembre de 2017. Sin embargo, no existe ningún indicador que refleje el desempeño en términos de bienestar social equilibrado con los costos para el Estado y la carga para las entidades reguladas. Asimismo, no existen indicadores respecto a si estas tareas contribuyen a resultados positivos reales para las entidades reguladas.

Se han establecido indicadores interesantes en el PEI en términos de fortalecer las capacidades dentro del OEFA y de la gestión de recursos humanos orientadas al género. Estas se medirán a partir de 2019.

Medición de la satisfacción de los actores interesados

El nivel de satisfacción y confianza de los actores interesados (negocios, sociedad civil) se está midiendo en cierto grado. Un primer estudio de "Percepción del Desempeño de la Fiscalización Ambiental en zonas de Conflictividad Socio Ambiental” realizado en 2017 mostró que el 80% de los sujetos que respondieron (de 723 sujetos respondieron que sabían sobre el OEFA) no confían en la agencia (OEFA, n.d.[6]). El estudio se realizó poco tiempo después de que asumió la nueva administración del OEFA, y se debe realizar de nuevo a finales de 2019. En paralelo, el nivel de satisfacción con respecto a los servicios de atención de los ciudadanos también se ha rastreado, como un indicador establecido en el PEI – a través de los estudios realizados por el personal a cargo de la Asistencia al Ciudadano en el OEFA y en las delegaciones locales del OEFA. La proporción de sujetos que respondieron satisfechos fue el 95.94% en 2018, un poco mayor que aquella de 2017 (94.68%). Sin embargo, para aumentar la fiabilidad de los datos, esas encuestas deberían ser administradas por un tercero, en lugar del personal que realiza el indicador de desempeño.

Estos resultados indican que el OEFA se percibe como responsivo a las consultas de los ciudadanos, pero que la confianza en sus actividades se está viendo desafiada en las áreas de conflictos socio- ambientales. Lo que está faltando es la medición de la confianza por parte de los actores interesados también en las áreas que no son sensibles desde una perspectiva social y política, así como la satisfacción y confianza entre los sujetos inspeccionados.

Evaluación

El OEFA ha establecido varios indicadores dirigidos a evaluar la eficiencia y la efectividad de la agencia, así como la satisfacción de los actores interesados. Los indicadores de confianza y satisfacción también podrían incluir la retroalimentación de las entidades inspeccionadas (y el OEFA necesita prestar atención a la calidad de los datos recolectados).

Se han hecho esfuerzos significativos para garantizar que el desempeño del OEFA se mida a través de varios indicadores. Los resultados disponibles principalmente muestran mediciones sobre todo en términos de productos, ya que la mayoría de los indicadores de “efectividad” en términos de resultados se han establecido recientemente, y todavía no se han medido.

Los indicadores de “efectividad” deben dirigirse a medir el impacto de las operaciones de la agencia en términos de situación ambiental, para comprender si las actividades realizadas son útiles en términos de metas regulatorias y cómo ajustarlas/mejorarlas. El alcance del OEFA para hacerlo es algo limitado por el hecho de que es el MINAM quien tiene la responsabilidad de definir y notificar los indicadores de efectividad relacionados a la protección ambiental, y eso es algo que el gobierno peruano necesita reconsiderar (y esto aplica a todas las autoridades de fiscalización y cumplimiento).

Los indicadores dirigidos a medir la eficiencia de la agencia deben mejorarse más, a fin de considerar eficazmente el desempeño en términos de bienestar social equilibrado con los costos para el Estado y la carga para el sector privado.

Recomendaciones

• Existe una variedad de indicadores de desempeño del OEFA, así como una multitud de datos sobre las actividades del OEFA (incluyendo dentro de la agencia). Existe una necesidad para que el OEFA diferencie y clasifique mejor los indicadores notificados, así como de comunicar claramente al público cuándo y dónde pueden encontrarse estos. También es posible que el OEFA considere informar al público y a los actores interesados sobre los diferentes tipos de indicadores, por qué y en qué documento se establecen (p. ej., mostrando esta información claramente en su sitio web, por medio de una sección dentro del informe anual, entre otras).

• Es indispensable fortalecer el enfoque sobre los indicadores de resultados reales (efectividad). Se debe realizar una clara diferencia entre los indicadores de volumen de actividades y los indicadores de productos y efectividad.

• El MINAM debe considerar permitir al OEFA desarrollar indicadores de desempeño más orientados a medir la efectividad de sus actividades en el medio ambiente, así como otros objetivos de política clave. Los indicadores de “efectividad” deben dirigirse a medir el impacto de las operaciones de la agencia en términos de situación ambiental para, de tal manera, entender si las actividades realizadas son útiles en términos de metas regulatorias, y cómo ajustarlas/mejorarlas. Con base en esto se recomienda que el OEFA refine sus indicadores actuales y desarrolle unos nuevos que se enfoquen en lo que es importante (número de accidentes y otros incidentes, cantidad de descargas ilegales, porcentaje de recursos dedicados a a) acciones preventivas y b) acciones reactivas, entre otras).

• El OEFA debe reconsiderar el método utilizado para medir el nivel de satisfacción con respecto a los servicios de los ciudadanos, incluyendo la medición de confianza de los actores interesados en general, así como la satisfacción y la confianza entre los sujetos inspeccionados.

• Los indicadores dirigidos a medir la eficiencia de la agencia deben considerar efectivamente el desempeño en términos de bienestar social balanceado con los costos para el estado y la carga para el sector privado.

• Es necesario mejorar la forma en que se comunica la información en los informes trimestrales/anuales para asegurar que los indicadores de ejecución se distingan claramente de los indicadores relacionados con las actividades y los productos.

• Aclarar si las reacciones de los actores interesados a otros procesos diferentes a la consulta ex ante de los documentos y los reglamentos del OEFA se están evaluando y tomando en cuenta. Si esto no se realiza, desarrollar dicha práctica.

Referencias

[2] OECD (2018), OECD Regulatory Enforcement and Inspections Toolkit, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264303959-en.

[4] OECD (2014), OECD Framework for Regulatory Policy Evaluation, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264214453-en.

[1] OECD (2014), Regulatory Enforcement and Inspections, OECD Best Practice Principles for Regulatory Policy, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264208117-en.

[6] OEFA (n.d.), Estudio de percepción en zonas de conflictividad socioambiental priorizadas por el OEFA, https://griveram8.wixsite.com/oefa-percepcion (accessed on 15 October 2019).

[3] OEFA (n.d.), Organismo de Evaluación y Fiscalización Ambiental, https://www.gob.pe/minam/oefa (accessed on 14 October 2019).

[5] Russell, G. and C. Hodges (2019), Regulatory Delivery, Hart Publishing.

Notas

← 1. El OEFA a establecido esta metodología utilizando diferentes fuentes: Banco Mundial (2011) La evaluación de impacto en la práctica; CEPAL (2005) Manual para la evaluación de impacto; IVALUA (2009) Colección Ivalua de guías prácticas sobre evaluación de políticas públicas; JPAL (2017) Implementing randomized evaluations in government.

← 2. Véase el Art. 11 de las Guías relevantes.

← 3. Las evaluaciones de impacto ambiental responsivas se realizan tras la aparición de un impacto negativo en el medio ambiente para establecer la responsabilidad del accidente/incidente/entre otras.

← 4. El cumplimiento no puede equipararse con resultados en términos de protección ambiental, debido a que las normas son inherentemente imperfectas y a que no pueden predecir totalmente los resultados ambientales (u otros).