Anexo A. Metodología
Medir el desempeño de los reguladores constituye un reto, empezando porque se debe definir qué se medirá, lidiar con factores confusos, atribuir resultados a las intervenciones y enfrentarse a la falta de datos e información. En este anexo se describe la metodología desarrollada por la OCDE para ayudar a los organismos reguladores a enfrentar estos retos por medio de un Marco para la Evaluación del Desempeño de los Reguladores Económicos (Performance Assessment Framework for Economic Regulators, PAFER), que conforma este estudio. El anexo muestra parte del trabajo realizado por la OCDE sobre medición del desempeño regulatorio. Luego describe las características clave del PAFER y ofrece una tipología de los indicadores de desempeño para medir insumos, proceso, rendimiento y resultados. Por último, presenta una perspectiva del criterio y las medidas prácticas tomadas para desarrollar este informe.
En este anexo se resume la metodología desarrollada por la OCDE para evaluar los acuerdos de gobernanza de las autoridades reguladoras, los factores que impulsan su desempeño, así como las matrices con que lo miden. La metodología se preparó con base en la experiencia de los reguladores integrantes de la Red de Reguladores Económicos de la OCDE y el presente estudio representa su decimotercera aplicación a un organismo regulador. Los siguientes son otros estudios que abarcan varios sectores y países: la Comisión de Regulación de Comunicaciones de Colombia (OECD, 2015[1]); la Comisión de Servicios Públicos de Letonia (OECD, 2016[2]), los tres reguladores de energía de México (OECD, 2017[3]), (OECD, 2017[4]), (OECD, 2017[5]), (OECD, 2017[6]); la Comisión de Regulación de Servicios Públicos de Irlanda (OECD, 2018[7]); el Regulador de Energía y Minería de Perú (OECD, 2019[8]); el Regulador de Telecomunicaciones de Perú (OECD, 2019[9]), el Regulador de Infraestructura de Transporte del Perú (OECD, 2020[10]) la Agencia de Protección Ambiental de Irlanda (OECD, 2020[11]), la Autoridad Reguladora de Servicios Energéticos de Portugal (OECD, 2021[12]) y la Autoridad Reguladora de la Electricidad de Brasil (OECD, 2021[13]). Desde su primera aplicación, la metodología se ha adaptado a las lecciones aprendidas a lo largo del proceso de estudio y se ajusta para tomar en cuenta las necesidades específicas y las características contextuales de cada regulador, sector y jurisdicción.
El marco analítico que conforma este estudio se basa en el trabajo realizado por la OCDE al medir el desempeño regulatorio y la gobernanza de los reguladores económicos. Los países miembros de la OCDE y los reguladores han reconocido la necesidad de medir este desempeño. La información sobre este desempeño es necesaria para destinar mejor los escasos recursos y optimizar el desempeño general de las normas regulatorias y de los reguladores. Sin embargo, la medición del desempeño regulatorio puede resultar todo un desafío. Algunos de estos retos incluyen:
Qué medir: los sistemas de evaluación requieren un diagnóstico de la manera en que los insumos influyen en el rendimiento y los resultados. En el caso de la política regulatoria, los insumos pueden centrarse en: i) los programas generales diseñados para promover una mejora sistemática de la calidad regulatoria; ii) la aplicación de prácticas específicas tendientes a mejorar la regulación o iii) cambios en el diseño de reglamentos específicos.
Factores confusos: hay infinidad de problemas contingentes que influyen en los resultados en la sociedad a la que se prevé que afecte la regulación. Estos problemas pueden ser tan sencillos como un cambio en el estado del tiempo o tan complicados como la última crisis financiera. Por consiguiente, es difícil establecer una relación causal directa entre la adopción de mejores prácticas regulatorias y mejoras específicas en los resultados de bienestar buscados en la economía.
Falta de datos e información: los países suelen carecer de datos y metodologías para identificar si las prácticas regulatorias se ejecutan correctamente y qué impacto pueden tener en la economía real.
El Marco de la OCDE para la evaluación de la política regulatoria (OECD, 2014[14]) aborda estos retos con una lógica de insumos-proceso-rendimiento- resultados, la que divide el proceso regulatorio en una secuencia de pasos concretos. Dicha lógica es flexible y puede aplicarse tanto a la evaluación de las prácticas para mejorar la normativa regulatoria en general, como a la evaluación de la normativa regulatoria en sectores específicos, con base en la identificación de objetivos estratégicos pertinentes. Puede adaptarse a los reguladores económicos tomando en cuenta las condiciones que respaldan su desempeño (Recuadro A A.1).
Los Principios para la Mejores Prácticas de la OCDE en materia de Política Regulatoria: Gobernanza de Reguladores (OECD, 2014[15]) identifica algunas de las condiciones que respaldan el desempeño de los reguladores económicos. Reconocen la importancia de evaluar la manera en que un regulador se dirige, controla, financia y se responsabiliza, con el fin de aumentar la eficacia general de los reguladores y promover el crecimiento y la inversión, incluyendo el apoyo a la competencia. Más aún, confirman el efecto positivo que el propio proceso interno del órgano regulador – cómo gestiona los recursos y qué procesos implanta para regular determinado sector o mercado – tiene en los resultados (Gráfica A A.1).
Paso I. Insumos: los indicadores incluyen, por ejemplo, el presupuesto y el personal del cuerpo de supervisión regulatoria.
Paso II. Proceso: los indicadores evalúan si hay requisitos formales para buenas prácticas regulatorias. Esto incluye los requisitos para establecer objetivos, la consulta, análisis de hechos fehacientes, simplificación administrativa, evaluaciones de riesgos y armonización internacional de cambios regulatorios.
Paso III. Rendimiento: los indicadores proporcionan información que comunica si en realidad se implementaron buenas prácticas regulatorias.
Paso IV. Impacto del diseño en los resultados (también denominados resultados intermedios): los indicadores evalúan si las buenas prácticas regulatorias contribuyeron a mejorar la calidad de los reglamentos. Por ende, intenta crear un vínculo causal entre el diseño de la política regulatoria y los resultados.
Paso V. Resultados estratégicos: los indicadores evalúan si se lograron los resultados deseados con la política regulatoria, tanto en función de la calidad regulatoria como de resultados regulatorios.
Fuente: (OECD, 2014[14]).
Fuente: Adaptado de (OECD, 2014[15]).
Los dos marcos se juntan en un Marco para la Evaluación del Desempeño de los Reguladores Económicos (Performance Assessment Framework for Economic Regulators, PAFER) que estructura los impulsores del desempeño en el marco de insumos-proceso-rendimiento-resultado (Cuadro A A.1).
Para los reguladores, los indicadores de desempeño necesitan ser adecuados para la evaluación del desempeño, la cual es una valoración analítica, sistemática, de las actividades del órgano regulador con el fin de buscar la confiabilidad y funcionalidad de sus actividades. La evaluación del desempeño no es una auditoría que juzga cómo llevan a cabo su misión los empleados y directores, ni un control que haga énfasis en el cumplimiento de las normas (OECD, 2004[16]).
Por consiguiente, los indicadores de desempeño necesitan evaluar el uso eficiente y eficaz de los insumos de un regulador, la calidad de los procesos regulatorios e identificar el rendimiento y algunos resultados directos que puedan atribuirse a las intervenciones del regulador. Los resultados más amplios deberán servir como “atalaya” que proporciona la información que el regulador puede utilizar para identificar las áreas problemáticas, orientar las decisiones e identificar las prioridades (Gráfica A A.2).
Notas: Este marco fue propuesto en la metodología inicial para el Marco para la Evaluación del Desempeño de los Reguladores Económicos (Performance Assessment Framework for Economic Regulators, PAFER) analizado con la Red de Reguladores Económicos (Network of Economic Regulators, NER) de la OCDE. Se afinó para reflejar la retroalimentación de los miembros de la NER y la experiencia de otros reguladores en la evaluación de su propio desempeño.
Fuente: (OECD, 2015[17]), Driving Performance at Colombia’s Communications Regulator, gráfica 3.3 (actualizado en 2017), https://doi.org/10.1787/9789264232945-en.
El marco analítico presentado con anterioridad sustentó la recopilación de datos y el análisis presentado en el informe. En el presente informe se analizan los mecanismos de gobernanza interna y externa de la Superintendencia Nacional de Servicios de Saneamiento (Sunass) del Perú en las siguientes áreas:
Función y objetivos: Verificar que se cuente con un conjunto de objetivos, metas o propósitos claramente identificados y congruentes con las funciones y competencias del regulador, que puedan fundamentar el desarrollo de indicadores de desempeño viables
Aportación: Determinar en qué medida el financiamiento y la asignación de personal al regulador armonizan con sus objetivos, metas o propósitos, así como la capacidad del regulador para gestionar los recursos financieros y humanos de forma autónoma y eficaz
Proceso: Evaluar la medida en que los procesos y la gestión organizativa apoyan la actuación del regulador
Productos y resultados: Verificar que se evalúe con periodicidad el rendimiento de las entidades reguladas, el impacto de las decisiones y actividades del regulador, y el grado en que dichas mediciones se utilizan de manera adecuada
Los datos que documentaron el análisis presentado en el informe se recogieron por medio de un estudio preliminar, dos misiones de investigación y una misión de pares:
Cuestionario y estudio preliminar: La Sunass contestó un cuestionario detallado que sirvió como base para la realización de un estudio preliminar por parte del Secretariado de la OCDE. Dicho Secretariado analizó la legislación vigente y los documentos de la Sunass para recabar información sobre el funcionamiento de jure del regulador y para sustentar las misiones de investigación. El cuestionario se adaptó específicamente para la Sunass, a partir de la metodología que la OCDE ha aplicado a otros reguladores desde 2015 y de la participación de la Sunass en anteriores investigaciones de la OCDE, como el libro La gobernanza del agua en Perú, publicado en 2021.
Misiones de investigación: Entre el 3 y el 11 de junio de 2021, el Secretariado de la OCDE llevó a cabo la primera misión de investigación, con el objetivo de reunirse con los equipos internos de la Sunass. La segunda misión de investigación, que tuvo lugar entre el 21 de junio y el 25 de junio de 2021, se orientó principalmente a reunirse con las partes interesadas externas. Las misiones fueron la herramienta clave para recopilar y completar la información de jure obtenida vía el cuestionario con la situación de facto. El trabajo de las misiones de investigación adaptó la metodología del Marco para la Evaluación del Desempeño de los Reguladores Económicos de la OCDE (PAFER, por siglas en inglés) a las características de la Sunass. La información recogida se completó y se verificó con la Sunass para comprobar su exactitud. Ambas misiones fueron virtuales debido al contexto de la pandemia de COVID-19.
Misión de pares: La misión de pares tuvo lugar entre el 6 y el 10 de septiembre de 2021 y contó con pares evaluadores de Italia, Portugal y Estados Unidos, además del Secretariado de la OCDE. Los integrantes de esta misión se reunieron con las principales partes interesadas, tanto en las instalaciones de la Sunass como fuera de ellas. Al final de la misión, el equipo, junto con la alta dirección de la Sunass, analizó las conclusiones y recomendaciones preliminares para comprobar su viabilidad. La misión se realizó a distancia por videoconferencia.
Durante las misiones de investigación y la de pares, el equipo trabajó con el equipo directivo de la Sunass, así como con varios miembros de su personal. Asimismo, se reunió con representantes de instituciones gubernamentales y partes interesadas externas, entre ellas las siguientes:
Organismo Técnico de la Administración de los Servicios de Saneamiento (OTASS)
Instituto Nacional de Defensa de la Competencia y de la Protección de la Propiedad Intelectual (INDECOPI)
Autoridades Técnicas Municipales (ATMs) de Cuzco y Los Baños del Inca
Gobierno Regional de Vivienda, Construcción y Saneamiento de Arequipa, Ayacucho y Tumbes
Comisión de Vivienda, Construcción y Saneamiento del Congreso de la República
Asociación Nacional de Prestadores de Servicios de Saneamiento del Perú (ANEPSSA)
Juntas Administradoras de Servicios de Saneamiento (JASS) de Namora, San José y Santo Tomás
Representantes de los Consejos de Usuarios (Este, Lima y Sur)
Referencias
[13] OECD (2021), Driving Performance at Brazil’s Electricity Regulatory Agency, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/11824ef6-en.
[12] OECD (2021), Driving Performance at Portugal’s Energy Services Regulatory Authority, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/05fb2fae-en.
[11] OECD (2020), Driving Performance at Ireland’s Environmental Protection Agency, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/009a0785-en.
[10] OECD (2020), Driving Performance at Peru’s Transport Infrastructure Regulator, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/d4ddab52-en.
[8] OECD (2019), Driving Performance at Peru’s Energy and Mining Regulator, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264310865-en.
[9] OECD (2019), Driving Performance at Peru’s Telecommunications Regulator, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264310506-en.
[7] OECD (2018), Driving Performance at Ireland’s Commission for Regulation of Utilities, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/9789264190061-en.
[6] OECD (2017), Driving Performance at Mexico’s Agency for Safety, Energy and Environment, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264280458-en.
[4] OECD (2017), Driving Performance at Mexico’s Energy Regulatory Commission, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264280830-en.
[5] OECD (2017), Driving Performance at Mexico’s National Hydrocarbons Commission, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264280748-en.
[3] OECD (2017), Driving Performance of Mexico’s Energy Regulators, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264267848-en.
[2] OECD (2016), Driving Performance at Latvia’s Public Utilities Commission, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264257962-en.
[17] OECD (2015), Driving Performance at Colombia’s Communications Regulator, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264232945-en.
[1] OECD (2015), Driving Performance at Colombia’s Communications Regulator, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264232945-en.
[14] OECD (2014), OECD Framework for Regulatory Policy Evaluation, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264214453-en.
[15] OECD (2014), The Governance of Regulators, OECD Best Practice Principles for Regulatory Policy, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264209015-en.
[16] OECD (2004), The choice of tools for enhancing policy impact: Evaluation and review, http://www.oecd.org/officialdocuments/publicdisplaydocumentpdf/?cote=gov/pgc(2004)4&doclanguage=en.