Anexo A. Metodologia
Medir o desempenho regulatório é uma tarefa desafiadora, começando por definir o que medir, abordar fatores de confusão, atribuir resultados às intervenções e lidar com a falta de dados e informações. Este anexo descreve a metodologia desenvolvida pela OCDE para ajudar os reguladores a enfrentar esses desafios através de um Quadro de Avaliação de Desempenho para Reguladores Econômicos (PAFER), que serve de base para este relatório. O anexo começa apresentando alguns dos trabalhos realizados pela OCDE sobre a medição do desempenho regulatório. Em seguida, descreve as principais características do PAFER e apresenta uma tipologia de indicadores de desempenho para medir insumos, processos, produtos e resultados. Por fim, fornece um panorama da abordagem e das medidas práticas adotadas para desenvolver este relatório.
Este anexo resume a metodologia desenvolvida pela OCDE para avaliar os arranjos de governança das autoridades reguladoras, os fatores determinantes do desempenho, assim como suas matrizes de medição de desempenho. A metodologia foi preparada com base na experiência dos reguladores que participam da Rede de Reguladores Econômicos da OCDE e o presente relatório constitui sua décima terceira aplicação a um órgão regulador. Outros relatórios que abrangem vários setores e países incluem: Comissão de Regulação de Comunicações da Colômbia (OECD, 2015[1]); Comissão de Serviços Públicos da Letônia (OECD, 2016[2]), Os três reguladores de energia do México (OECD, 2017[3]), (OECD, 2017[4]), (OECD, 2017[5]), (OECD, 2017[6]); Comissão para Regulação dos Serviços Públicos da Irlanda (OECD, 2018[7]); Regulador de Energia e Mineração do Peru (OECD, 2019[8]); Regulador de Telecomunicações do Peru (OECD, 2019[9]), Regulador de Infraestrutura de Transportes do Peru (OECD, 2020[10]) Agência de Proteção Ambiental da a Irlanda (OECD, 2020[11]), e Entidade Reguladora dos Serviços Energéticos de Portugal (OECD, 2021[12]). A metodologia foi adaptada desde sua primeira aplicação aos aprendizados adquiridos ao longo do processo de análise e está adequada para levar em consideração as necessidades específicas e características contextuais de cada regulador, setor e jurisdição.
A estrutura analítica que constitui este relatório se baseia no trabalho realizado pela OCDE para medir o desempenho regulatório e a governança dos reguladores econômicos. Os países membros da OCDE e os reguladores reconheceram a necessidade de medir o desempenho regulatório. As informações sobre o desempenho regulatório são necessárias para melhor direcionar recursos escassos e para melhorar o desempenho geral das políticas regulatórias e dos reguladores. Entretanto, a medição do desempenho regulatório pode ser desafiadora. Alguns desses desafios incluem:
O que medir: os sistemas de avaliação exigem uma avaliação de como os insumos influenciaram os produtos e resultados. No caso da política regulatória, os insumos podem se concentrar em: i) programas gerais destinados a promover uma melhoria sistêmica da qualidade regulatória; ii) aplicação de práticas específicas destinadas a melhorar a regulação, ou iii) mudanças na concepção de regulamentações específicas.
Fatores de confusão: existe uma infinidade de questões contingentes que têm impacto sobre os resultados na sociedade que a regulação pretende afetar. Essas questões podem ser tão simples quanto uma mudança no clima, ou tão complicadas quanto a última crise financeira. Assim, é difícil estabelecer uma relação causal direta entre a adoção de melhores práticas de regulação e melhorias específicas nos resultados de bem-estar que são buscados na economia.
Falta de dados e informações: os países tendem a carecer de dados e metodologias para identificar se as práticas regulatórias estão sendo adotadas corretamente e que impacto essas práticas podem estar tendo sobre a economia real.
O Quadro para a Avaliação das Políticas Regulatórias da OCDE (2014[13]) começa enfrentando esses desafios através de uma lógica insumo-processo-produto-resultado, que divide o processo regulatório numa sequência de etapas discretas. A lógica insumo-processo-produto-resultado é flexível e pode ser aplicada tanto para avaliar práticas para melhorar a política regulatória em geral, como também para avaliar a política regulatória em setores específicos, com base na identificação de objetivos estratégicos relevantes. Ela pode ser adaptada aos reguladores econômicos, levando em consideração as condições que sustentam o desempenho dos reguladores econômicos (Quadro A A.1).
Os Princípios de Melhores Práticas da OCDE para Políticas Regulatórias: a Governança de Reguladores (OECD, 2014[14]) identifica algumas das condições que sustentam o desempenho dos reguladores econômicos. Eles reconhecem a importância de avaliar como um regulador é dirigido, controlado, dotado de recursos e responsabilizado, a fim de melhorar a efetividade geral dos reguladores e promover o crescimento e o investimento, inclusive através do incentivo à concorrência. Além disso, eles reconhecem o impacto positivo do próprio processo interno do regulador sobre os resultados (ou seja, como o regulador administra os recursos e que processos o regulador coloca em prática para regular um determinado setor ou mercado) (Figura A A.1).
Etapa I. Insumo: os indicadores incluem, por exemplo, o orçamento e o quadro de pessoal do órgão de supervisão regulatória.
Etapa II. Processo: os indicadores avaliam se os requisitos formais de boas práticas regulatórias foram cumpridos. Isso inclui requisitos para a definição de objetivos, consulta, análise baseada em evidências, simplificação administrativa, avaliações de risco e alinhamento de mudanças regulatórias a nível internacional.
Etapa III. Produto: os indicadores fornecem informações sobre se as boas práticas regulatórias foram realmente implementadas.
Etapa IV. Impacto da concepção no resultado (também referido como resultado intermediário): os indicadores avaliam se as boas práticas regulatórias contribuíram para uma melhoria na qualidade da regulamentação. Ela tenta, portanto, fazer uma ligação causal entre a concepção da política regulatória e os resultados.
Etapa V. Resultados estratégicos: os indicadores avaliam se os resultados desejados da política regulatória foram alcançados, tanto em termos de qualidade regulatória quanto em termos de resultados regulatórios.
Fonte: (OECD, 2014[13]).
Fonte: adaptado a partir de (OECD, 2014[14]).
Os dois quadros são reunidos num Quadro de Avaliação de Desempenho para Reguladores Econômicos que estrutura os fatores que determinam o desempenho ao longo da matriz insumo-processo-produto-resultado (Tabela A A.1).
Para os reguladores, os indicadores de desempenho precisam estar adequados ao propósito da avaliação de desempenho, que é uma avaliação sistemática e analítica das atividades do regulador, com a finalidade de buscar a confiabilidade e a usabilidade das atividades do regulador. A avaliação de desempenho não é uma auditoria, que julga como colaboradores e gerentes cumprem sua missão, nem um controle, que coloca ênfase no cumprimento de normas (OECD, 2004[15]).
Assim, os indicadores de desempenho precisam avaliar o uso eficiente e efetivo dos insumos do regulador, a qualidade dos processos regulatórios, além de identificar os produtos e alguns resultados diretos que podem ser atribuídos às intervenções do regulador. Resultados mais amplos devem servir como uma “torre de vigilância”, que fornece as informações que o regulador pode usar para identificar áreas problemáticas, orientar decisões e identificar prioridades (Figura A A.2).
Observações: essa matriz foi proposta na metodologia inicial para o quadro de avaliação de desempenho para reguladores econômicos (PAFER) discutida com a Rede de Reguladores Econômicos (NER) da OCDE. Ela foi aperfeiçoada para refletir o feedback dos membros da NER e a experiência de outros reguladores na avaliação do seu próprio desempenho.
Fonte: (OECD, 2015[1]), Figura 3.3 (atualizada em 2017).
A estrutura analítica apresentada acima serviu de base para a coleta de dados e a análise apresentada no relatório. O presente relatório analisa os arranjos internos e externos de governança da Agência Nacional de Energia Elétrica do Brasil (ANEEL) nas seguintes áreas:
Papel e objetivos: identificar a existência de um conjunto de objetivos ou metas claramente identificados que estejam alinhados com as funções e poderes do regulador, o que pode servir de base para o desenvolvimento de indicadores de desempenho que possam ser utilizados;
Insumo: determinar até que ponto os recursos financeiros e humanos do regulador estão alinhados com os objetivos ou metas do regulador, e a capacidade do regulador de administrar os recursos financeiros e humanos de forma efetiva e autônoma;
Processo: avaliar até que ponto os processos e a gestão organizacional contribuem para o desempenho do regulador;
Produto e resultado: identificar a existência de uma avaliação sistemática do desempenho das entidades reguladas, o impacto das decisões e atividades do regulador e até que ponto essas medições são utilizadas adequadamente.
Os dados que serviram de base para a análise apresentada no relatório foram coletados através de uma análise documental, duas missões de apuração dos fatos e uma missão de revisão interpares:
Questionário e análise documental: a ANEEL respondeu a um questionário detalhado que serviu de base para uma análise documental realizada pelo Secretariado da OCDE. O Secretariado analisou a legislação vigente e os documentos da ANEEL para coletar informações sobre o funcionamento de jure do regulador e servir de base para as missões de apuração dos fatos. Esse questionário foi adaptado à ANEEL, com base na metodologia já aplicada pela OCDE a outros reguladores desde 2015 e na participação da ANEEL em antigos exercícios de coleta de dados da OCDE, tais como os Indicadores sobre Governança dos Reguladores Setoriais de 2018.
Missões de apuração dos fatos: a primeira missão de apuração dos fatos se concentrou em se reunir com as equipes internas da ANEEL, realizada pelo Secretariado da OCDE entre 27 de abril e 7 de maio de 2020. A segunda missão de apuração dos fatos foi realizada entre 19 de maio e 5 de junho de 2020 e se concentrou principalmente em se reunir com as partes interessadas externas. Essas missões foram a principal ferramenta para coletar e completar as informações de jure obtidas através do questionário com a situação atual de facto. O trabalho das missões de apuração dos fatos adaptou a metodologia PAFER às características da ANEEL. As informações coletadas foram completadas e sua exatidão foi conferida com a ANEEL. Ambas as missões foram virtuais devido ao contexto da pandemia da COVID-19.
Missão de revisão interpares: a missão ocorreu entre 30 de novembro e 4 de dezembro de 2020 e contou com a participação de revisores do Canadá, Alemanha e Suécia, além do Secretariado da OCDE. Essa missão se reuniu com as principais partes interessadas da ANEEL, tanto internas quanto externas. Ao final da missão, a equipe discutiu as descobertas e recomendações preliminares com a alta administração da ANEEL para testar sua viabilidade. Essa missão foi realizada remotamente através de videoconferência.
Durante as missões de apuração dos fatos e de revisão interpares, a equipe se reuniu com a equipe de liderança da ANEEL, bem como com uma série de colaboradores da instituição. Além disso, a equipe se reuniu com instituições governamentais e partes interessadas externas, incluindo:
Referências
[12] OECD (2021), Driving Performance at Portugal’s Energy Services Regulatory Authority, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/05fb2fae-en.
[11] OECD (2020), Driving Performance at Ireland’s Environmental Protection Agency, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/009a0785-en.
[10] OECD (2020), Driving Performance at Peru’s Transport Infrastructure Regulator, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/d4ddab52-en.
[8] OECD (2019), Driving Performance at Peru’s Energy and Mining Regulator, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264310865-en.
[9] OECD (2019), Driving Performance at Peru’s Telecommunications Regulator, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264310506-en.
[7] OECD (2018), Driving Performance at Ireland’s Commission for Regulation of Utilities, The Governance of Regulators, OECD Publishing, Paris, https://doi.org/10.1787/9789264190061-en.
[6] OECD (2017), Driving Performance at Mexico’s Agency for Safety, Energy and Environment, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264280458-en.
[4] OECD (2017), Driving Performance at Mexico’s Energy Regulatory Commission, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264280830-en.
[5] OECD (2017), Driving Performance at Mexico’s National Hydrocarbons Commission, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264280748-en.
[3] OECD (2017), Driving Performance of Mexico’s Energy Regulators, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264267848-en.
[2] OECD (2016), Driving Performance at Latvia’s Public Utilities Commission, The Governance of Regulators, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264257962-en.
[16] OECD (2015), Driving Performance at Colombia’s Communications Regulator, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264232945-en.
[1] OECD (2015), Driving Performance at Colombia’s Communications Regulator, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264232945-en.
[13] OECD (2014), OECD Framework for Regulatory Policy Evaluation, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264214453-en.
[14] OECD (2014), The Governance of Regulators, OECD Best Practice Principles for Regulatory Policy, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264209015-en.
[15] OECD (2004), The choice of tools for enhancing policy impact: Evaluation and review, OECD, Paris, http://www.oecd.org/officialdocuments/publicdisplaydocumentpdf/?cote=gov/pgc(2004)4&doclanguage=en (accessed on 16 November 2018).