4. Aprimorando a colaboração no sistema de autoria externa no Brasil
Este capítulo discute como a cooperação, coordenação e colaboração entre órgãos de auditoria nacionais e subnacionais pode resultar em auditorias de políticas públicas descentralizadas mais coerentes e estratégicas. Este capítulo inicia-se descrevendo as principais dimensões de ação coletiva e os três tipos de estrutura de governança de rede, citando exemplos, assim como os pontos fortes e fracos de cada um. Em seguida, exploram-se os principais requisitos operacionais da rede de auditoria, com ênfase na necessidade de uma compreensão coletiva e acordo sobre o propósito da rede. Os desafios enfrentados por essas redes são então delineados, incluindo desafios de compartilhamento de informações, confidencialidade e privacidade, bem como os diferentes padrões e capacidades de auditoria. O capítulo é concluído apresentando informações sobre como uma avaliação de risco baseada em evidências pode ser incorporada em um processo colaborativo de seleção de auditoria dentro da rede de entidades de auditoria externa.
Dada a realidade de descentralização no Brasil, os tribunais de contas podem procurar oportunidades para trabalhar em conjunto, a fim de fornecer ao centro do governo e aos formuladores de políticas públicas recomendações visando melhorias transversais para as políticas descentralizadas. Se os tribunais puderem trabalhar em colaboração nestas áreas comuns, não só poderão reduzir a probabilidade de duplicação desnecessária do trabalho de auditoria e melhorar a cobertura de auditoria, como também poderão proporcionar melhores auditorias por meio da troca de conhecimento, que poderá resultar em maior impacto do trabalho de auditoria.
Ao melhorar a coordenação entre instituições de auditoria externas, as entidades fiscalizadoras superiores (EFSs) podem ajudar a enfrentar os desafios inerentes à descentralização, melhorando, em última análise, seu valor agregado (OCDE, 2016[1]).
A colaboração envolve vários atores, que de uma forma ou de outra estão ligados ao mesmo assunto em uma rede. Trabalhando em conjunto nessa rede, os órgãos de auditoria podem se beneficiar do compartilhamento de competências, conhecimento e recursos, respeitando, ao mesmo tempo, as diversas visões, mandatos e prioridades institucionais de cada instituição. Qualquer colaboração em uma rede de entidades de auditoria externa precisa ser cuidadosamente projetada a fim de proporcionar o valor agregado esperado. Há três desafios cruciais a serem ser considerados, mais detalhados abaixo: o nível exigido de ação coletiva na rede, a governança necessária da rede e o projeto operacional da rede.
Níveis de ação coletiva
Os termos colaboração, cooperação e coordenação são muitas vezes utilizados de forma equivalente para descrever a forma como indivíduos ou instituições trabalham em conjunto. Entretanto, há diferenças que podem ajudar as entidades de auditoria externa a entender e decidir o que é necessário e alcançável dado seu contexto específico (ver Quadro 4.1 para definições).
A colaboração descreve o processo de facilitar e operar em arranjos multi-organizacionais para resolver problemas que não podem ser facilmente resolvidos por organizações atuando individualmente. Em conjunto, as organizações colaboradoras produzem resultados ou produtos, e assim servem a sociedade ou seus clientes. Para que a colaboração funcione, deve haver um alto nível de confiança e engajamento e um relacionamento próximo entre as organizações colaboradoras, o que normalmente inclui o estabelecimento de metas compartilhadas, recursos compartilhados e relações e comunicações definidas.
A coordenação descreve o processo entre organizações que trabalham de forma articulada para atingirem um determinado objetivo, proporcionando recompensas compartilhadas a longo prazo. Este processo envolve alguma interação formal e de longo prazo e facilita o aprendizado mútuo, mas não requer, por exemplo, recursos compartilhados. A coordenação requer um nível médio de confiança e engajamento entre os parceiros.
A cooperação é o menos formal dos três conceitos, e pode ser estabelecida, por exemplo, a curto prazo, a fim de atingir um objetivo específico. O processo de cooperação envolve o compartilhamento incidental de informações e trocas de recursos, sem necessariamente haver objetivos mútuos. Ela pode ser ad hoc e requer apenas um baixo nível de confiança e engajamento.
Fonte: Elaboração da OCDE baseada no (Agranoff and McGuire, 2003[2]) (Thomson and Perry, 2006[3]).
O nível de ação coletiva entre os órgãos de auditoria na rede não é estático. Colaboração, coordenação e cooperação podem coexistir na mesma rede ao mesmo tempo para diferentes elementos das atividades da rede, dependendo do contexto, dos objetivos dos órgãos de auditoria envolvidos, dos recursos disponíveis, etc.
A confiança entre os participantes da rede é o principal impulsionador do nível de ação coletiva possível em uma rede. A confiança mantém a rede unida e pode crescer ou diminuir através de uma maior interação entre os parceiros. Quanto maior o nível de confiança dentro da rede, maior será o nível de integração e ação coletiva que poderá ser esperado da rede.
Ao estabelecer o nível de ação coletiva da rede, os tribunais de contas brasileiros podem considerar as seguintes dimensões-chave:
Confiança – a dimensão básica e fundamental – Embora a cooperação não exija que a confiança seja construída sobre uma base forte entre os participantes da rede, para a colaboração, é necessário. A confiança não é estática; ela pode aumentar ou diminuir dependendo das experiências dos indivíduos ou organizações da rede por um período mais longo.
Compartilhamento de informações e comunicação – Embora a cooperação não exija acordos formais e contínuos de compartilhamento de informação, a coordenação requer um compartilhamento de informações e comunicação estruturados no nível do projeto. A colaboração requer comunicação em nível estratégico e tático. Quanto mais intenso e melhor for o fluxo de comunicação, mais a confiança pode crescer.
Compartilhamento de objetivos, poder e recursos – Quanto mais integrada a rede, mais esses elementos são compartilhados entre os parceiros da rede.
Compromisso e responsabilidade – A cooperação é possível ainda que os atores da rede estejam principalmente comprometidos com a sua própria organização, enquanto a colaboração requer compromisso com a rede.
Prazo – A cooperação pode funcionar em um curto espaço de tempo, ao passo que a coordenação requer um prazo baseado, por exemplo, em projetos e a colaboração exige um prazo mais longo.
A combinação desses elementos permite a descrição de uma determinada rede, conforme mostrado na Tabela 4.1.
Estas dimensões podem ser misturadas e combinadas, e podem evoluir com o tempo. Por exemplo, no Brasil, os tribunais de contas (TCs) experimentam, em maior ou menor grau, diferentes formas de trabalho em conjunto. Iniciativas ad hoc lideradas principalmente pelo TCU para a realização de auditorias coordenadas específicas podem ser vistas como um exemplo de "cooperação", dado, por exemplo, seu prazo relativamente curto de relacionamento e a frequência do compartilhamento de informações (baseada em projetos). A participação em iniciativas e projetos de maior alcance envolvendo fluxos de comunicação estruturados e compartilhamento de informações – tais como a participação na Rede Nacional de Informações Estratégicas para o Controle Externo (Infocontas) poderia ser identificada como experiência de trabalho coordenado. Por último, a participação de alguns TCs em comitês ou projetos com objetivos compartilhados, em um prazo relacional de longo prazo em que o poder de decisão e os recursos são compartilhados, como o Comitê de Educação do Instituto Rui Barbosa, poderia ser uma ilustração da colaboração (ver Quadro 4.2).
Portanto, para os assuntos e temas que os TCs ainda não tenham trabalhado em conjunto, os tribunais podem começar a trabalhar em nível de cooperação, porém mais tarde, com o tempo, podem expressar o desejo de evoluir para uma rede mais integrada. A colaboração pode ser de particular interesse para enfrentar os riscos de duplicação e sobreposição. Por exemplo, um tribunal de contas municipal e o tribunal de contas estadual relevante podem decidir colaborar em áreas onde seus esforços conjuntos possam resultar em maior valor (como em relação a auditoria de políticas públicas que envolvam ambos os níveis de governo). Nesses casos, essas instituições precisariam implementar estruturas para integrar e melhorar a frequência da troca de informações e conhecimento, particularmente nas questões que afetam ambas as instituições (por exemplo, aplicando os métodos de seleção de auditoria descritos no Capítulo 2). Além disso, poderiam decidir seus objetivos e programas compartilhados, com base em uma relação de poder compartilhado e recursos coletivos.
Mais da metade dos TCs estabeleceram condições legais de colaboração em suas leis orgânicas, regras internas, ou em ambos os instrumentos. Em geral, estas disposições legais permitem que as instituições de auditoria celebrem acordos de cooperação com o TCU ou outras instituições de auditoria, a fim de trocar informações, melhorar o sistema de controle e treinar pessoal, bem como desenvolver ações conjuntas envolvendo, por exemplo, uma entidade transferidora ou entidade receptora de recursos públicos. Aproximadamente 12 TCs estabelecem condições específicas para a assinatura de acordos de cooperação, por exemplo, a necessidade de aprovação do acordo pelo plenário e/ou pelo presidente.
A maioria dos TCs já esteve envolvida em iniciativas de intercâmbio de informações entre instituições. Essas iniciativas incluem, por exemplo:
Infocontas, mencionado acima
Observatório da Despesa Pública
Rede Nacional de Indicadores Públicos – INDICON.
Comitê de Educação do Instituto Rui Barbosa
O Comitê Técnico de Educação do Instituto Rui Barbosa, formado em 2018, desenvolveu diversas iniciativas com o objetivo de induzir ações para melhorar a educação pública no Brasil. O Comitê é responsável, por exemplo, pela coordenação de ações para monitorar os objetivos do Plano Nacional de Educação pela plataforma "TC Educa". A plataforma apresenta os objetivos estratégicos do Plano e compara a situação no Brasil, nos estados, no distrito federal e em municípios selecionados. A plataforma também disponibiliza esta informação aos gestores do setor público.
O Comitê de Educação é presidido por um presidente, conselheiros de oito tribunais de contas e a Secretaria de Controle Externo da Educação do TCU. O órgão técnico é composto por mais de vinte auditores dos dez tribunais de contas participantes.
Fonte: (Instituto Rui Barbosa, 2020[5]); (Instituto Rui Barbosa, 2020[6]), Regras Internas e Leis Orgânicas dos TCs, conforme consultado em agosto de 2018.
Estrutura de governança da rede
Para que a rede brasileira de tribunais de contas seja eficaz e eficiente, os TCs podem pensar na estrutura de governança da rede e decidir sobre questões relativas à alocação de responsabilidades, estruturas formalizadas e processos estabelecidos. Em geral, redes são formadas em torno de três estruturas de governança: redes autogovernadas, redes de organização líder e redes de organização administrativa (Kenis and Provan, 2009[7]) (ver Figura 4.1).
Fonte: Elaboração da OCDE baseada em (Kenis and Provan, 2009[7]).
Redes autogovernadas
Redes autogovernadas são estruturas não governadas por uma entidade administrativa formal. Os participantes da rede gerenciam as atividades e tomam todas as decisões coletivamente. Se a rede for grande, algumas das tarefas podem ser executadas por um subconjunto dos participantes da rede, por exemplo, em grupos de trabalho. O modelo pode ser útil quando, por exemplo, o envolvimento ativo de todos as entidades de auditoria é vital (por exemplo, quando estas têm mandatos de auditoria complementares), e responde às necessidades dos participantes (ver Quadro 4.3, por exemplo). O risco associado ao modelo é sua potencial ineficiência, dependendo do tamanho e complexidade da rede. O modelo é mais adequado para pequenas redes locais, ou para redes nas quais todas as entidades de auditoria participantes são independentes e autônomas e têm motivos (por exemplo, políticos ou institucionais) para não delegar poderes de decisão a terceiros.
O Tribunal de Contas da Espanha e os Órgãos de Controle Externo das Comunidades Autônomas (OCEXs) têm o dever legal de trabalhar em coordenação, tanto para evitar duplicação nas ações de auditoria como para garantir o melhor impacto do trabalho de auditoria, com o menor uso de recursos.
Por esta razão, o Tribunal de Contas e as OCEXs mantêm sistematicamente relações de coordenação e cooperação com o objetivo de trocar programas de auditoria, planejar ações conjuntas e estabelecer critérios e técnicas de auditoria comuns; enquanto cada instituição salvaguarda sua independência.
Por exemplo, os OCEXs comunicarão ao Tribunal de Contas as questões que detectarem em suas auditorias que possam motivar novos trabalhos de auditoria por parte do Tribunal. A colaboração também ocorre quando o Tribunal de Contas, visando uma maior eficiência, delega aos OCEX certas ações investigativas no decorrer de uma auditoria. A colaboração geralmente é autogovernada pelos membros do sistema de auditoria.
Fonte: (Tribunal de Cuentas, 2014[8]; Tribunal de Cuentas, 2020[9]).
Redes de organização líder
Neste tipo de governança de rede, as atividades e decisões-chave são coordenadas por uma das entidades, que atua como organização líder. Esta entidade administra a rede e facilita as atividades dos membros visando alcançar os objetivos da rede. O modelo pode ser adequado em relações verticais, por exemplo, no caso de haver um grande financiador das atividades, ou se um dos participantes da rede tiver institucionalmente mais poder de decisão do que os outros (ver Quadro 4.4 para um exemplo). A força do modelo está em sua potencial eficiência e na legitimidade apresentada pela entidade líder. Os riscos envolvidos na implementação estão relacionados ao potencial controle sobre a agenda da rede por parte da organização líder, e à diminuição do interesse por parte dos parceiros da rede.
Na França, os tribunais de contas regionais e territoriais (Chambres Régionales et Territoriales des Comptes, CRTCs) foram criados durante o movimento francês de descentralização de 1982, que concedeu autonomia financeira a certos níveis subnacionais. Além da entidade fiscalizadora superior (EFS), no nível nacional, existem treze tribunais territoriais e regionais na França metropolitana e dez tribunais no exterior distribuídos em quatro localidades.
Embora mantenham sua autonomia, os CRTCs trabalham em estreita cooperação com a entidade fiscalizadora superior francesa por meio do Conselho Superior dos Tribunais Regionais de Contas (Conseil supérieur des chambres régionales des comptes). Por exemplo, além das auditorias de conformidade e financeiras, os CRTCs também participam da avaliação das políticas públicas implementadas localmente, por exemplo, realizando pesquisas, em estreita colaboração com a EFS. A gestão e operação do Conselho é liderada pela EFS, que também é responsável pela gestão financeira do Conselho, e pela designação dos cargos de liderança (magistrados) dos CRTCs.
Fonte: (Cour des Comptes, 2020[8]).
Redes de organização administrativa
Este tipo de rede conta com uma entidade independente, criada especificamente para administrar e coordenar a rede e suas atividades. Pode ser uma entidade formal dedicada ou associação com um mandato e um orçamento e estrutura próprios, ou uma entidade existente que esteja bem posicionada para assumir esta função. A força do modelo está relacionada à sua potencial sustentabilidade, legitimidade e eficiência. Os riscos podem incluir os custos e a elevada complicação dos processos decisórios. Além disso, alguns membros da rede podem lucrar com a rede sem contribuir ativamente para as atividades da mesma ("parasitismo").
O Conselho Australasiano de Auditores Gerais (ACAG) é uma associação criada em 1993 para compartilhar informações, experiências e inteligência. A adesão ao ACAG está aberta voluntariamente aos auditores-gerais de todas as jurisdições de auditoria da Austrália, Nova Zelândia, Fiji e Papua Nova Guiné.
O Conselho é a autoridade suprema da ACAG, e é composto por todos os membros da ACAG. O Conselho se reúne presencialmente pelo menos duas vezes por ano e busca consenso em suas decisões; quando não for possível, entretanto, as razões para pontos de vista divergentes serão claramente documentadas.
O Conselho pode, de tempos em tempos, estabelecer subgrupos especializados com o objetivo de discutir assuntos de interesse comum. Com relação a tais subgrupos, o Conselho poderá:
especificar por escrito os termos de referência e função do subgrupo
nomear pessoal que o Conselho considerar apropriado, inclusive para presidente do subgrupo
determinar a frequência e o meio das reuniões
receber atas do subgrupo de cada reunião realizada
extinguir o subgrupo a qualquer momento.
A Secretaria é responsável pela organização operacional e administrativa do Conselho. O diretor executivo é o chefe executivo da secretaria e responsável perante o executivo. O diretor executivo desempenha as funções e responsabilidades que lhe são atribuídas, conforme orientação do Conselho e do comitê executivo, e seu desempenho é revisto anualmente em relação a uma série de indicadores-chave de desempenho acordados. As responsabilidades incluem:
prestação de serviços de apoio ao Conselho e ao secretariado do comitê
engajamento e gestão de relacionamento das partes interessadas
desenvolvimento e manutenção de sistemas de suporte, incluindo a intranet da ACAG
desenvolvimento, supervisão e monitoramento do plano estratégico e dos planos anuais de negócios, incluindo orçamentos operacionais e de projetos.
Os recursos da ACAG consistem principalmente em anuidades dos associados e outras contribuições financeiras pagas pelos membros. Essas contribuições variam e são divididas proporcionalmente entre os membros, dependendo de certos critérios (por exemplo, o tamanho de cada entidade).
Fonte: (ACAG, 2019[9]) (ACAG, 2017[10]).
Para facilitar a coordenação dentro do sistema de auditoria externa no Brasil, os TCs e seus membros (por exemplo, ministros e conselheiros) estabeleceram diversos órgãos importantes, como o Instituto Rui Barbosa (IRB) e a Associação dos Membros dos Tribunais de Contas do Brasil (ATRICON), que podem ser considerados redes de organização administrativa. Cada instituto tem mandatos específicos e atividades complementares (ver Quadro 4.6).
Instituto Rui Barbosa (IRB)
O IRB é uma associação civil criada em 1973 com o objetivo de melhorar as atividades realizadas pelos TCs. O IRB é considerado o "braço acadêmico" do sistema de auditoria externa no Brasil, em razão dos eventos, seminários, congressos e publicações pelos quais é responsável.
Para atingir seus objetivos estatutários, desde 2015 o IRB está estruturado administrativamente em cinco vice-presidências:
Relações Institucionais, que tem como objetivo estabelecer parcerias nacionais e internacionais para desenvolver projetos ou ações.
Desenvolvimento Institucional, que visa desenvolver ações cooperativas e de rede para diversas áreas de trabalho dos tribunais de contas, tais como ouvidoria, assuntos internos, bibliotecas, secretarias de controle externo, assessoria de comunicação, gerenciamento de TI para os tribunais, etc.
Auditoria, que é responsável por traduzir para o português as normas internacionais de auditoria, publicar as Normas de Auditoria do Setor Público Brasileiro, e auxiliar os tribunais na implementação dessas normas.
Políticas Públicas, que visa dar o suporte necessário para melhorar a auditoria das políticas públicas, inclusive através de indicadores, com ênfase no índice de eficiência da gestão municipal - IEGM e no índice de eficiência da gestão estadual - IEGE.
Capacitação e Pesquisa, que desenvolve atividades de treinamento para disseminar e compartilhar conhecimento e capacidade.
Além das vice-presidências, o Instituto organiza e coordena diferentes comitês temáticos, tais como os comitês sobre normas de auditoria, capacitação, recursos humanos, governança de TCs, educação, avaliação de políticas públicas e tecnologia da informação.
Por fim, o IRB coordena outras redes, grupos e projetos que podem ser liderados por um de seus comitês ou diretorias. Um exemplo é o Programa de Modernização do Sistema de Controle Externo (PROMOEX).
A adesão ao Instituto é voluntária, e até o momento a maioria dos TCs aderiu. Os membros financiam as atividades do IRB por meio de uma contribuição anual. O principal objetivo estabelecido no Plano Estratégico do IRB para 2018-22 é promover a integração do trabalho de auditoria dos TCs, a fim de fortalecê-los institucionalmente.
Para este fim, o Instituto responsabilizou-se, por exemplo, pela tradução e adaptação dos guias de auditoria e normas padrão da INTOSAI para o português e para o contexto brasileiro. Tais esforços visam promover a harmonização das práticas de auditoria adotadas pelos tribunais de contas brasileiros. O Instituto também pretende consolidar as diferentes iniciativas de capacitação lançadas pelos TCs, particularmente os cursos à distância. Até o momento, mais de 400 iniciativas foram consolidadas e compartilhadas no site do Instituto. Além disso, o Instituto está atualmente desenvolvendo um "banco de talentos", que terá como objetivo facilitar a conexão de auditores de diferentes TCs para participar de treinamentos e missões.
Os TCs elegem a presidência do IRB em eleições que acontecem a cada dois anos. O Instituto não emprega nenhum pessoal diretamente; portanto, a presidência eleita é responsável pela alocação de pessoal para as diretorias, comitês e atividades relevantes.
Associação dos Membros dos Tribunais de Contas do Brasil (ATRICON)
A ATRICON foi criada em 1992 com o objetivo de promover a melhoria e a integração dos tribunais de contas brasileiros e seus membros (ministros, conselheiros, ministros substitutos e conselheiros substitutos). Para isso, a entidade promove e incentiva o intercâmbio de informações e experiências entre os membros dos TCs, ao mesmo tempo em que apoia o desenvolvimento de estratégias e ferramentas para melhorar a eficácia dos sistemas de controle da administração pública.
Eleita a cada dois anos, a diretoria da ATRICON seleciona metas e ações estratégicas, estabelece parcerias com outras instituições e organiza debates e eventos nacionais. Um dos projetos da associação é a Avaliação da Qualidade dos Tribunais de Contas, que visa medir a qualidade e a agilidade dos tribunais brasileiros. Através do projeto, 28 dos 33 Tribunais de Contas foram avaliados em 2013 por meio de revisões por pares. A medição de desempenho foi baseada em parâmetros estabelecidos nas diretrizes de controle externo da ATRICON e nos ISSAIs. O relatório final não aborda ou fornece recomendações individuais para os tribunais de contas, mas oferece uma visão geral de alto nível do sistema de controle externo brasileiro.
A associação também apoia as atividades da IRB, e ambas as instituições têm o poder de alavancar e ampliar as iniciativas individuais dos TCs. Para que isso seja possível, uma das metas da ATRICON estabelecidas em seu plano estratégico de 2018-23 é assegurar, até dezembro de 2023, o apoio da ATRICON em 100% das atividades que envolvem a produção e a disseminação de conhecimentos técnicos do IRB.
Da mesma forma que o Instituto Rui Barbosa, a diretoria da ATRICON é eleita por seus membros a cada dois anos. A diretoria é responsável pela alocação de pessoal para executar as atividades da associação, uma vez que não emprega nenhum pessoal diretamente.
Fonte: (Instituto Rui Barbosa, 2018[11]) (ATRICON, 2018[12]) (ATRICON, 2020[13]) (Instituto Rui Barbosa, 2020[14]).
Cada tipo de governança de rede tem seus riscos e pontos fortes (ver Tabela 4.2). A indicação do modelo de governança de rede adequado dependerá da finalidade, necessidades, objetivos e capacidade da rede e de seus parceiros em um determinado momento. Estruturas mistas de governança podem ser adotadas e o modelo apropriado pode evoluir com o tempo, dependendo das mudanças no contexto e exigências. O monitoramento e a avaliação regular da rede podem revelar a necessidade de adaptação em tempo hábil.
No Brasil, ao contrário dos casos da Espanha, França e México (conforme visto nas Quadro 4.3, Quadro 4.4 e Quadro 4.9, respectivamente), até o momento as instituições de auditoria não têm nenhuma obrigação legal de trabalhar em colaboração. Além disso, ao contrário de outras áreas da administração pública brasileira – e apesar de serem objeto de projetos de lei para alterar a Constituição (principalmente o PEC 28/2007) – os tribunais de contas brasileiros não contam com um "conselho nacional de controle externo" institucionalizado. Tal conselho poderia orientar, informar e coordenar as atividades e prioridades dos TCs, bem como elaborar regras para harmonizar as práticas (ver Quadro 4.7 para exemplos de conselhos existentes no Brasil).
Conselho Nacional de Justiça
O Conselho Nacional da Justiça (CNJ) foi criado pela Emenda Constitucional Nº 45 de 2004 e instalado em 14 de junho de 2005, nos termos do art. 103-B da Constituição Federal. O Conselho é um órgão do judiciário, com sede em Brasília e é composto por quinze membros, cada um com um mandato de dois anos. Seus membros incluem o presidente do Supremo Tribunal Federal, membros do Ministério Público, advogados e cidadãos.
O CNJ emite atos normativos e recomendações para seus membros e aprova o planejamento estratégico do Judiciário, levando em conta seus objetivos, metas e programas de avaliação institucional. Também visa promover a eficiência, divulgando as melhores práticas e realizando análises, relatórios estatísticos e indicadores relevantes para a atividade jurisdicional no país. Ademais, o Conselho recebe e decide sobre reclamações contra os membros ou órgãos do Judiciário.
Conselho Nacional do Ministério Público
Semelhante ao CNJ, o Conselho Nacional do Ministério Público (CNMP) foi criado em 2004 pela Emenda Constitucional Nº 45. O Conselho foi instalado em 2005 e está sediado em Brasília. O órgão é formado por 14 membros de diferentes promotorias públicas, nos níveis federal e estadual de governo, além de representantes dos cidadãos e representantes de outros setores da sociedade. O CNMP é responsável por responsabilizar os promotores públicos por seus atos, mas também visa estabelecer uma estratégia nacional para os Ministérios Públicos brasileiros.
Conselho Nacional de Controle Interno
Ao contrário do CNJ ou do CNMP, o Conselho Nacional de Controle Interno (CONACI) não foi criado através de uma emenda constitucional ou lei. Ele foi criado em 2007 para promover e fortalecer o controle interno do setor público no Brasil, através de representação, integração e assessoria institucional, e aumentando a transparência, fortalecendo o controle social e prestando um serviço público eficaz.
O CONACI é formado por um fórum, presidência, secretaria executiva, grupos de trabalho, entre outros. O fórum é o órgão máximo do Conselho, com poderes deliberativos e normativos, e é composto por membros dos órgãos de controle interno em todos os níveis de governo. O fórum tem o mandato de formular a política geral do Conselho, estabelecer as diretrizes e prioridades, decidir sobre os planos de trabalho e respectivos orçamentos e eleger a presidência.
Fonte: (CNJ, 2020[15]) (CNJ, 2020[16]) (CNMP, 2020[17]) (CONACI, 2015[18]).
Uma opção para os tribunais de contas brasileiros seria a defesa da criação de uma nova rede administrativa que poderia tomar a forma de um conselho nacional. O conselho poderia ter o mandato de promover as melhores práticas entre os tribunais de contas, definir planejamento estratégico para todo o sistema, coordenar, divulgar e alavancar iniciativas individuais, agir para evitar duplicações e lacunas, etc.
Como primeira ação, porém, ou até que a rede assuma a forma de um conselho institucionalizado, os tribunais de contas poderiam priorizar medidas para fortalecer as associações existentes, principalmente a ATRICON e o Instituto Rui Barbosa. Os TCs poderiam, por exemplo:
promover o diálogo entre tribunais de contas para a adoção das normas internacionais de auditoria que são revisadas e publicadas pelo IRB
mapear e classificar cada todas as iniciativas existentes envolvendo tribunais de contas (comitês, grupos de trabalho, redes) a fim de evitar duplicação de ações, e alocá-las a uma vice-presidência específica, que poderia ser responsável pela continuidade de cada atividade
trabalhar para assegurar a continuidade das atividades das associações, ou pensar em soluções para a mitigação de riscos, como o risco de falta de liderança futura
promover o diálogo com os tribunais de contas para decidir sobre as ações para melhorar ainda mais as instituições.
O projeto operacional das redes
As redes devem considerar seu projeto operacional. Elementos cruciais deste projeto incluem a compreensão do propósito e das necessidades essenciais da rede e o momento para mudar as escolhas feitas anteriores, dependendo da evolução da rede (descrita na seção anterior e na Quadro 4.8). Estas questões devem ser abordadas no estabelecimento da rede e reorientadas a cada transição significativa da rede (Plastrik, Taylor and Cleveland, 2014[19]).
A resposta às perguntas abaixo ajudará a estabelecer uma visão compartilhada entre os membros da rede e as propostas de valor da rede, ou seja, os benefícios específicos que os membros da rede obterão ao participar da rede. As perguntas também têm o objetivo de esclarecer quais recursos são necessários e como obtê-los; definir as linhas de tomada de decisão e responsabilidade; e estabelecer uma estrutura de monitoramento que permitirá aos membros tomar decisões sobre a direção estratégica da rede.
1. Objetivo – Qual é a razão de ser da rede? Por que os membros alocam tempo e recursos para a rede?
2. Afiliação – Quem é elegível para se tornar membro? Quais são os requisitos para ser membro? Quantos membros haverá?
3. Propostas de valor – Quais serão os benefícios da filiação— individual e coletivamente?
4. Coordenação, facilitação e comunicação – Como os membros da rede se conectarão e trabalharão uns com os outros? Quais procedimentos e métodos a rede utilizará para coordenar e facilitar o trabalho dos membros? Três tarefas principais de coordenação precisam ser consideradas:
a. Logística: criação de reuniões, teleconferências e outras formas de interação entre os membros; distribuição e compartilhamento de informações essenciais, tais como um diretório de membros e informações de contato.
b. Operações: comunicações externas; facilitação de reuniões e processos dos membros; administração de arquivo de documentos da rede; controle de finanças da rede; administração ou filiação de novos membros da rede.
c. Gestão estratégica: nível superior de responsabilidade focado em auxiliar os membros da rede, especialmente aqueles com funções de governança, a tomar e implementar decisões sobre o desenvolvimento da rede. Gerenciar relações com parceiros e mantenedores externos, apoiar os membros que estão empreendendo iniciativas para a rede e criar e modificar os planos da rede.
5. Recursos – De que orçamento a rede precisa para atingir seus objetivos? Qual é o modelo de financiamento da rede?
6. Governança – Quem decide o que a rede vai fazer e como decidem?
7. Avaliação – Como a rede irá monitorar sua atividade e desempenho?
Fonte: Elaboração da OCDE baseado em (Plastrik, Taylor and Cleveland, 2014[19]).
Independentemente da forma da rede adotada no Brasil (por exemplo, conselho nacional; organização líder; ou reforço de rede administrativa existente), os tribunais de contas devem debater e decidir sobre o projeto operacional chave para que a colaboração seja eficaz.
Mais importante, a liderança dos TCs deve concordar sobre o objetivo da rede e, portanto, deve compreender e estar convencida do valor agregado da colaboração. Para isso, todos os possíveis membros da rede devem ser consultados, por exemplo, através de uma série de conferências (por vídeo) ou por meio de pesquisa entre os membros dos tribunais de contas, para compartilhar suas ideias sobre os valores e a finalidade da rede. Se forem utilizadas redes existentes, como IRB e ATRICON, uma opção é envolver representantes de cada tribunal de contas no desenvolvimento do planejamento estratégico (ver Quadro 4.10 e Quadro 4.14 para exemplos).
As formas de comunicação entre os tribunais membros da rede e os auditores podem ser elaboradas de forma a apoiar o propósito da rede. Por exemplo, se a rede pretende reduzir a duplicação e sobreposição de atividades de auditoria realizadas pelos TCs, a rede pode desenvolver um canal para a consolidação, análise e classificação de tais atividades. Neste sentido, a rede poderia inspirar-se no México e na Argentina (Quadro 4.9) e trabalhar para a integração dos planos de auditoria de todos os TCs. Se a rede tiver como finalidade a facilitação da seleção e planejamento colaborativos de auditorias, um sistema de TI como o detalhado no Capítulo 2 poderia agregar e organizar as informações sobre entes auditados, políticas públicas auditadas, etc. O sistema também poderia consolidar as conclusões de auditoria dos tribunais de contas, o que, por sua vez, poderia facilitar o acompanhamento das recomendações de auditoria. Além disso, a rede poderia pensar em medidas para preservar seu legado, por exemplo, implementando e gerenciando um arquivo oficial de documentos.
México
A Lei Geral do Sistema Nacional Anticorrupção (LGSNA) de 2016 criou o Sistema Nacional de Auditoria no México (Sistema Nacional de Fiscalización, o SNF), presidido pela Entidade de Fiscalização Superior do México (Auditoría Superior de la Federación, a ASF) e o Ministério da Administração Pública (Secretaría de la Función Pública, a SFP). O sistema estabelece os mecanismos de coordenação entre os órgãos responsáveis pelas tarefas de auditoria governamental nos diferentes níveis de governo, com o objetivo de maximizar a cobertura e o impacto da auditoria em todo o país.
A LGSNA exige o desenvolvimento de um sistema eletrônico (Plataforma Digital Nacional) destinado, entre outros objetivos, a ampliar a cobertura e o impacto da auditoria dos recursos federais e locais. A fim de atender à exigência legal, foi criado um grupo de trabalho em 2018 dentro do SNF, para a implementação de uma plataforma virtual. A plataforma ainda está em desenvolvimento; ela consolidará os programas anuais dos órgãos de auditoria nos três níveis de governo e permitirá o compartilhamento de bancos de dados entre os membros da SNF.
Argentina
A Rede Federal de Controle Público (Red Federal de Control Público) foi criada em 2002, quando da assinatura de um acordo entre certos órgãos de controle interno e externo do governo e o principal órgão de auditoria interna da Argentina, a Controladoria Geral da Nação (Sindicatura Geral da Nação, SIGEN).
A SIGEN compartilha com a rede informações financeiras sobre investimentos federais e transferências feitas para os municípios e províncias participantes da rede, que de outra forma não seriam divulgadas ou não seriam de fácil acesso. Além disso, com base em uma matriz de risco preparada pela SIGEN, os membros da rede selecionam questões e programas que poderão potencialmente auditar. Estas questões são então compartilhadas com outros membros.
A SIGEN também coleta relatórios emitidos por órgãos de auditoria subnacionais e consolida todas as conclusões. Estas conclusões são posteriormente apresentadas pela SIGEN ao centro do governo em reuniões semestrais.
Fonte: (Cámara de Diputados del H. Congreso de la Unión, 2016[20]) (SIGEN, 2020[21]).
Através da rede, os tribunais de contas podem adotar um calendário oficial do controle externo brasileiro, com os eventos oficiais organizados pelos diferentes tribunais e associações (por exemplo, eventos organizados pelos tribunais de contas, IRB, ATRICON, Conselho Nacional dos Presidentes dos Tribunais de Contas, Associação Brasileira dos Tribunais de Contas dos Municípios – ABRACOM, etc.)
A rede poderia ser financiada por uma anuidade paga por seus membros, que pode ser fixa– como a estrutura de financiamento do IRB – ou variável de acordo com certos critérios (por exemplo, tamanho ), como a estrutura de financiamento da ACAG (Quadro 4.5). Alternativas para o financiamento da estrutura podem incluir a reversão à rede dos eventuais custos economizados pelos os tribunais de contas em razão de auditorias conjuntas ou coordenadas, e compartilhamento de capacidade.
A rede deve pensar estrategicamente em sua estrutura de governança, ou seja, quem tomará as decisões e como. Por exemplo, na estrutura atual do IRB, os TCs escolhem a presidência a cada dois anos. Outras possibilidades incluem um modelo de governança composto por uma assembleia e um conselho, o primeiro composto por um ou dois representantes de cada TC (por exemplo, o presidente e um auditor, ou o secretário-geral para o controle externo), que poderia eleger um conselho que teria alguns poderes de decisão. A rede também poderia estabelecer um comitê consultivo que incluísse a participação dos cidadãos e dos auditados. Outros comitês independentes poderiam ser estabelecidos para administrar e coordenar assuntos específicos, tais como o comitê de seleção de auditoria (descrito mais detalhadamente na próxima seção deste capítulo).
Em qualquer dos casos, os membros da rede precisam avaliar a adequação do modelo de governança – incluindo o prazo do mandato, e considerar se tal mandato deve ser prorrogado para fins de continuidade das ações, por exemplo. Tais reflexões podem resultar do exercício de avaliação do desempenho e a adequação da rede. Por exemplo, a presidência ou o conselho poderia ser responsável pela entrega de um relatório anual de atividades em torno dos objetivos estratégicos da rede (ver Quadro 4.10 para um exemplo de relatório interativo de atividades).
O Conselho Nacional de Controle Interno aprovou seu planejamento estratégico para os anos 2019-21, que consiste em sete objetivos estratégicos e trinta ações específicas. As metas específicas e os indicadores para medir cada meta acompanham cada objetivo.
Por exemplo, o objetivo 1 consiste em "Contribuir para a boa governança da Administração Pública, promovendo a luta contra a corrupção, integridade, transparência, gestão eficiente dos recursos públicos e controle social".
Para que os objetivos sejam alcançados, o Conselho decidiu ações específicas para cada objetivo – por exemplo, quatro ações foram atribuídas ao Objetivo 1. Cada ação é liderada por um responsável; e executada por certos indivíduos de diferentes membros do Conselho. As informações de contato do responsável, assim como informações sobre os indivíduos participantes, incluindo suas fotos e e-mails, estão disponíveis publicamente no site de planejamento estratégico. O site interativo também exibe os indicadores, o progresso de cada meta e objetivo, e as atividades dos gerentes e outros indivíduos que trabalham para alcançar as metas.
Fonte: (CONACI, 2019[22]).
Desafios enfrentados pelas redes de auditoria
Embora o trabalho conjunto em uma rede possa resultar em grandes ganhos de capacidade para os TCs em questões associadas à auditoria de políticas descentralizadas e governança multinível, as redes de auditoria também enfrentam desafios específicos. Ao utilizar o trabalho de outros auditores em nível estadual, estadual, regional, distrital ou local, ou de empresas de auditoria pública que concluíram o trabalho de auditoria relacionado ao objetivo da auditoria, as instituições de auditoria devem tomar providências para assegurar que tal trabalho seja realizado de acordo com as normas de auditoria do setor público (INTOSAI, 2013[23]). Outros desafios específicos incluem:
Confidencialidade e compartilhamento de informações
Ao trabalhar em rede, os TCs poderão compartilhar informações, análises e conclusões obtidas ao longo de seu trabalho. Portanto, a troca de informações deve receber atenção especial e a rede deve considerar e observar as disposições internas de cada TC participante em relação a questões de confidencialidade e privacidade. Por exemplo, pode ser necessário celebrar acordos de confidencialidade para abordar as preocupações e particularidades específicas de cada TC envolvida. É o caso, por exemplo, da União Europeia, onde essas restrições se aplicam à troca de informações entre o Tribunal de Contas Europeu e as EFSs de seus Estados Membros. Em alguns casos, um acordo de "auditoria única" pode facilitar a troca de informações dentro da rede. Veja Quadro 4.11 para um exemplo da Bélgica.
O Tribunal de Contas belga tem poderes para auditar o Estado Federal, as Comunidades e Regiões e as províncias. A ESF não audita os municípios; neste nível, o Audit Vlaanderen é o órgão de auditoria externa para os municípios flamengos e o Centre Régional d'Aide aux Communes para os municípios da Valônia.
No nível regional flamengo, a fim de reduzir o ônus para os entes auditados e melhorar a qualidade das auditorias, a EFS, o Audit Vlaanderen e alguns órgãos de auditoria interna assinaram acordos para a adoção do "Princípio da Auditoria Única". O princípio consiste em promover um modelo de auditoria única para a autoridade flamenga, onde cada nível de controle e auditoria se baseia no trabalho anterior, visando reduzir o ônus para os auditados e evitar sobreposições.
As entidades participantes compartilham suas avaliações de risco dos auditados e coordenam seu planejamento de auditoria. Elas também se reúnem periodicamente em um comitê de direção para uma única auditoria. As entidades também celebraram o Memorando de Acordo Anual para auditoria das contas anuais, que prevê mecanismos para o compartilhamento de informações. O memorando, assinado pelo Ministro de Finanças flamengo, o Instituto Belga de Auditores Registrados e a ESF, estabelece os requisitos mínimos a serem respeitados pelos auditores. Por exemplo, ele isenta as instituições de auditoria da obrigação de sigilo, se:
forem trocadas informações sobre estratégia e planejamento de auditoria, sobre monitoramento e análise de risco, sobre controle e relatórios e sobre métodos de controle relativos a entidades da autoridade flamenga sob sua área comum de controle
a transmissão de informações dos documentos de trabalho do revisor oficial de contas referentes às entidades da autoridade flamenga estiver sujeita ao princípio da auditoria única.
Fonte: (Belgian Court of Audit, 2015[24]) (Belgian Court of Audit, 2009[25]) (Accountancy Europe, 2019[26]).
Diferentes normas de auditoria
Os tribunais de contas brasileiros devem se atentar ao uso de diferentes padrões de auditoria por diferentes tribunais. Para contornar esse desafio, a promoção da adoção das normas internacionais traduzidas e adaptadas pelo IRB pode ser importante balizador comum. Além disso, se a rede decidir consolidar informações de auditorias provenientes de diferentes tribunais de contas, deve haver consciência de que os critérios de auditoria podem diferir entre jurisdições. Por fim, a rede pode também precisar levar em conta diferenças no orçamento e no tempo do ciclo de auditoria entre os tribunais de contas. Alguns países estão implementando medidas para superar estes desafios através da capacitação e harmonização das práticas entre as instituições de auditoria (ver Quadro 4.12 para exemplos).
Lituânia
Na Lituânia, os auditores locais devem aplicar a metodologia de auditoria que é preparada e utilizada pela Entidade Fiscalizadora Superior do país (EFS). Além disso, a EFS avalia anualmente o sistema de controle de qualidade desenvolvido pelos auditores locais e a qualidade das auditorias. Os resultados da avaliação e as recomendações sugeridas são submetidos às instituições locais de auditoria. Igualmente, auditorias realizadas em conjunto com instituições de auditoria locais são consideradas como um elemento do sistema de capacitação.
México
No México, o Sistema Nacional de Auditoria (Sistema Nacional de Fiscalización, SNF), presidido pela Entidade Fiscalizadora Superior do México (Auditoría Superior de la Federación, ASF) e o Ministério da Administração Pública (Secretaría de la Función Pública, SFP), tem trabalhado para avançar na capacitação e harmonização das normas de auditoria.
A Lei Geral do Sistema Nacional Anticorrupção (LGSNA), de 2016, estabelece que os procedimentos, técnicas, critérios, estratégias e padrões profissionais no campo de auditoria do setor público do México devem ser harmonizados. Este trabalho é facilitado pela ASF a nível federal, estadual e municipal.
Fonte: (EUROSAI, 2018[27]) (Sistema Nacional de Fiscalización, 2020[28]).
Diferentes capacidades
É improvável que diferentes instituições de auditoria tenham a mesma capacidade, dado o tamanho diferente de suas estruturas e orçamentos. No Brasil, além de capacidade distinta, os tribunais de contas têm diferentes focos e prioridades em termos de tipos de auditoria, particularmente no que diz respeito às auditorias de desempenho. Alguns tribunais de contas não estão habituados a realizar este tipo de auditoria, enquanto outros tribunais têm mais experiência. Portanto, se a rede solicitar o trabalho conjunto e colaborativo dos tribunais de contas, é necessário levar em conta as diferentes capacidades. Por exemplo, ao realizar uma atividade coordenada, um tribunal pode ficar responsável por uma atividade mais limitada, correspondente a seus recursos mais limitados. Estes casos podem ser uma oportunidade para as organizações com mais pessoal (experiente) ajudar a desenvolver capacidade entre tribunais de contas. Outro exemplo poderia ser de competência – por exemplo, um tribunal de contas habituado a auditar questões ambientais devido à sua localização geográfica pode compartilhar sua competência com outros tribunais que têm menos conhecimento sobre estas questões.
Falta de compromisso institucional
Ao contrário de outros países, no Brasil os tribunais de contas não têm uma obrigação institucional ou legal que exija colaboração entre si. Portanto, a menos que haja uma mudança na estrutura legal, a colaboração será voluntária, incluindo a adesão de todos os tribunais no nível da liderança. Qualquer dificuldade para obter tal compromisso pode comprometer a continuidade das atividades da rede. Assim, os tribunais de contas brasileiros devem prestar especial atenção a esta questão e engajar seus esforços para o envolvimento da gerência em todas as instituições envolvidas.
Como visto acima, a rede pode se beneficiar da capacidade de cada tribunal de contas, individual e coletivamente, através do compartilhamento de conhecimentos entre os membros da rede e trabalhando juntos estrategicamente. Uma maneira poderosa de gerar uma ação coletiva construtiva dentro da rede, com o potencial de maior impacto, é através da colaboração estratégica na seleção de auditorias. O Capítulo 2 descreve a abordagem para desenvolver uma avaliação de risco baseada em evidências para a seleção de tópicos de auditoria. Esta seção dá detalhes sobre como esta abordagem pode ser incorporada em um processo colaborativo de seleção de auditorias dentro da rede de entidades de auditoria externa.
O TCU e os TCs têm feito esforços concretos para coordenar suas capacidades de supervisão, incluindo a realização de auditorias coordenadas (ver Quadro 4.13 para exemplos) e desenvolvimento de capacidades utilizando o ATRICON e o Instituto Rui Barbosa como plataformas. Até o momento, as auditorias coordenadas são geralmente conduzidas pelo TCU, que seleciona os tópicos e engaja a participação dos TCs nas auditorias.
Os esforços para o trabalho colaborativo também foram traduzidos em acordos de cooperação entre os TCs, tais como:
A Carta da Amazônia (2010) e a Declaração de Belém (2011), que propõem o intercâmbio contínuo de conhecimentos e a execução de auditorias de desempenho com ênfase nas questões ambientais.
A Declaração de Campo Grande (2012), que propôs auditorias coordenadas em educação e saúde.
A Declaração de Vitória (2013), que se destinava a garantir apoio técnico e institucional para auditorias coordenadas.
Declaração de Fortaleza (2014), que reforçou o pacto de se desenvolver, com progressiva ênfase, auditorias coordenadas que avaliassem efetiva e sistematicamente os resultados das políticas públicas.
Além disso, alguns TCs, como o TCE-Rio Grande do Norte e o TCU, têm acordos em vigor contendo termos gerais de cooperação entre os tribunais. Em geral, tais acordos não pretendem regulamentar uma auditoria coordenada específica; eles estabelecem, por exemplo, que os tribunais devem incluir em sua programação de auditoria as atividades de controle resultantes da cooperação. Os contratos também podem estabelecer que um tribunal, notadamente o TCU, deve informar o outro tribunal sobre quaisquer recursos federais transferidos para entidades do nível relevante de governo (por exemplo, o Estado do Rio Grande do Norte e seus municípios), uma vez que essas transferências podem estar sujeitas à supervisão de ambos os TCs.
Apesar dessas iniciativas, até o momento, os TCs não implementaram métodos ou uma rede para decidir sobre questões sistêmicas ou comuns, incluindo a seleção comum de auditorias coordenadas. Além disso, de modo geral, a maioria dos TCs não tem nenhum mecanismo ou processo de coordenação em vigor destinado a esclarecer ou definir suas responsabilidades e mandatos, ou a evitar duplicação, fragmentação ou sobreposição de atividades.
Auditoria coordenada para avaliar a gestão da saúde primária
Em 2014, 30 tribunais de contas brasileiros realizaram uma auditoria coordenada para avaliar a qualidade da gestão da saúde primária nos níveis federal, estadual e municipal. Entre outras razões, a atenção primária havia sido escolhida, por ser o núcleo do sistema de saúde do país. O trabalho foi realizado por 119 auditores de todos os tribunais de contas participantes, que visitaram 317 secretarias municipais de saúde e 23 secretarias estaduais de saúde em todo o país.
Os relatórios de auditoria emitidos pelos tribunais de contas resultaram em recomendações e planos de ação que foram discutidos com os gestores públicos. Os planos de ação foram então utilizados pelos tribunais de contas para realizar auditorias de acompanhamento.
Auditoria coordenada para a avaliação da infraestrutura das escolas públicas
O TCU e dezenove tribunais de contas de estados e municípios visitaram 679 escolas públicas nas diferentes regiões do país e realizaram uma auditoria coordenada para avaliar a qualidade e a disponibilidade da infraestrutura dessas escolas.
A avaliação das escolas resultou no índice " Nota Média da Infraestrutura Escolar", que classifica a infraestrutura das escolas como boa, aceitável, ruim ou precária, levando em conta tanto a disponibilidade quanto a conservação das instalações. Com os resultados da auditoria os tribunais de contas participantes puderam concluir, por exemplo, que a maioria das escolas classificadas como precárias e ruins estavam localizadas nas mesmas regiões: norte e nordeste do país.
Com base neste trabalho, o TCU decidiu recomendar que o Ministério da Educação melhore as políticas relacionadas ao suporte à infraestrutura e ao fornecimento de equipamentos para a educação básica, com especial atenção para as disparidades regionais do país. O TCU também recomendou que o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira – INEP – melhore o processo de coleta de dados do Censo Escolar.
Auditorias coordenadas com outras instituições supremas de auditoria
Em 2016, sob a coordenação da Secretaria de Educação do TCU (SecexEducação), o TCU e outras dez instituições supremas de auditoria (Chile, Colômbia, Costa Rica, Cuba, Equador, Guatemala, Honduras, México, Panamá e República Dominicana) realizaram uma auditoria coordenada com o objetivo de avaliar:
a adoção de boas práticas internacionais pelas unidades administrativas responsáveis pela geração de estatísticas educacionais
a capacidade dos governos de produzir estatísticas para monitorar os sistemas educacionais em cada país
a entrega de dados e indicadores para organizações internacionais
o progresso dos países em relação ao Objetivo 2 dos Objetivos de Desenvolvimento do Milênio e às metas do Marco de Ação de Dakar da UNESCO de Educação para Todos.
Os critérios aplicados foram baseados no Código de Boas Práticas e no Regulamento 223/2009 do Escritório de Estatística da União Europeia (Eurostat), considerado uma ferramenta prática para garantir a consistência, a comparabilidade e a qualidade das estatísticas educacionais produzidas pelos países.
Fonte: (OLACEFS, 2016[29]) (TCU, 2015[30]) (TCU, 2016[31]).
A fim de aumentar a sinergia e o impacto do trabalho entre os tribunais de contas brasileiros, estes podem desenvolver procedimentos e mecanismos para a seleção colaborativa e alinhamento de suas auditorias. Ao contrário dos atuais processos coordenados de seleção de auditorias, em sua maioria conduzidos pela TCU, o alinhamento de auditorias de políticas públicas descentralizadas pode envolver todas as partes interessadas. Para que isso seja possível, os TCs poderiam se beneficiar do trabalho da rede.
Como visto ao longo deste capítulo, recomenda-se que os tribunais de contas estabeleçam uma nova rede ou melhorem as estruturas existentes. De qualquer forma, a rede escolhida poderia dedicar esforços específicos para a seleção colaborativa de auditorias. Esses esforços poderiam tomar a forma de uma vice-presidência ou comitê, com uma equipe dedicada para garantir a continuidade das atividades.
Por exemplo, o comitê poderia ser alocado em um comitê existente do IRB, ou poderia ser uma extensão do Projeto Integrar (o projeto OCDE-TCs que conduz a esta publicação). Com base no conhecimento do Projeto Integrar, a estrutura do projeto poderia ser adaptada para ser a base do comitê de seleção colaborativa de auditoria. O comitê, que poderia ter poderes de decisão relacionados a suas atividades, poderia eventualmente estar dentro da estrutura do IRB (ou outra rede existente), ou dentro da estrutura de um futuro conselho ou rede nacional.
Definir a seleção colaborativa da auditoria como um objetivo estratégico da rede
O desenvolvimento de objetivos estratégicos para redes de auditoria pode encorajar a participação apropriada dos membros da rede. Ao elaborar os objetivos estratégicos, uma opção é atribuir a um pequeno comitê a responsabilidade primária de elaborar o documento estratégico e conceder ao comitê um grau razoável de autonomia no desenvolvimento da minuta; o comitê seria composto por representantes de (alguns ou todos) os tribunais participantes da rede. A inclusão de uma ampla gama de vozes no processo de desenvolvimento pode ajudar a construir uma visão comum e aumentar a legitimidade da estratégia e, portanto, aumentar o apoio a ela dentro de cada instituição de auditoria e na sociedade em geral (OCDE, 2020[32]) (ver Quadro 4.14 para um exemplo do plano estratégico de uma rede).
As instituições de auditoria que compõem o Conselho Australasiano de Auditores-Gerais acordaram um conjunto de objetivos estratégicos a serem alcançados pela rede de 2019 a 2022. O plano estratégico se baseia em quatro objetivos-chave:
1. Compartilhamento de conhecimento e colaboração – Incentivar a cooperação e colaboração através do desenvolvimento e compartilhamento do conhecimento, e serviços
2. Voz coletiva – Identificar e responder coletivamente às questões emergentes a nível nacional e internacional
3. Desenvolvimento de capacidade – Apoiar os membros da ACAG no desenvolvimento da capacidade de maximizar seu valor e benefícios
4. Maximizar o valor da ACAG como organização – Organizar e governar a ACAG de forma a promover práticas de trabalho econômicas, eficientes e eficazes, tomada de decisões oportunas e práticas de governança eficazes, mantendo ao mesmo tempo a devida consideração pela independência jurisdicional.
Cada objetivo é composto de duas ou três estratégias, seguidas de ações específicas e prazos para a realização. Por exemplo, uma estratégia para atingir o objetivo "voz coletiva" é "prover uma voz confiável e coletiva nas áreas de auditoria do setor público". Tal estratégia será atingida por ações que incluem a exploração da viabilidade de realizar uma auditoria colaborativa (cooperativa). Outras ações previstas no plano incluem:
facilitar programas de intercâmbio entre o pessoal do escritório de auditoria para maximizar o destacamento e outras oportunidades de recursos
compartilhar metodologias e conjuntos de ferramentas de auditoria, reconhecendo ao mesmo tempo a independência de cada jurisdição para adotar sua própria metodologia
assegurar que parcerias e acordos de geminação sejam desenvolvidos e implementados
dar suporte e promover a cooperação entre os membros da ACAG em apoio ao desenvolvimento da capacidade organizacional (por exemplo, revisões entre pares e de qualidade)
empreender uma revisão das medidas acordadas para informar o benchmarking entre os membros da ACAG
assegurar que cada subgrupo da rede produza um plano de trabalho anual e informe semestralmente à ACAG sobre o progresso em relação ao plano.
Fonte: (ACAG, 2019[9]).
A seleção colaborativa de temas de auditoria e o alinhamento das auditorias deve estar presente entre os objetivos estratégicos da rede. O objetivo estratégico pode acompanhar atividades específicas visando obter o comprometimento de todas as instituições de auditoria para participar do processo de planejamento estratégica de auditoria da rede. Este compromisso poderia ser formalizado pela participação de pelo menos um representante de cada tribunal de contas no comitê de seleção de auditoria.
Desenvolver uma abordagem compartilhada para a priorização de auditorias
O comitê de seleção de auditoria pode ser responsável pelo processo de planejamento e seleção estratégica de auditoria, uma oportunidade para os membros do comitê discutirem e concordarem sobre quais auditorias podem ser realizadas pelos tribunais de contas, em conjunto ou em colaboração. Este exercício permitiria tanto ao comitê quanto a cada tribunal de contas participante considerar os tópicos que, dentro de sua jurisdição, podem ter o maior impacto, levando em conta as capacidades de auditoria disponíveis (por exemplo, recursos humanos, habilidades profissionais e estruturas internas). Durante o processo, os participantes do comitê poderiam aplicar os métodos descritos no Capítulo 2 relacionados à seleção de auditoria baseada em evidências em áreas de políticas públicas descentralizadas, a fim de identificar os principais campos de ação que poderiam exigir esforços conjuntos.
Durante o exercício de seleção colaborativa de auditoria, o comitê deve considerar que os tribunais de contas têm suas próprias práticas de auditoria e formas de trabalho, incluindo seus próprios mecanismos de seleção de auditorias e planejamento plurianual. Entretanto, na medida em que o comitê possa aplicar os métodos descritos no Capítulo 2 para selecionar auditorias de forma colaborativa, tais métodos não devem pretender substituir a seleção de auditoria individual existente de cada tribunal. Entretanto, para que o alinhamento das auditorias seja possível, o comitê (ou a rede que hospeda o comitê) poderia defender perante seus membros que os tribunais de contas dediquem algum pessoal e recursos de suas instituições para alinhar a seleção de auditoria e o trabalho conjunto de auditoria.
Após a aplicação dos métodos de seleção de auditoria baseada em evidências – e uma vez definidos os principais campos de ação, levando em conta os objetivos da rede – o processo de seleção dos objetos de auditoria pode ser mais focalizado, podendo incluir o escrutínio das informações sobre a área governamental em questão, considerando os critérios de seleção.
Portanto, pode ser útil para os TCs responder a um conjunto de perguntas que podem ajudar a priorizar os tópicos de auditoria propostos no processo deliberativo de seleção do comitê, tais como:
Considerações estratégicas – O tema está de acordo com os objetivos estratégicos da rede? O tópico é importante para os cidadãos e governos nos níveis relevantes?
Contexto político e social – O tema é urgente para todos os tribunais de contas envolvidos, considerando seus contextos políticos e sociais? Os governos envolvidos se comprometeram com o tema ou fizeram planos envolvendo o tema?
Contexto multinível – É necessário trabalhar em conjunto entre os vários níveis de governo para alcançar os compromissos governamentais ou planos em torno do tema?
Impacto – A auditoria poderá fazer uma diferença positiva? Haverá pressão para que os auditados sigam as recomendações?
Materialidade – A atividade ou programa auditado tem implicações potencialmente significativas de gestão financeira, econômica, social ou ambiental?
Auditabilidade – A auditoria pode ser realizada com recursos que correspondam ao impacto e à materialidade do tema?
Valor agregado para a rede - A rede irá alavancar o impacto?
Para responder a estas perguntas, o comitê poderia considerar não apenas os resultados da seleção de auditoria baseada em evidências em áreas de políticas descentralizadas, mas também outras informações trocadas pelas instituições de auditoria da rede. Por exemplo, o comitê deve ter acesso e fazer uso de mecanismos implementados pela rede para garantir o compartilhamento persistente de conhecimentos entre as instituições de auditoria (como descrito nas seções acima).
Por fim, um processo deliberativo com a participação dos membros do comitê pode ser implementado para definir um planejamento compartilhado, que poderia resumir todas as atividades de auditoria planejadas e anunciadas a serem realizadas conjuntamente pelos membros do comitê (ver Quadro 4.15 por exemplo).
A Audit Scotland trabalha com outros órgãos de fiscalização de seu país por meio do Grupo de Escrutínio Estratégico (Strategic Scrutiny Group, SSG), para assegurar que a fiscalização dos órgãos do setor público seja bem coordenada, direcionada e proporcional em relação aos riscos identificados. O SSG é presidido por uma comissão e tem o suporte do Grupo de Escrutínio Operacional (Operational Scrutiny Group), cujo objetivo é desenvolver e dar suporte à entrega de um plano de coordenado que evidencie oportunidades para o escrutínio colaborativo.
O trabalho do SSG se baseia nas obrigações previstas da Lei de Reforma do Serviço Público escocesa de 2010 e pelos cinco princípios de escrutínio:
foco público
independência
proporcionalidade
transparência
prestação de contas.
Em 2008, o SSG estabeleceu um processo compartilhado de avaliação de risco como o veículo para os órgãos de escrutínio trocarem informações e acordarem sobre os riscos de cada um dos 32 conselhos públicos sujeitos ao escrutínio público na Escócia. O processo tem sido bem-sucedido em fornecer um foco para os órgãos de escrutínio trabalharem mais estreitamente juntos e para um engajamento mais coordenado entre os conselhos e os órgãos de escrutínio. O processo se baseia nos seguintes princípios:
Uma cultura aberta e de confiança – Os órgãos de escrutínio devem compartilhar informações sobre riscos e trabalho planejado com outros órgãos de escrutínio. Também deve haver um relacionamento aberto e transparente com os conselhos sempre que possível.
Um foco no melhor valor e melhor utilização dos recursos – Os órgãos de escrutínio devem trabalhar para evitar duplicação e estar cientes do impacto do trabalho do grupo sobre o público, os serviços que recebem, as autoridades locais e outros órgãos de escrutínio.
Melhor planejamento – Os órgãos de escrutínio devem estar atentos aos prazos de planejamento para que possam compartilhar de forma significativa os planos com outros órgãos de escrutínio e com as autoridades locais.
Incorporação – Deve haver uma avaliação colaborativa dos riscos de escrutínio dentro dos sistemas, processos e burocracia existentes. Isto inclui o engajamento com as autoridades locais. Este princípio também significa que o processo deve ser contínuo - em vez de começar e parar diversas vezes ao longo do ano.
O resultado do processo de avaliação de risco compartilhado é o Plano Nacional de Escrutínio. O último plano aprovado resumiu todas as atividades de escrutínio estratégico planejadas a serem realizadas pelos membros do SSG a partir de setembro de 2019, em cada um dos conselhos do país. O plano destaca o alcance e a natureza do escrutínio a ser realizado durante o ano. Dado o foco em uma abordagem baseada em risco e proporcional, a atividade de escrutínio também pode mudar durante o ano, particularmente em resposta a quaisquer riscos ou eventos significativos que requeiram investigação imediata. Portanto, para assegurar que o Plano Nacional de Escrutínio seja coerente e abrangente, o SSG o atualiza semestralmente em resposta a quaisquer mudanças significativas na atividade de escrutínio.
Fonte: (Scotland Strategic Scrutiny Group, 2019[33]) (Scotland Strategic Scrutiny Group, 2019[34]).
Integrar a dimensão da governança multinível
Como mostrado no Capítulo 3, a forma como o sistema de governança multinível está estruturado e como funciona afeta o projeto, a implementação e os resultados das políticas públicas com impacto subnacional. Portanto, é crucial considerar a dimensão de governança multinível em auditorias de políticas descentralizadas. A rede brasileira de instituições de auditoria é um fórum adequado para permitir esta integração.
Um grupo de trabalho ou comitê poderia ser formado dentro da rede com o mandato específico de colocar em prática as etapas descritas no Capítulo 3 sobre como mapear e avaliar as capacidades e recursos em cada nível de governo, bem como os mecanismos de coordenação entre e através de cada nível. Uma vez definida o referencial analítico, este pode ser usado como um insumo no planejamento de auditorias. O principal resultado desta fase do processo é o plano de auditoria, que geralmente deve incluir os objetivos, escopo, critérios, coleta de evidências e técnicas analíticas da auditoria.
A compreensão do tópico ou objeto a ser auditado é importante em qualquer tipo de auditoria, e a boa prática é fazer isso em um estudo de pré-auditoria. A esse respeito, o desenvolvimento do referencial de avaliação da governança multinível para uma área política específica descentralizada pode ser considerado uma pré-auditoria ou um estudo preliminar. Portanto, uma vez que o comitê de seleção compartilhado da auditoria decida sobre o tema da auditoria, ele poderá trabalhar em colaboração com o comitê do MLG para definir e refinar o planejamento da auditoria.
Estabelecer um ciclo de aprendizagem
Após o planejamento da auditoria e antes do início dos trabalhos de auditoria, os membros do comitê (ou os membros dos tribunais de contas participantes) podem desenvolver um processo de avaliação para avaliar se os objetivos da auditoria, definidos no início dos trabalhos, foram alcançados. Quanto mais claros e precisos estes objetivos forem, mais claro será o exercício de avaliação. A avaliação poderá também abordar se, e quais, limitações tiveram impacto sobre o trabalho de auditoria. Um repertório de melhores práticas e desafios pode ser uma forma simples de consolidar as lições aprendidas (ver Quadro 4.16 para um exemplo do Canadá).
Em novembro de 2015, um grupo de trabalho composto por auditores externos da maioria dos escritórios no Canadá decidiu realizar um trabalho de auditoria sobre o progresso de seus governos na ação contra a mudança climática. De 2015 a 2018, os auditores gerais provinciais colaboraram com o Comissário Federal do Meio Ambiente e Desenvolvimento Sustentável, através do Escritório do Auditor-Geral do Canadá (OAG), para conduzir a auditoria. O relatório de síntese, apresentado ao Parlamento canadense em março de 2018, forneceu uma análise independente do progresso do governo em relação aos compromissos sobre mudança climática em todo o país.
Lições aprendidas
A equipe do projeto escreveu e publicou um relatório final para documentar o processo e para auxiliar no planejamento de trabalhos similares no futuro. As 10 principais lições, de acordo com a equipe, incluem:
Escolher um tema de auditoria que seja importante para todos os cidadãos – no qual todos os governos envolvidos tenham assumido fortes compromissos e tenham planos e estratégias para cumpri-los, e onde seja necessário trabalhar em conjunto entre as jurisdições para alcançá-los.
Obter a adesão e o compromisso dos mais altos níveis em todos os escritórios de auditoria antes de dar prosseguimento. Além de obter aprovação, é fundamental criar uma carta de comprometimento com a visão, recursos e prazos do projeto, e obter a aprovação da carta.
Começar o projeto mais cedo. O projeto começou dois anos antes do mês de apresentação das recomendações, planejado para dezembro de 2017, e mesmo assim não foi finalizado até 2018 porque várias jurisdições tiveram que mudar as datas de suas reuniões por uma série de razões.
Designar claramente a liderança, tanto no nível do projeto quanto em outros níveis. Com tantos escritórios de auditoria participantes, se fez necessário uma liderança confiável, visão e comprometimento de recursos e expertise.
Assegurar uma comunicação regular e estruturada durante todo o projeto. O grupo de trabalho do projeto comunicou-se por telefone durante todo o projeto. As atas foram tomadas e distribuídas por e-mail para aqueles que não puderam comparecer a todas as reuniões. Ter um método seguro e fácil para compartilhar informações e rascunhos de relatórios é importante.
Atentar nas decisões de planejamento inicial para o que as auditorias incluirão, especialmente considerando o número de escritórios de auditoria participantes, a fim de ter mensagens coerentes. Redigir um esboço do relatório de síntese de antemão para que todos possam trabalhar nesse sentido.
Engajar especialistas no assunto em questão. A OAG contratou especialistas para assessorar os escritórios de auditoria participantes em assuntos específicos. Também foram convocados comitês consultivos para ajudar a orientar o projeto. O engajamento com especialistas aumentou a credibilidade.
Compreender as diferenças de práticas e metodologia. Nem todos os órgãos de auditoria fazem as mesmas coisas da mesma forma. É importante conhecer essas diferenças e encontrar maneiras de trabalhar com elas com antecedência. Por exemplo, o grupo de trabalho do projeto consultou a assessoria jurídica durante as fases de exame e apresentação de relatórios para ajudá-los a decidir que tipo de informação poderia ser compartilhada e quando. Diferentes escritórios de auditoria têm práticas diferentes sobre este assunto, assim como outros.
Apresentar auditorias individuais o mais próximo possível uma das outras, a fim de maximizar seu impacto.
Abraçar a inovação e a adaptabilidade. Pensar fora da caixa, e aprender ao longo do caminho provaram ser fundamental para o sucesso.
Fonte: (Office of the Auditor General of Canada, 2018[35]).
A avaliação pode ocorrer após a conclusão da auditoria, mas também pode haver avaliações intermediárias. Em geral, a avaliação pode ocorrer através de pesquisas ou outros indicadores:
Adequação do tema de auditoria – O tema da auditoria era importante para todos os cidadãos? Como o trabalho conjunto ajudou a alcançar os objetivos da auditoria (ou seja, o que não teria sido alcançado sem a coordenação entre as instituições de auditoria)?
Compromisso – Todos os tribunais de contas envolvidos cumpriram os prazos e se comprometeram com a visão da rede?
Elaboração – A programação e o planejamento da auditoria foram adequados aos objetivos da auditoria? O que poderia ter funcionado melhor?
Comunicação – A estrutura de comunicação foi apropriada? O que poderia ter funcionado melhor para facilitar o compartilhamento de informações e conhecimentos?
Diferentes práticas e metodologias – As diferentes práticas e metodologias afetaram negativamente a auditoria? Como? Que medidas foram tomadas a fim de enfrentar os desafios? O que poderia ter funcionado melhor?
Os resultados da avaliação podem ser armazenados, disponibilizados publicamente e reportados à liderança da rede, bem como a todos os tribunais de contas que participam da rede.
Com base nas medidas que o TCU já tomou visando promover a colaboração no sistema de auditoria no Brasil, incluindo as várias auditorias coordenadas que liderou, o TCU e os TCs poderiam melhorar as ações existentes, estabelecendo uma rede de colaboração, que poderia tomar a forma de um conselho nacional – ou, fortalecendo as redes de organização administrativa existentes.
A fim de enfrentar os desafios das redes de auditoria, os TCs poderiam pensar cuidadosamente sobre a estrutura de governança da rede e seu projeto operacional. Tal estrutura poderia ser a base para desenvolver os mecanismos de seleção colaborativa e alinhamento de auditorias entre os TCs.
Para isso, os TCs poderiam definir a seleção colaborativa de auditorias como um objetivo estratégico da rede; desenvolver uma abordagem compartilhada para a priorização de auditorias; e integrar a dimensão de governança multinível como parte de um estudo de pré-auditoria ou fase preliminar de auditoria.
Referências
[9] ACAG (2019), ACAG’s Strategic Plan 2019 - 2022, https://www.acag.org.au/files/ACAG_Strategic_Plan_2019-2022_Jan2020_Full_Version_V2.pdf.
[10] ACAG (2017), Australasian Council of Auditors-General Constitution, https://www.acag.org.au/files/ACAG%20Constitution_November%202017.pdf.
[26] Accountancy Europe (2019), Single audits ensure that government money is being well spent, https://www.accountancyeurope.eu/audit/single-audits-ensure-that-government-money-is-being-well-spent/ (acesso em 6 de agosto 2020).
[2] Agranoff, R. and M. McGuire (2003), Collaborative Public Management: New Strategies for Local Governments, Georgetown University Press.
[13] ATRICON (2020), Apresentação: ATRICON, http://www.atricon.org.br/institucional/apresentacao/ (acesso em 6 de agosto 2020).
[12] ATRICON (2018), PLANO ESTRATÉGICO 2018-2023, http://www.atricon.org.br/wp-content/uploads/2018/01/PLANO-ESTRAT%C3%89GICO-ATRICON-2018-2023-Aprovado-pela-Assembleia-Geral.pdf (acesso em 6 de agosto 2020).
[24] Belgian Court of Audit (2015), Accords relatifs au single audit : L’audit des comptes 2015 de l’autorité flamande, https://doc.ibr-ire.be/fr/Documents/reglementation-et-publications/Doctrine/circulaires/Annexe1Afsprakennota%20single%20audit%202015.docx_nl-BE_fr-BE.pdf.
[25] Belgian Court of Audit (2009), Abstract: Table conference of audit stakeholders and audited entities in the Flemish community, https://www.rekenhof.be/Docs/2009_11_RondeTafel_Abstract_EN.pdf (acesso em 6 de agosto 2020).
[20] Cámara de Diputados del H. Congreso de la Unión (2016), Ley General del Sistema Nacional Anticorrupción, http://www.diputados.gob.mx/LeyesBiblio/pdf/LGSNA.pdf.
[15] CNJ (2020), CNJ: composição atual, https://www.cnj.jus.br/composicao-atual/ (acesso em 20 de setembro 2020).
[16] CNJ (2020), Manual de Organização, https://www.cnj.jus.br/wp-content/uploads/2020/08/Manual_de_Organizacao_do_CNJ_2020_azul_atualizado_13_08_20.pdf.
[17] CNMP (2020), Relatório Anual 2019, https://cnmp.mp.br/portal/images/Publicacoes/documentos/2019/Relat%C3%B3rio_Atividades_2019.pdf.
[22] CONACI (2019), Planejamento Estratégico, http://www.conaci.org.br/planejamento/ (acesso em 20 de setembro 2020).
[18] CONACI (2015), Estatuto Social, http://www.conaci.org.br/estatuto (acesso em 20 de setembro 2020).
[8] Cour des Comptes (2020), Chambres régionales et territoriales des comptes: rôle et activités, https://www.ccomptes.fr/fr/chambres-regionales-et-territoriales-des-comptes/role-et-activites#a (acesso em 30 de julho 2020).
[27] EUROSAI (2018), Overview of External Audit Systems in Local Governments, http://www.eurosaiop.org/docs/upload/documents/TFMA_Overview_external_audit_systems_2018_1555656170.pdf.
[6] Instituto Rui Barbosa (2020), Comitê Técnico de Educação, https://irbcontas.org.br/comite/comite-tecnico-de-educacao/ acesso em 20 de setembro 2020).
[5] Instituto Rui Barbosa (2020), Relatório Atividades CTE 2019, https://irbcontas.org.br/download/100/educacao/4244/relatorio-atividades-cte-2019.pdf (acesso em 20 de setembro 2020).
[14] Instituto Rui Barbosa (2020), Sobre o IRB, https://irbcontas.org.br/sobre-o-irb/ (acesso em 6 de agosto 2020).
[11] Instituto Rui Barbosa (2018), Mapa estratégico, https://irbcontas.org.br/wp-admin/admin-ajax.php?juwpfisadmin=false&action=wpfd&task=file.download&wpfd_category_id=125&wpfd_file_id=2906&token=16887b9c678d032def11f63f782089e3&preview=1 (acesso em 6 de agosto 2020).
[23] INTOSAI (2013), ISSAI 100- Fundamental principles of Public Sector Auditing, https://www.issai.org/pronouncements/issai-100-fundamental-principles-of-public-sector-auditing/.
[4] Keast, R., M. Mandell and R. (eds) (2014), Network Theory in the Public Sector; Building new theoretical frameworks, Routeledge.
[7] Kenis, P. and K. Provan (2009), “Towards an exogenous theory of public network performance”, Public Administration, Vol. 87/3, pp. 440-456, https://doi.org/10.1111/j.1467-9299.2009.01775.x.
[32] OCDE (2020), OECD Public Integrity Handbook, OECD Publishing, https://doi.org/10.1787/ac8ed8e8-en.
[1] OCDE (2016), Supreme Audit Institutions and Good Governance: Oversight, Insight and Foresight, OECD Public Governance Reviews, OECD Publishing, Paris, https://dx.doi.org/10.1787/9789264263871-en.
[35] Office of the Auditor General of Canada (2018), Collaborative Climate Change Audit Project: Process Chronicle and Lessons Learned, https://www.oag-bvg.gc.ca/internet/English/oth_201905_e_43380.html?wbdisable=true#hd2b (acesso em 26 de julho 2020).
[29] OLACEFS (2016), Coordinated Audit on Education Indicators, https://www.olacefs.com/ficha-sintesis-auditoria-coordinada-sobre-indicadores-de-educacion/?lang=en.
[19] Plastrik, P., M. Taylor and J. Cleveland (2014), Connecting to Change the World: Harnessing the Power of Networks for Social Impact, Island Press.
[34] Scotland Strategic Scrutiny Group (2019), National scrutiny plan, https://www.audit-scotland.gov.uk/uploads/docs/report/2019/sp_190917_scrutiny_plan.pdf.
[33] Scotland Strategic Scrutiny Group (2019), Scrutiny Coordination and Shared Risk Assessment, https://www.audit-scotland.gov.uk/uploads/docs/um/sra_guidance_2019.pdf.
[21] SIGEN (2020), Sindicatura General de la Nación, Red Federal, https://www.argentina.gob.ar/sigen/red-federal-de-control-publico (acesso em 2 de julho 2020).
[28] Sistema Nacional de Fiscalización (2020), Informe del Sistema Nacional de Fiscalización al Comité Coordinador del Sistema Nacional Anticorrupción, http://www.orfis.gob.mx/BibliotecaVirtual/archivos/29072019055534.pdf.
[31] TCU (2016), Ficha-síntese: Auditoria Coordenada para Avaliação da Infrastrutura de Escolas Públicas de Ensino Fundamental, https://portal.tcu.gov.br/biblioteca-digital/auditoria-coordenada-para-avaliacao-da-infraestrutura-de-escolas-publicas-de-ensino-fundamental.htm.
[30] TCU (2015), Ficha Síntese Auditoria Coordenada na Atenção Básica à Saúde, https://portal.tcu.gov.br/lumis/portal/file/fileDownload.jsp?fileId=8A8182A1602335590160FB2903EB7610.
[3] Thomson, A. and J. Perry (2006), “Collaboration Processes: Inside the Black Box”, Public Administratioen Review, Vol. 66/1, pp. 20-32, https://doi.org/10.1111/j.1540-6210.2006.00663.x.