Manual de Auditoria de Desempenho

TRIBUNAL DE CONTAS DA UNIO Secretaria-Geral de Controle Externo Secretaria de Auditoria e Inspees
MANUAL DE AUDITORIA DE DESEMPENHO
SAUDI/SEGECEX 1998
TRIBUNAL DE CONTAS DA UNIO Presidente: Ministro Homero Santos Vice-Presidente: Ministro Iram de Almeida Saraiva Ministros: Adhemar Paladini Ghisi Carlos tila lvares da Silva Marcos Vinicios Rodrigues Vilaa Humberto Guimares Souto Bento Jos Bugarin Antonio Valmir Campelo Bezerra Auditores: Jos Antonio Barreto de Macedo Lincoln Magalhes da Rocha Benjamin Zymler Procurador-Geral: Walton Alencar Rodrigues Subprocuradores-Gerais: Jatir Batista da Cunha Lucas Rocha Furtado Paulo Soares Bugarin Procuradores: Maria Alzira Ferreira Marinus Eduardo Vries Marsico Ubaldo Alves Caldas Cristina Machado da Costa e Silva Comisso Permanente de Regimento: Ministro Adhemar Paladini Ghisi (Presidente) Ministro Humberto Guimares Souto (Membro) Ministro Valmir Campelo (Membro) Auditor Jos Antonio Barreto de Macedo (Suplente) Comisso Permanente de Jurisprudncia: Ministro Carlos tila lvares da Silva (Presidente) Ministro Marcos Vinicios Rodrigues Vilaa
TRIBUNAL DE CONTAS DA UNIO Secretaria-Geral de Controle Externo Secretaria de Auditoria e Inspees
Braslia, abril de 1998.
Tribunal de Contas da Unio Internet: http://www.tcu.gov.br SAFS Lt. 01 CEP: 70.042-900 - Braslia (DF)
Secretrio-Geral de Controle Externo: Jos Nagel Secretrio de Auditoria e Inspees: Cludio Souza Castello Branco Diretor de Normas e Procedimentos de Auditoria e Programas de Governo: Paulo Roberto Pinheiro Dias Pereira Chefe do Servio de Programas de Governo: Glria Maria Merola da Costa Bastos Analistas de Finanas e Controle Externo - rea de Controle Externo: Carlos Alexandre Amorim Rocha Carmen Pereira Rgo Meireles
657.63 B823M
Brasil. Tribunal de Contas da Unio. Manual de auditoria de desempenho. -- Braslia : TCU, Secretaria de Auditoria e Inspees, 1998. 78 p. 1. TCU - Manual de auditoria de desempenho (1998) I. Ttulo.
Ficha Catalogrfica elaborada pela Diviso de Documentao do TCU.
Tribunal de Contas da Unio
Portaria n 222, de 28 de abril de 1998. Aprova o Manual de Auditoria de Desempenho do Tribunal de Contas da Unio. O PRESIDENTE DO TRIBUNAL DE CONTAS DA UNIO, no uso de suas atribuies legais e regimentais e tendo em vista o disposto no artigo 2, III, da Resoluo Administrativa n 72, de 20 de maro de 1986, e no artigo 35 da Instruo Normativa n 09, de 16 de fevereiro de 1995, resolve: Art. 1 Fica aprovado o Manual de Auditoria de Desempenho do Tribunal de Contas da Unio, contendo os procedimentos operacionais e as estratgias metodolgicas a serem utilizadas na realizao de auditorias operacionais e avaliaes de programa. Art. 2 Esta Portaria entra em vigor na data de sua publicao.
HOMERO SANTOS
APRESENTAO
A necessidade de tornar mais efetivas e transparentes as aes governamentais tem ensejado iniciativas inovadoras de trabalho no mbito de atuao das Entidades de Fiscalizao Superior - EFS, constituindo-se em trao comum a essas iniciativas a nfase na avaliao dos resultados alcanados pelos programas, projetos, atividades, rgos e entidades da administrao pblica. Sem abdicar das suas atribuies histricas de zelar pelo cumprimento das normas legais aplicveis boa prtica administrativa, as EFS tm procurado ampliar o seu campo de atuao, exercendo um controle mais finalstico das aes de governo. Em consonncia com essa tendncia internacional, o Tribunal de Contas da Unio - TCU, j na dcada de 80, passou a praticar as chamadas auditorias operacionais, voltadas para a verificao dos princpios da economia, eficincia e eficcia das aes desenvolvidas pela administrao pblica. Em fevereiro de 1995, com a implantao do Projeto de Capacitao em Avaliao de Programas Pblicos, por iniciativa pioneira da gesto do Exmo. Ministro Marcos Vinicios Rodrigues Vilaa, inaugurou-se uma nova dimenso na atuao desta Corte, voltada para o desenvolvimento dos mtodos necessrios avaliao do impacto junto sociedade das funes, programas, projetos e atividades governamentais. A realidade tem sido farta em apresentar exemplos de aes da administrao pblica que, embora cumprindo satisfatoriamente as metas previstas, no lograram modificar as condies sociais adversas da populao. Ademais, no raras vezes, essas aes tm, inesperadamente, produzido efeitos negativos. Essa nova modalidade de controle, denominada avaliao de programa, vem sendo praticada por EFS de reconhecida competncia tcnica, como o United States General Accounting Office (EUA), o Office of the Auditor-General (Canad), o National Audit Office (Reino Unido) e o Australian National Audit Office (Austrlia), entre outros. Nessa linha, a atual gesto apresenta o Manual de Auditoria de Desempenho, que integra e consolida os principais mtodos empregados em avaliao de programa com os conhecimentos e prticas regularmente adotados pelo TCU nos trabalhos de auditoria operacional, garantindo, assim, a continuidade do desenvolvimento tcnico desta Corte. Esse manual, desenvolvido pela Secretaria de Auditoria e Inspees - SAUDI, contou com a colaborao de oito unidades tcnico-executivas, que testaram os mtodos ali preconizados no mbito de projetos-piloto que englobaram oito reas temticas distintas, quais sejam: trabalho, defesa, sade, receitas pblicas, educao, infraestrutura, habitao e meio ambiente. Para concluir, importante mencionar a nfase dada ao controle de resultados pelas diretrizes que orientam a atual reforma e modernizao do aparelho de Estado. A maior flexibilidade e autonomia do gestor, preconizadas por essas diretrizes, devem ser
acompanhadas por um modelo de controle voltado para o exame dos resultados, das potencialidades e das limitaes das aes governamentais.
Homero Santos Presidente
iv
SUMRIO
Pgina LISTA DE QUADROS...........................................................................................................vii LISTA DE SIGLAS...............................................................................................................viii INTRODUO.......................................................................................................................9 1. DEFINIES E CONCEITOS.........................................................................................11 1.1. Auditoria Operacional...........................................................................................11 1.2. Avaliao de Programa........................................................................................11 2. ETAPAS DA AUDITORIA DE DESEMPENHO...............................................................15 2.1. Levantamento de Auditoria..................................................................................15 2.1.1. Elaborao do Plano de Levantamento de Auditoria..............................15 2.1.2. Anlise Preliminar do Objeto da Auditoria...............................................16 2.1.2.1. Modelo de Marco Lgico.......................................................................17 2.1.2.2. Modelo de Insumo-Produto...................................................................19 2.1.2.3. Modelo de Condies Ambientes.........................................................20 2.1.3. Coleta de Dados sobre Desempenho......................................................20 2.1.4. Especificao dos Critrios de Auditoria..................................................22 2.1.5. Preparao do Relatrio de Levantamento de Auditoria.........................24 2.2. Plano de Auditoria Operacional/Avaliao de Programa....................................25 2.2.1. Questes de Auditoria..............................................................................26 2.2.2. Informaes Requeridas..........................................................................28 2.2.3. Fontes de Informao..............................................................................29 2.2.4. Estratgias Metodolgicas.......................................................................29 2.2.4.1. Estudo de Caso.....................................................................................32 2.2.4.2. Pesquisa................................................................................................34 2.2.4.3. Delineamento Experimental..................................................................36 2.2.4.4. Delineamentos Quase-Experimentais...................................................38 2.2.4.5. Delineamentos No-Experimentais.......................................................40 2.2.4.6. Utilizao de Dados Existentes.............................................................41 2.2.5. Mtodos de Coleta de Dados...................................................................42 2.2.6. Mtodos de Anlise de Dados.................................................................45 2.2.7. Limitaes.................................................................................................46 2.2.8. O Que a Anlise Vai Permitir Dizer..........................................................47 2.3. Execuo..............................................................................................................47 2.3.1. Desenvolvimento dos Trabalhos de Campo............................................48 2.3.2. Teste-Piloto...............................................................................................49 2.3.3. Relatrio...................................................................................................49 2.3.3.1. Sumrio.................................................................................................50 2.3.3.2. Resumo.................................................................................................50 2.3.3.3. Introduo..............................................................................................51 2.3.3.4. Captulos sobre os Temas Principais....................................................51 2.3.3.5. Comentrios do Gestor.........................................................................52 2.3.3.6. Concluso..............................................................................................53 2.3.3.7. Proposta de Encaminhamento..............................................................53 2.3.3.8. Apndices..............................................................................................53 ANEXO I...............................................................................................................................55 I.1. Origem e Antecedentes........................................................................................57 I.1.1. Base Legal.................................................................................................57 I.1.2. Antecedentes Institucionais.......................................................................57 I.2. Planejamento........................................................................................................58 I.2.1. Diretrizes....................................................................................................58
I.2.2. Prioridades, Objetivos e Metas.................................................................58 I.2.3 Acompanhamento......................................................................................58 I.3. Populao-Alvo.....................................................................................................59 I.4. Ambiente de Atuao............................................................................................59 I.4.1. Contexto Poltico-Social............................................................................59 I.4.2. Caractersticas Scio-Econmicas............................................................60 I.5. Caractersticas Operacionais................................................................................60 I.5.1 Recursos Humanos....................................................................................60 I.5.2. Recursos Financeiros................................................................................61 I.5.3. Recursos Fsicos.......................................................................................61 I.5.4. Funcionamento..........................................................................................61 I.6. Fatores Restritivos................................................................................................61 ANEXO II..............................................................................................................................63 GLOSSRIO........................................................................................................................67 BIBLIOGRAFIA....................................................................................................................71 FOLHA DE SUGESTES....................................................................................................73
vi
LISTA DE QUADROS
Pgina Quadro 1: Exemplo do Modelo de Marco Lgico para um Projeto Hipottico de Perfurao de Poos com gua Potvel em uma Zona Rural..............................................................18 Quadro 2: Exemplo do Modelo de Insumo-Produto para um Projeto Hipottico de Financiamento de Atividades de Capacitao Profissional................................................19 Quadro 3: Exemplo do Modelo de Condies Ambientes para um Projeto Hipottico de Financiamento de Atividades de Capacitao Profissional................................................20 Quadro 4: Exemplo de Critrio Aplicvel s Auditorias de Sistemas Internos de Avaliao de Desempenho Institucional..............................................................................................23 Quadro 5: O Problema e as Questes de Auditoria do Plano de Auditoria da 3 SECEX no Programa de Levantamento da Plataforma Continental Brasileira - LEPLAC...................26 Quadro 6: Principais Critrios de Escolha Empregados em Estudo de Caso....................34 Quadro 7: Diagrama do Delineamento Experimental com Pr e Ps-Testes....................37 Quadro 8: Diagrama do Delineamento Experimental com Ps-Teste................................38 Quadro 9: Diagrama do Delineamento Grupos No-Equivalentes com Pr e Ps-Testes .............................................................................................................................................39 Quadro 10: Diagrama do Delineamento Sries Temporais com Grupo de Controle......39 Quadro 11: Diagrama do Delineamento Sries Temporais sem Grupo de Controle......40 Quadro 12: Diagrama do Delineamento Antes-e-Depois.................................................41 Quadro 13: Sinopse das Estratgias Metodolgicas..........................................................44
vii
LISTA DE SIGLAS
ANAO.....................................Australian National Audit Office BID.........................................Banco Interamericano de Desenvolvimento EFS........................................Entidade de Fiscalizao Superior GAO.......................................United States General Accounting Office INCOSAI................................International Congress of Supreme Audit Institutions INTOSAI................................International Organization of Supreme Audit Institutions NAO.......................................National Audit Office OAG.......................................Office of the Auditor-General of Canada SECEX...................................Secretaria de Controle Externo (Unidade Tcnica do TCU) TCU.......................................Tribunal de Contas da Unio
viii
INTRODUO
O Manual de Auditoria de Desempenho integra e consolida os principais mtodos empregados em avaliao de programa com os conhecimentos e prticas regularmente adotados pelo TCU nos trabalhos de auditoria operacional. Est dividido em dois captulos: o primeiro dedicado distino conceitual entre auditoria operacional e avaliao de programa, modalidades de auditoria de desempenho, enquanto o segundo trata das etapas do desenvolvimento dos trabalhos de auditoria de desempenho, compreendendo as atividades de planejamento e de execuo dos trabalhos. A etapa de planejamento foi dividida em duas fases sucessivas e mereceu um tratamento abrangente e detalhado neste manual. Na primeira fase, denominada levantamento de auditoria, so apresentados alguns mtodos utilizados em avaliao de projetos, entre os quais o modelo de marco lgico, amplamente difundido pelas agncias internacionais de desenvolvimento em atuao no Brasil, como o BID e o Banco Mundial. Na segunda fase, denominada plano de auditoria operacional/avaliao de programa, apresentada a matriz de planejamento, instrumento de apoio metodolgico desenvolvido pelo GAO. A matriz apresenta, de forma sucinta, as estratgias metodolgicas mais empregadas, tanto em avaliao de programa, como em auditoria operacional, assim como os demais elementos que compem o citado plano. Na etapa de execuo, foram discutidos: os procedimentos analticos necessrios adequada caracterizao dos achados de auditoria; a necessidade de realizao de teste-piloto sempre que a complexidade do trabalho e os custos envolvidos assim recomendarem; e a estrutura a ser adotada nos relatrios de auditoria de desempenho, bem como as orientaes gerais sobre o seu contedo. Na elaborao deste manual foram consideradas no apenas as melhores experincias internacionais sobre o tema, como tambm as contribuies de profissionais desta Corte. Contudo, o manual no suficiente para dotar as equipes de auditoria de todos os conhecimentos necessrios realizao dos trabalhos de auditoria de desempenho, sendo recomendvel, para a sua plena utilizao, que os membros dessas equipes cumpram programa de treinamento especfico, bem como utilizem o material de apoio disponvel sobre os mtodos aqui preconizados.
10
1. DEFINIES E CONCEITOS
A auditoria de desempenho consiste na avaliao sistemtica dos programas, projetos e atividades governamentais, assim como dos rgos e entidades jurisdicionadas ao Tribunal. A auditoria de desempenho abrange duas modalidade: a operacional e a avaliao de programa. 1.1. Auditoria Operacional O objetivo da auditoria operacional examinar a ao governamental quanto aos aspectos da economicidade, eficincia e eficcia. Com esse intuito, so examinados os seguintes aspectos: como os rgos e entidades pblicas adquirem, protegem e utilizam seus recursos; as causas de prticas antieconmicas e ineficientes; o cumprimento das metas previstas; a obedincia aos dispositivos legais aplicveis aos aspectos da economicidade, eficincia e eficcia da gesto. Portanto, o foco da auditoria operacional o processo de gesto nos seus mltiplos aspectos de planejamento, de organizao, de procedimentos operacionais e de acompanhamento gerencial, inclusive quanto aos seus resultados em termos de metas alcanadas. Ao se proceder a uma auditoria operacional, deve-se abordar, entre outras questes: a adequao da estrutura organizacional aos objetivos do rgo ou entidade; a existncia de sistemas de controle adequados, destinados a monitorar, com base em indicadores de desempenho vlidos e confiveis, aspectos ligados economicidade e eficincia; o cumprimento das prticas recomendadas pela legislao para aquisio de bens e servios; a adequao das aquisies no que se refere aos prazos, quantidade, ao tipo, qualidade e aos preos; a guarda e manuteno dos bens mveis e imveis; a existncia de rotinas e procedimentos de trabalho documentados e atualizados; o uso adequado dos recursos humanos, instalaes e equipamentos voltados para a produo e prestao de bens e servios na proporo, qualidade e prazos requeridos; a extenso do cumprimento das metas previstas pela administrao ou legislao pertinente. 1.2. Avaliao de Programa auditoria
O objetivo da avaliao de programa examinar o impacto dos programas, projetos e atividades governamentais. No contexto deste manual, o impacto da ao governamental deve ser entendido como o resultado lquido produzido por um programa, projeto ou atividade, ou seja, as modificaes verificadas no objeto da ao que podem ser atribudas nica e exclusivamente quelas modalidades de interveno estatal. Enquanto que a auditoria operacional verifica, alm da eficincia operativa, o grau de cumprimento das metas, comparando metas previstas com metas realizadas, a avaliao de programa busca apurar em que medida as aes implementadas lograram produzir os efeitos pretendidos pela administrao. Um exemplo permite esclarecer o exposto. Uma auditoria operacional em um programa de nutrio infantil procurar verificar o alcance das metas propostas, sugerindo, eventualmente, o aumento da eficincia do programa mediante uma seleo mais adequada dos beneficirios e uma melhoria dos sistemas de aquisio, distribuio e oferta de alimentos. Mas nada dir sobre se essas correes diminuiro a desnutrio. Por outro lado, a avaliao de programa procurar estabelecer em que medida o programa consegue melhorar a situao nutricional da populao-alvo se houve mudanas, a magnitude das mesmas e que segmentos da populao-alvo foram afetados. Portanto, a auditoria operacional focaliza o processo de gesto, enquanto a avaliao de programa prioriza os efeitos produzidos pela interveno governamental. No primeiro caso, investiga-se o funcionamento dos programas, projetos e atividades e o cumprimento de metas quantificveis, como, por exemplo, o nmero de escolas construdas, de vacinas aplicadas, de servidores treinados ou de estradas recuperadas em relao ao previsto nos planos de governo ou na legislao especfica. No segundo, deve-se agregar anlise dimenses que permitam equipe pronunciar-se, por exemplo, sobre a reduo da evaso escolar, a erradicao de doenas contagiosas, a qualidade dos servios prestados pela administrao ou a reduo dos ndices de acidentes no trnsito. importante distinguir entre essas duas abordagens, uma vez que o cumprimento de uma meta fsica ou a disponibilidade de um servio pode ser uma condio necessria, mas no suficiente para que determinado problema seja efetivamente resolvido ou para que determinada necessidade seja atendida. Muitas vezes, o efeito esperado pode no ocorrer ou ser insignificante. Alm do mais, uma interveno governamental especfica pode provocar efeitos inesperados, tanto negativos, quanto positivos. Nas duas situaes, ao proceder a uma avaliao de programa, deve-se buscar as relaes de causalidade subjacentes aos fenmenos observados, procurando identificar os efeitos atribuveis exclusivamente ao programa, projeto ou atividade. Trata-se, portanto, de verificar, valendo-se de uma estratgia metodolgica apropriada, em que medida os efeitos observados, intencionais ou no, foram causados por essa interveno especfica. Segundo o Grupo de Trabalho sobre Avaliao de Programa da INTOSAI, uma avaliao de programa distingue-se de uma auditoria operacional porque permite responder a questes no abordadas por essa ltima (INTOSAI, 1995, p. 2). A avaliao de programa , via de regra, mais ambiciosa em relao anlise dos objetivos e dos resultados da interveno governamental. Essa modalidade de auditoria de desempenho
12
DEFINIES E CONCEITOS
utiliza estratgias metodolgicas raramente empregadas em auditoria operacional, tais como, pesquisa, delineamento experimental e delineamentos quase-experimentais. Embora a auditoria operacional e a avaliao de programa possam ser realizadas de maneira independente, as informaes produzidas em cada uma delas proporciona uma anlise completa da atuao governamental, tanto em relao aos aspectos operacionais como em relao ao impacto das aes implementadas. Nesse sentido, as duas abordagens da auditoria de desempenho podem ser entendidas como complementares. Entre os aspectos a serem examinados, mediante uma avaliao de programa em programas, projetos e atividades, destacam-se: a sua concepo lgica; a adequao e a relevncia de seus objetivos, declarados ou no, e a consistncia entre esses e as necessidades previamente identificadas; a consistncia entre as aes desenvolvidas e os objetivos estabelecidos; as conseqncias globais para a sociedade; os efeitos no includos explicitamente nos seus objetivos; a relao de causalidade entre efeitos observados e poltica proposta; os fatores inibidores do seu desempenho; a qualidade dos impactos alcanados; a existncia de outras alternativas de ao, consideradas ou no pela administrao, e os respectivos custos envolvidos (anlise de custoefetividade); o cumprimento de dispositivos legais aplicveis sua natureza, aos seus objetivos e populao-alvo. No entanto, uma avaliao de programa pode no tratar, necessariamente, de todos os aspectos acima mencionados. A nfase em um ou outro desses aspectos depender das questes especficas que se pretende abordar, desde que o rigor metodolgico esteja sempre presente.
13
14
2. ETAPAS DA AUDITORIA DE DESEMPENHO
Para a realizao de auditorias de desempenho, devem ser observadas as seguintes etapas: 2.1. Levantamento de Auditoria; 2.2. Plano de Auditoria Operacional/Avaliao de Programa; 2.3. Execuo. 2.1. Levantamento de Auditoria As auditorias de desempenho devem ser precedidas de um levantamento de auditoria em seu objeto (programa, projeto, atividade, rgo ou entidade). O levantamento de auditoria visa determinar se um trabalho proposto exeqvel e relevante. Caso esses requisitos sejam atendidos, o levantamento dever proporcionar uma viso integrada do objeto que ser auditado, fornecendo elementos suficientes para que a equipe encarregada opte, no final do levantamento, por uma das duas modalidades de auditoria de desempenho: a auditoria operacional ou a avaliao de programa. Ademais, baseada nessa viso, a equipe delimitar os objetivos, a extenso e a estratgia metodolgica a ser utilizada na auditoria.1 O levantamento de auditoria deve conter as seguintes etapas: 2.1.1. 2.1.2. 2.1.3. 2.1.4. 2.1.5. Elaborao do Plano de Levantamento de Auditoria; Anlise Preliminar do Objeto da Auditoria; Coleta de Dados sobre Desempenho; Especificao dos Critrios de Auditoria; Preparao do Relatrio de Levantamento de Auditoria.
2.1.1. Elaborao do Plano de Levantamento de Auditoria No incio do trabalho, a equipe deve elaborar o plano de levantamento de auditoria, composto pelos elementos a seguir discriminados: tamanho da equipe, perodo do levantamento e custo estimado; programao de visitas; estratgia de coleta e anlise de dados; pauta de temas que sero debatidos com os gestores do objeto da auditoria; data para a apresentao do relatrio de levantamento de auditoria. Convm frisar que o xito do levantamento depende, em boa medida, da cuidadosa organizao dos contatos com os gestores do objeto da auditoria. O estabelecimento de boas relaes com esses gestores de suma importncia. O contato inicial deve ser por telefone, seguido de uma comunicao escrita, especificando a natureza do trabalho que ser realizado.
Neste manual, os termos auditoria e auditoria de desempenho sero tratados como equivalentes.
Na elaborao do plano de levantamento de auditoria, a equipe deve observar, no que couber, as disposies constantes nas demais sees do presente captulo, as quais tratam da elaborao do plano de auditoria operacional/avaliao de programa e do desenvolvimento e documentao dos trabalhos de campo. Compete ao Coordenador da equipe assegurar que o trabalho tenha sido planejado corretamente e que os demais membros da equipe e os gestores do objeto da auditoria estejam suficientemente informados acerca do propsito do levantamento. 2.1.2. Anlise Preliminar do Objeto da Auditoria A anlise preliminar do objeto da auditoria visa compreender como esse objeto est estruturado, permitindo que a equipe identifique questes que meream ser examinadas mais detalhadamente. Com esse intuito, a equipe deve buscar, acerca do objeto, informaes como2: os objetivos (gerais ou parciais, dependendo da extenso do trabalho); as aes desenvolvidas, as metas fixadas, os clientes atendidos, os procedimentos e recursos empregados, os bens e servios ofertados e os benefcios proporcionados; as linhas de subordinao e de assessoramento previstas e sua relao com as atividades desenvolvidas; as partes interessadas (reais ou em potencial) e as caractersticas do ambiente externo (dinmico ou esttico; previsvel ou imprevisvel); as restries enfrentadas (imposies legais e limitaes impostas pela concorrncia, pela tecnologia, pela escassez de recursos ou pela necessidade de cooperar com outras entidades). Essas informaes podem advir das fontes discriminadas abaixo, entre outras: legislao pertinente; pronunciamentos feitos e decises tomadas pelas autoridades competentes; misso declarada, planos estratgicos e relatrios de gesto; organogramas, diretrizes internas e manuais operacionais; sistemas de informaes gerenciais; entrevistas com os gestores e especialistas; relatrios internos e externos de auditoria e de avaliao de desempenho institucional. Compete ao Coordenador da equipe assegurar que os demais membros da equipe tenham investigado, documentado e compreendido em profundidade os aspectos centrais do programa, projeto, atividade, rgo ou entidade auditada. Os dados coletados devem ser organizados em modelos explicativos para facilitar a sntese e a visualizao da dinmica das principais relaes. H trs tipos de modelos que podem ser empregados: 2.1.2.1. Modelo de Marco Lgico;
O Anexo I (Orientao Geral para a Anlise Preliminar do Objeto da Auditoria) contm uma relao mais extensa, ainda que no exaustiva, das informaes que devem ser coletadas acerca do objeto da auditoria. 16
2
ETAPAS DA AUDITORIA DE DESEMPENHO
2.1.2.2. Modelo de Insumo-Produto; 2.1.2.3. Modelo de Condies Ambientes. O dois ltimos modelos so menos complexos que o primeiro, pois a aplicao integral do Modelo de Marco Lgico pressupe a existncia de sistemas de informaes gerenciais completos. Como esses sistemas nem sempre esto disponveis, os Modelos de Insumo-Produto e de Condies Ambientes, empregados em conjunto, podem proporcionar os dados necessrios ao planejamento do trabalho que ser executado. 2.1.2.1. Modelo de Marco Lgico Esse modelo visa retratar como esto logicamente estruturadas as atividades desenvolvidas pelo objeto da auditoria. Para isso, definida a sua hierarquia de responsabilidades, discriminando-se os objetivos de cada nvel hierrquico e sua relao com os objetivos do nvel imediatamente superior. O Modelo de Marco Lgico facilita a avaliao do desempenho do objeto da auditoria, respondendo questes como: Os objetivos fixados guardam uma ntida relao com a finalidade ltima do objeto da auditoria, bem como definem precisamente os bens e servios que sero ofertados e a clientela que ser beneficiada? Os objetivos de cada nvel hierrquico mantm relaes de causalidade plausveis? O impacto (ou benefcios) buscado claro e mensurvel? Para obter respostas objetivas para as questes relacionadas acima, o Modelo de Marco Lgico trata as funes, programas, projetos, atividades, rgos e entidades como conjuntos estruturados de processos organizacionais que devem atingir tanto objetivos finais, como objetivos intermedirios. Esses objetivos podem ser estruturados como indicado a seguir: atividades: tarefas que devem ser executadas para que os componentes sejam obtidos; componentes: bens e servios ofertados (metas fixadas); propsitos: resultados diretos associados ao uso dos componentes; finalidades: benefcios almejados (impacto da atuao do objeto da auditoria). A estrutura exposta acima representa uma hierarquia de objetivos, disposta em ordem crescente. A realizao dos objetivos de cada nvel uma condio necessria para o atingimento do nvel subseqente. Dispondo-se a hierarquia em ordem decrescente, obtm-se algo semelhante ao mostrado no prximo quadro.
17
Quadro 1: Exemplo do Modelo de Marco Lgico para um Projeto Hipottico de Perfurao de Poos com gua Potvel em uma Zona Rural
Finalidade: Reduo da incidncia de enfermidades causadas pelo consumo de gua no-potvel. Propsito: Adoo de prticas higinicas pela populao beneficiada. Componentes: extenso do acesso gua potvel 60% da populao local. melhor capacitao dos servidores da rea de sade.
Atividades: 1 componente: selecionar locais para a perfurao de poos; mobilizar os trabalhadores do local; perfurar os poos selecionados. 2 componente: preparar um programa de capacitao na rea de sade; recrutar servidores da rea de sade; ministrar o programa de capacitao para os servidores recrutados.
Fonte: BID, 199-, p. 16.
Alm de hierarquizar os processos organizacionais, os Modelos de Marco Lgico devem: definir indicadores prticos, objetivos, mensurveis e independentes para cada nvel, que devem ser expressos em termos quantitativos, qualitativos e temporais; indicar as fontes que contm dados sobre os indicadores; identificar os fatores exgenos (pressupostos) que podem afetar o objeto da auditoria em cada nvel, avaliando os riscos existentes e formulando aes alternativas. Caso opte pela presente abordagem, a equipe encarregada do levantamento de auditoria dever apurar se os fatores tratados nos pargrafos anteriores foram contemplados na etapa de planejamento das aes desenvolvidas pelo objeto da auditoria. O modo como essas aes esto logicamente estruturadas pode ser obtido a partir dos relatrios internos de auditoria e de avaliao de desempenho institucional. Contudo, como esses documentos podem estar incompletos ou defasados, importante que seja obtida a opinio dos gestores encarregados acerca da estrutura em questo.
18
Colhidos os dados necessrios, a equipe dever emitir juzo sobre a consistncia do sistema de planejamento existente. Convm notar que, quanto maior for essa consistncia, melhores sero as chances de xito das auditorias voltadas para a avaliao da efetividade das aes governamentais (avaliaes de programa). Na falta de informaes gerenciais precisas, as equipes devem optar pela verificao dos aspectos ligados economicidade, eficincia e eficcia das aes h pouco citadas (auditorias operacionais). 2.1.2.2. Modelo de Insumo-Produto Esse modelo procura exprimir como o objeto da auditoria desenvolve as suas atividades, identificando: as informaes e os recursos humanos, fsicos e financeiros exigidos (insumos); os processos de transformao dos insumos em produtos; os bens e servios ofertados (produtos); os benefcios proporcionados (impacto); os possveis indicadores de desempenho; a demanda existente para os produtos gerados; os benefcios desejados (escala de preferncias). A verso mais simples do presente modelo ilustrada pelo quadro abaixo, o qual dispe os quatro primeiros elementos indicados acima. Quadro 2: Exemplo do Modelo de Insumo-Produto para um Projeto Hipottico de Financiamento de Atividades de Capacitao Profissional
INSUMOS requisi es de financiamento; recursos usados na apreciao das requisies. PROCESSOS promoo do programa; avaliao das aplicaes; distribui o de fundos; monitora mento do desempenho PRODUTOS quantidad e de atividades financiadas; quantidad e de pessoas treinadas. BENEFCIOS quantidad e de pessoas treinadas que obtiveram emprego ou treinamento adicional ao qual no teriam acesso de outra forma.
Fonte: ANAO, 1992, p. 58.
O Modelo de Insumo-Produto facilita os trabalhos de anlise acerca dos aspectos da economicidade, eficincia, eficcia e, tambm, da efetividade do objeto da auditoria. Ademais, a identificao dos principais processos permite que a equipe apure o controle que os gestores tm sobre esses processos.
19
2.1.2.3. Modelo de Condies Ambientes Esse modelo identifica os fatores internos e externos (clientes, fornecedores, competidores, sindicatos, associaes profissionais, autoridades diversas, etc.) que influenciam as atividades desenvolvidas pelo objeto da auditoria. O modelo deve exibir as interaes e inter-relaes existentes entre os vrios grupos de interessados, indicando se so ou no estveis, complexas ou concorrentes. O diagrama simplificado mostrado abaixo ilustra o modelo em questo, identificando as partes envolvidas na consecuo de um programa hipottico. Contudo, convm frisar que a equipe deve, alm de identificar as partes envolvidas, qualificar as relaes existentes entre elas, como indicado no pargrafo anterior. Quadro 3: Exemplo do Modelo de Condies Ambientes para um Projeto Hipottico de Financiamento de Atividades de Capacitao Profissional
E p g d re mre a o s
T in n o re a d s P mto s d ro o re e T in mn s re a e to
Cp c o a a ita P fis io a ro s n l
s rg o C rre to o la s
rg o
Fonte: ANAO, 1992, p. 59.
F a c dr in n ia o
2.1.3. Coleta de Dados sobre Desempenho Os dados sobre desempenho so fundamentais para a avaliao dos aspectos da economicidade, eficincia, eficcia e efetividade do objeto da auditoria, ocupando uma posio central no levantamento de auditoria, embora a sua obteno enfrente diversas dificuldades, tais como: a definio de objetivos obscuros; o uso freqente de indicadores mltiplos e inter-relacionados; os efeitos de fatores exgenos, dificultando a identificao dos resultados diretos da atuao do objeto da auditoria; o carter heterogneo dos resultados alcanados; a presena e a subjetividade inerente aos indicadores de desempenho qualitativos.
20
Dessa forma, a equipe deve apurar o seguinte: Os procedimentos de coleta de dados sobre desempenho so suficientes e adequados? Os indicadores de desempenho usados so vlidos, completos e justificveis luz da relao custo-benefcio? Os indicadores de desempenho so parte integrante do processo de tomada de decises? Adicionalmente, convm que, quando aplicvel, o desempenho dos gestores do objeto da auditoria seja avaliado com base nas caractersticas indicadas abaixo: Est claro para os gestores o fundamento legal de suas atividades? Os gestores definiram objetivos compatveis com a mensurao de impactos e determinaram o que ser proporcionado, quem ser beneficiado e o motivo do benefcio? Os gestores avaliaram a extenso, a natureza e a atualidade da demanda pelos bens e servios ofertados? Os gestores estudaram aes alternativas? As atividades executadas e o esforo despendido so oportunos e consistentes com os objetivos perseguidos? O objeto da auditoria possui objetivos, padres, planos e organogramas compreensveis? Os recursos foram usados de modo econmico e eficiente? A posio financeira do objeto da auditoria controlada e registrada adequadamente? Em que medida os objetivos fixados foram atingidos sem que fossem gerados efeitos colaterais desfavorveis? Os bens e servios ofertados atendem s expectativas da clientela? Os gestores apuraram o nvel de satisfao da clientela? O objeto da auditoria tem sido capaz de se adaptar s mudanas na concorrncia, no padro tecnolgico, nas expectativas dos beneficirios e em outros fatores externos? A poltica de recursos humanos tem estimulado o desenvolvimento, o comprometimento e a iniciativa profissionais, bem como a satisfao no trabalho? Os recursos-chave do objeto da auditoria (pessoal, patentes, equipamentos, recursos naturais e fornecedores estratgicos) so preservados? Os resultados obtidos so monitorados e comparados com os resultados esperados, tomando-se decises com base nas observaes feitas? Os gestores estabeleceram sistemas efetivos de auditoria e de avaliao internas, zelando para que as atividades sejam executadas com economicidade, eficincia, eficcia e efetividade?
21
As caractersticas relacionadas acima devem servir como base para a delimitao da extenso da auditoria, a qual ater-se- s questes com maior probabilidade de proporcionar concluses significativas, respeitado o oramento preestabelecido. Compete ao Coordenador da equipe, por sua vez, zelar para que os objetivos da auditoria sejam fixados luz dos dados disponveis sobre desempenho. A equipe deve empregar o tempo e o esforo estritamente necessrios para concluir se um trabalho proposto deve ou no ser executado. Em geral, isso exige a realizao de todas as etapas do levantamento de auditoria. Contudo, possvel que a equipe j possua os elementos exigidos para que seja definida a exeqibilidade e a relevncia de uma auditoria, bem como os seus objetivos, a sua extenso e a estratgia metodolgica a ser empregada. Nesse caso, a equipe pode dispensar a presente etapa e partir para a especificao dos critrios de auditoria e a preparao do relatrio de levantamento de auditoria. 2.1.4. Especificao dos Critrios de Auditoria Os critrios de auditoria so essenciais para todo tipo de auditoria, exceto para as que tratam de questes descritivas. Esses critrios podem ser conceituados como os ...padres utilizados para determinar se uma dada condio satisfaz ou supera o esperado. (GAO, 1994b, p. 67) Os critrios de auditoria so fixados no decorrer do levantamento, ao final do qual devem estar suficientemente precisos e detalhados para que possam desempenhar os papis descritos abaixo na auditoria que ser executada: definio de um arcabouo conceitual bsico, facilitando a comunicao entre os membros da equipe, bem como entre essa e, de um lado, os demais integrantes do TCU e, de outro, os gestores do objeto da auditoria; delimitao da extenso da auditoria, tornando palpveis os seus objetivos; orientao da coleta de dados, indicando como obter evidncias significativas; fixao de parmetros balizadores das concluses e recomendaes da auditoria. O quadro a seguir exibido ilustra a relao que deve haver entre os critrios de auditoria e os indicadores que lhe do substncia. Naturalmente, os indicadores devem poder ser medidos objetivamente.
22
Quadro 4: Exemplo de Critrio Aplicvel s Auditorias de Sistemas Internos de Avaliao de Desempenho Institucional
Critrio: As avaliaes internas de desempenho institucional devem ser parte integrante do processo de tomada de decises. 1 ndice: As avaliaes de desempenho institucional devem ter um formato til para os tomadores de decises. Medidas: o nvel de confiana dos dados sobre desempenho deve ser explicitado; os dados sobre desempenho devem ser analisados e sintetizados tendo em vista as necessidades dos usurios finais; os dados sobre desempenho devem ter um formato que facilite a identificao de mudanas em tendncias, assim como em fatores internos e externos. 2 ndice: A consistncia e a periodicidade dos relatrios de avaliao de desempenho institucional devem atender s necessidades dos tomadores de decises. Medidas: os usurios finais devem receber cpias dos relatrios em tempo hbil para a tomada de decises; os planos de ao resultantes das decises tomadas devem ser elaborados tempestivamente; os relatrios de avaliao de desempenho devem estar disponveis sempre que as autoridades competentes se reunirem para tomar decises acerca do objeto da auditoria. 3 ndice: Cada unidade do objeto da auditoria deve, no que couber, manter as demais unidades informadas acerca do seu desempenho. Medidas: resumos das decises tomadas e das aes programadas devem ser incorporadas ao plano estratgico geral do objeto da auditoria; os dados sobre desempenho devem, no que couber, ser incorporados aos planos de ao; os dados sobre desempenho devem ser disponibilizados para os sistemas de controle interno e externo.
Fonte: ANAO, 1992, p. 77-8.
Os critrios de auditoria variam conforme os objetivos do trabalho proposto. Os relatrios de auditorias de desempenho j realizadas, no pas ou no exterior, podem fornecer indicaes valiosas sobre quais critrios podem ser usados em dada situao.
23
Outras fontes podem ser encontradas na legislao pertinente, nas normas internas do objeto da auditoria, nas informaes prestadas pelos gestores e no desempenho observado no passado ou em situaes similares. Ademais, como esses critrios balizaro as concluses da auditoria, os gestores devem ser consultados acerca da sua pertinncia.3 Compete ao Coordenador da equipe zelar para que sejam fixados critrios apropriados para as diversas dimenses do objeto da auditoria. 2.1.5. Preparao do Relatrio de Levantamento de Auditoria No final do levantamento de auditoria, a equipe deve preparar um relatrio, que ser submetido aprovao do Ministro-Relator responsvel. O relatrio deve sintetizar os dados coletados e as concluses alcanadas, indicando se o trabalho proposto ou no exeqvel e relevante e recomendando ou no a sua execuo. Na hiptese de ser recomendado o prosseguimento da auditoria, a equipe deve propor um plano de auditoria operacional ou um plano de avaliao de programa, conforme a modalidade de auditoria de desempenho mais adequada ao objeto do trabalho, como indicado na prxima seo. Formalmente, os relatrios de levantamento de auditoria devem obedecer estrutura indicada abaixo, semelhante estrutura dos relatrios de auditoria de desempenho (vide item 2.3.3)4: Sumrio; Resumo; Introduo; Captulos sobre os Temas Principais; Comentrios do Gestor; Concluso; Proposta de Encaminhamento; Apndices; Plano de Auditoria Operacional/Avaliao de Programa, quando couber. Na Introduo, a equipe discorrer sobre as caractersticas do trabalho e do objeto da auditoria, quais sejam: caractersticas do trabalho: deciso que determinou a realizao do levantamento; motivos da deciso (significncia dos valores geridos, das aes empreendidas ou de outros fatores ligados ao desempenho do objeto da auditoria); deficincias e falhas referentes ao desempenho constantes de contas prestadas ou de auditorias e inspees realizadas no passado prximo; equipe encarregada (discriminao de seus membros e das unidades nas quais esto lotados) e perodo de realizao; extenso e estratgia do levantamento e perodo examinado;
Ainda sobre os contatos com os gestores do objeto da auditoria, oportuno destacar que esses contatos devero ser regulares, permitindo, entre outras coisas, conferir a exatido de dados obtidos a partir de outras fontes e apurar a verso dos gestores acerca das evidncias levantadas. 4 Os tpicos no tratados nos prximos pargrafos devero obedecer s especificaes constantes do item ora indicado. 24
3
caractersticas do objeto da auditoria: identificao do objeto da auditoria (denominao, natureza jurdica, endereo, cdigo do SIAFI, quando couber, e rol de responsveis); estrutura, finalidade, principais atividades e ambiente no qual est inserido; legislao pertinente e diretrizes governamentais aplicveis; sistemas de controle e indicadores de desempenho existentes; processo de tomada de decises e recursos humanos, fsicos e financeiros utilizados.
Nos captulos sobre os temas principais, a equipe identificar os possveis critrios de auditoria e os comparar com as condies observadas ao longo do levantamento. Outros aspectos que devem ser considerados: a confiabilidade do sistema de controle, a solidez do sistema de informaes gerenciais e a consistncia das linhas de subordinao hierrquica. No tpico Comentrios do Gestor, por sua vez, a equipe analisar os comentrios da gerncia acerca do contedo do relatrio de levantamento de auditoria. Baseada na comparao e nas anlises feitas acima, a Proposta de Encaminhamento conter a recomendao acerca da execuo do trabalho de auditoria. Esse tpico pode, ainda, conter outras recomendaes que meream ser levadas ao conhecimento do Ministro-Relator. Dessa forma, o prprio relatrio de levantamento de auditoria pode suscitar determinaes por parte deste Tribunal. Esse procedimento ser especialmente til quando a equipe concluir que a auditoria proposta no deve ser realizada em face de deficincias apuradas ao longo do levantamento. Nesse caso, a ao fiscalizadora do TCU ter como produto final o relatrio de levantamento de auditoria. Compete ao Coordenador da equipe assegurar que o relatrio de levantamento de auditoria contenha todas as informaes necessrias correta e oportuna deliberao por parte das autoridades responsveis. 2.2. Plano de Auditoria Operacional/Avaliao de Programa O plano de auditoria operacional ou de avaliao de programa compreende a identificao das questes que sero investigadas e dos mtodos que sero empregados na coleta e anlise dos dados, assim como dos meios necessrios para implement-los. Portanto, deve constar desse plano um cronograma das atividades a serem desenvolvidas, com indicao dos prazos e da composio da equipe, alm da estimativa dos custos envolvidos. No intuito de facilitar a elaborao conceitual do trabalho e as decises sobre a estratgia metodolgica a ser empregada, a equipe deve utilizar a Matriz de Planejamento de Auditoria (vide Anexo II). Essa matriz dispe, linearmente, todos os elementos-chave do planejamento de um trabalho de auditoria. Esses elementos sero tratados ao longo desta seo, procurando-se contextualiz-los em relao auditoria operacional e avaliao de programa. Os seguintes elementos compem a Matriz de Planejamento de Auditoria: 2.2.1. Questes de Auditoria; 2.2.2. Informaes Requeridas;
25
2.2.3. 2.2.4. 2.2.5. 2.2.6. 2.2.7. 2.2.8.
Fontes de Informao; Estratgias Metodolgicas; Mtodos de Coleta de Dados; Mtodos de Anlise de Dados; Limitaes; O Que a Anlise Vai Permitir Dizer.
2.2.1. Questes de Auditoria Com base em uma viso orgnica e integrada do objeto auditado, propiciada pelo levantamento de auditoria, assim como nas diferenas entre os critrios definidos e as condies observadas pela equipe, deve-se especificar o problema que ser focalizado pela auditoria. Uma vez que na maior parte dos casos as solicitaes de auditoria so formuladas de maneira genrica ou muito abrangente, o trabalho da equipe consistir em definir o escopo e expressar de forma clara e objetiva o problema que nortear todo o esforo de concepo e execuo da auditoria, usando para isso as informaes obtidas na fase de levantamento. Vencida a etapa descrita acima, a equipe deve elaborar as questes de auditoria, que permitiro investigar o problema formulado. Quando as questes abordarem aspectos voltados para a economicidade, eficincia ou eficcia da iniciativa governamental, tratar-se- de uma auditoria operacional, enquanto que questes voltadas para o aspecto da efetividade sero examinadas no contexto de uma avaliao de programa. Nesse sentido, as equipes podero deparar-se com quatro situaes: questes ligadas economicidade, eficincia e eficcia: realizao de uma auditoria operacional; questes ligadas efetividade: realizao de uma avaliao de programa; questes interdependentes ligadas tanto efetividade, como economicidade, eficincia e a eficcia: realizao de uma avaliao de programa; questes ligadas tanto efetividade, como economicidade, eficincia e eficcia, mas autnomas: realizao de uma avaliao de programa ou de uma auditoria operacional, conforme a relevncia das concluses que podero ser extradas de cada modalidade de auditoria. Portanto, as questes formuladas pela equipe sero o ponto de partida de uma auditoria operacional ou de uma avaliao de programa e orientaro todo o trabalho de investigao. O prximo quadro ilustra a relao entre problema e questes de auditoria. Quadro 5: O Problema e as Questes de Auditoria do Plano de Auditoria da 3 SECEX no Programa de Levantamento da Plataforma Continental Brasileira - LEPLAC
Problema: O Brasil, ao assinar a Conveno das Naes Unidas sobre o Direito do Mar, sujeitou-se ao seu cumprimento. Nesse sentido, surgiu a preocupao, por parte dos administradores, de se utilizar tcnicas aceitveis pela comunidade internacional para a efetivao de todo o levantamento geomorfolgico no prazo estipulado, tendo em vista a possibilidade de aumento da plataforma
26
continental. Questes de Auditoria: 1 Com que segurana se pode afirmar que as tcnicas utilizadas sero aceitas pelos organismos internacionais? 2 At que ponto se pode dizer que a utilizao das tcnicas adotadas permitir a concluso do levantamento no prazo estipulado?
Fonte: 3 SECEX, 1997, p. 34.
Muitas vezes, para que se possa examinar uma questo de auditoria, deve-se subdividi-la em subquestes, que sero tratadas de per si. Ou seja, cada subquesto dar origem a uma matriz de planejamento especfica. Ao formular as questes e, quando necessrio, as subquestes de auditoria, a equipe estar, ao mesmo tempo, estabelecendo com clareza o foco de sua investigao e os limites e dimenses que devero ser observados durante a execuo dos trabalhos. Nesse sentido, a adequada formulao das questes de auditoria fundamental para o sucesso da auditoria operacional ou da avaliao de programa, uma vez que ter implicaes nas decises quanto aos tipos de dados que sero coletados, forma de coleta que ser empregada, s anlises que sero efetuadas e s concluses que possivelmente sero obtidas. Na elaborao das questes de auditoria, deve-se levar em conta os seguintes aspectos: clareza e especificidade; uso de termos que possam ser definidos e mensurados; viabilidade investigativa (possibilidade de ser respondida); articulao e coerncia (o conjunto das questes elaboradas deve ser capaz de esclarecer o problema de auditoria previamente identificado).
Na sua formulao, deve-se observar o seguinte procedimento (GAO, 1991, p. 11-4): 1 - considerar o maior nmero possvel de questes potenciais e os mtodos pelos quais essas questes podem ser equacionadas, mesmo que no paream, a princpio, plausveis ou exeqveis; 2 - confrontar as questes potenciais com os recursos disponveis para a realizao da auditoria, definidos em termos de custo, prazos de execuo e pessoal alocado. Esse procedimento permite verificar quais questes podem efetivamente ser respondidas, considerando o grau de dificuldade envolvido e os recursos demandados. Os critrios para a escolha de determinada questo ou para sua excluso so a factibilidade da estratgia metodolgica requerida para respond-la de forma satisfatria e a relevncia das concluses que podero ser alcanadas. Embora as etapas do processo de planejamento sejam apresentadas seqencialmente, a definio das questes de auditoria e a escolha das estratgias
27
metodolgicas apropriadas acontecem simultaneamente, confrontando-se cada questo com as possveis estratgias metodolgicas (vide item 2.2.4). 2.2.2. Informaes Requeridas Aps formuladas as questes de auditoria e os seus desdobramentos (as subquestes), ser necessrio identificar as informaes requeridas para respond-las e suas respectivas fontes. Para se determinar o tipo de informao que se pretende obter na coleta de dados, os termos-chave empregados na questo de auditoria devem ser definidos e suas dimenses ou variveis identificadas. Por exemplo, ao formular uma questo envolvendo o impacto de uma iniciativa governamental voltada para a melhoria do nvel de ensino, deve-se definir o que se entende por melhoria do nvel de ensino, identificando-se as dimenses envolvidas nesse conceito. Pode-se considerar, entre outras variveis, o nmero de aprovaes por srie ou a reduo da evaso escolar. A tarefa de traduzir conceitos abstratos em variveis mensurveis, definindo indicadores apropriados, indispensvel para que se possa medir o alcance dos objetivos perseguidos pela administrao. As informaes coletadas e usadas para suportar os achados de auditoria operacional ou de avaliao de programa so consideradas evidncias e podem assumir as seguintes formas (ANAO, 1992, p. 110-3): fsica: dados coletados a partir da observao direta, podendo ser representados por fotografias, mapas, grficos ou outras representaes pictogrficas; oral: declaraes geralmente obtidas em entrevistas ou pesquisas com usurios ou beneficirios da iniciativa governamental, bem como com especialistas, gestores ou membros da equipe tcnica encarregada; documental: dados registrados em papel ou meio magntico (em geral, os mais empregados em trabalhos de auditoria); analtica: informaes geradas a partir de outras evidncias, geralmente envolvendo clculos, comparaes ou snteses. recomendvel o uso de mais de um tipo de evidncia, de forma a fortalecer as concluses finais. As evidncias fsicas, obtidas a partir da observao de pessoas, eventos ou condies materiais existentes, sempre que constiturem elementos crticos para o alcance dos objetivos da auditoria, devem ser corroboradas. Por esse motivo, as observaes diretas devem ser feitas por, no mnimo, dois membros da equipe de auditoria, de preferncia acompanhados de representantes do auditado. Caso a equipe considere necessrio, deve-se preparar uma descrio detalhada das condies observadas e solicitar a anuncia formal do representante do auditado. Da mesma forma, as evidncias orais, normalmente obtidas em entrevistas, no so provas conclusivas, devendo ser sustentadas por evidncias documentais. Nos casos em que as declaraes do entrevistado forem crticas para a auditoria e no for possvel obter documentao comprobatria, deve-se tentar obter do mesmo a confirmao formal das suas declaraes em um resumo ou minuta da entrevista.
28
A confiabilidade e a relevncia da evidncia oral so funes da posio, do conhecimento, da especializao e da idoneidade do entrevistado, ou seja, da sua credibilidade. Algumas vezes, a resposta do entrevistado a uma pergunta especfica pode revelar ambigidade, contaminando outros elementos do depoimento e, dessa forma, comprometendo a confiabilidade de todo o seu testemunho. Em resumo, sempre que possvel, os depoimentos e outros registros considerados crticos para a auditoria devem ser corroborados por evidncias documentais. Cabe acrescentar que a confiabilidade das evidncias documentais fornecidas pelo sistema de controle do rgo auditado por exemplo, os demonstrativos contbeis depender do regular funcionamento desse sistema. A relevncia da prova documental, por sua vez, deve ser analisada em relao ao objetivo da auditoria. Nesse sentido, por exemplo, a existncia de um manual de procedimentos, por si s, no garante que ele esteja sendo empregado pelo auditado. 2.2.3. Fontes de Informao As fontes de informao podem ser primrias ou secundrias. As fontes primrias so aquelas nas quais a equipe tem controle sobre a forma de coleta dos dados. Por exemplo, entrevistas realizadas diretamente com os beneficirios de um programa ou registros e anotaes originrios de uma visita da equipe s instalaes de um projeto. As fontes secundrias so aquelas que foram coletadas e sistematizadas por outros, como, por exemplo (GAO, 1994a, p. 3.2): registros administrativos, em papel ou em meio magntico; estudos e pesquisas existentes; legislao, normas ou procedimentos; documentos oficiais, como memorandos, ofcios, etc.
Os principais problemas ligados utilizao de dados secundrios so os seguintes (GAO, 1994a, p. 3.3): a forma de coleta pode no ter sido adequada; os controles internos podem no ser confiveis; os dados podem ter sofrido manipulao; os dados podem no representar as variveis selecionadas para anlise.
2.2.4. Estratgias Metodolgicas Neste ponto da elaborao do plano de auditoria operacional/avaliao de programa, a equipe de auditoria deve especificar a estratgia metodolgica a ser adotada, ou seja, os mtodos de investigao requeridos pelas questes ou subquestes formuladas. importante considerar que a estratgia metodolgica est diretamente relacionada com a qualidade tcnica das evidncias que podem ser obtidas, o que, por sua vez, influir na confiabilidade das concluses do trabalho.
29
Qualquer que seja a estratgia metodolgica a ser adotada, cada questo de auditoria deve ser analisada segundo os quatro elementos que consubstanciam as concluses ou achados de auditoria: critrio, condio, causa e efeito. Nas questes ligadas economicidade, eficincia e eficcia, em geral tratadas no mbito de uma auditoria operacional, os elementos citados acima podem ser assim definidos (GAO, 1994a, p. 2.12-2.17): a) Critrio: O padro ou indicador usado para determinar se o programa 5 atinge, excede ou est aqum do desempenho esperado. O critrio prov o contexto para se compreender os resultados da auditoria. A equipe, sempre que for possvel, deve incluir no plano de auditoria operacional os critrios a serem adotados. Ademais, ao selecionar os critrios, a equipe deve cuidar para que sejam razoveis, factveis e adequados matria sob exame. Alguns exemplos de critrios: objetivos ou metas fixados por lei, por regulamento ou pela administrao; normas ou padres estabelecidos; opinies de especialistas; desempenho anterior; desempenho de instituies similares, nacionais ou estrangeiras. b) Condio: A situao existente, identificada e documentada durante os trabalhos. c) Causa: As razes do mau ou bom desempenho observado. d) Efeito: As reais conseqncias da diferena constatada pela auditoria entre condio e critrio. Conseqentemente, no caso de uma auditoria operacional, a definio da estratgia metodolgica deve levar em conta os seguintes aspectos: comparaes entre condio e critrio; escopo do estudo (ex.: nmero de pessoas, registros, instalaes ou reas geogrficas selecionadas); perodo da observao (ex.: as observaes sero coletadas em determinado ponto ou perodo no tempo ou em vrias ocasies diferentes). Nas questes ligadas efetividade, tratadas, portanto, no mbito de uma avaliao de programa, os elementos identificados anteriormente podem ser assim definidos: a) Critrio: A natureza ou magnitude do impacto esperado com a implementao do programa. b) Condio: A situao verificada aps a implementao do programa e a situao que provavelmente seria verificada sem essa implementao.
A partir do presente item, os termos programa e objeto da auditoria sero tratados como equivalentes, indicando programas, projetos, atividades, rgos e entidades governamentais. 30
5
c) Causa: O programa que est sendo avaliado. A suposio fundamental que o programa responsvel pelas mudanas observadas. A estratgia metodolgica escolhida buscar assegurar, mediante evidncias plausveis, que nenhum outro fator, alm do programa, responsvel pelos efeitos constatados. Ou seja, a investigao deve ser planejada de forma a eliminar ou controlar fatores exgenos que podem estar influenciando os resultados observados (eliminao de interpretaes alternativas). d) Efeito: As mudanas, positivas ou negativas, nas condies reais que podem ser identificadas e atribudas ao programa. Trata-se, assim, da diferena entre a situao observada aps a implementao do programa e a situao que provavelmente seria observada sem essa implementao. Por conseguinte, no caso de uma avaliao de programa, quase sempre necessrio comparar observaes sobre beneficirios ou clientes do programa auditado com observaes sobre pessoas no afetadas pelo programa em questo. Naturalmente, o escopo e o perodo em que sero realizadas as observaes tambm devem ser especificados. Examinada as questes de auditoria luz dos elementos definidos acima, a equipe deve decidir sobre a estratgia metodolgica mais adequada para responder cada questo. Convm relembrar que cada subquesto deve ser tratada de per si, isto , para cada subquesto a ser examinada deve-se estabelecer uma estratgia metodolgica especfica.
31
As estratgias metodolgicas mais utilizadas so: 2.2.4.1. 2.2.4.2. 2.2.4.3. 2.2.4.4. 2.2.4.5. Estudo de Caso; Pesquisa6; Experimentos de Campo; Delineamentos Quase-Experimentais; Utilizao de Dados Existentes.
2.2.4.1. Estudo de Caso O estudo de caso pode ser empregado tanto em uma auditoria operacional, como em uma avaliao de programa. a estratgia metodolgica mais amplamente utilizada pelas EFS com maior tradio em auditorias de desempenho, como o GAO (EFS dos EUA), o OAG (EFS do Canad), o NAO (EFS do Reino Unido) e o ANAO (EFS da Austrlia), alm de outras. Nos trabalhos desenvolvidos por essas EFS, os estudos de caso so freqentemente complementados por outras estratgias metodolgicas, como a pesquisa e a utilizao de dados existentes. Segundo o GAO: Um estudo de caso um mtodo para conhecer uma situao complexa, baseado em uma compreenso abrangente da situao, obtida a partir da ampla descrio e anlise da mesma, considerada como um todo e no seu contexto. [grifos nossos]7 (GAO, 1990, p.14) O primeiro elemento (situao complexa) significa que muitos fatos podem influenciar os acontecimentos e que essas influncias podem interagir no-linearmente, tornando impossvel isolar os efeitos das variveis sob estudo. O segundo (compreenso abrangente) indica que os estudos de caso visam obter uma representao, a mais completa possvel, do que est acontecendo e do porqu. O terceiro (ampla descrio e anlise) envolve o emprego de descries densas, ou seja, de informaes ricas e completas, provenientes de vrias fontes, particularmente de observaes diretas. Ademais, a anlise ampla, comparando dados de diferentes tipos de fontes por meio do mtodo denominado triangulao (vide item 2.2.6). As principais caractersticas do estudo de caso so: mais adequado para responder a questes normativas e descritivas8; uso preferencial da abordagem qualitativa na coleta e anlise de dados; no-utilizao de amostragem probabilstica; anlise concomitante coleta de dados.
Porm, esse mtodo apresenta algumas limitaes, quais sejam:
Survey, na lngua inglesa. Os grifos indicam os elementos-chave da definio. 8 Exemplo de questo normativa: O programa est atingindo as metas previstas? Exemplo de questo descritiva: Como funciona o programa? 32
6 7
no usado, em geral, para responder a perguntas de causa-e-efeito ou de impacto9; pode ter custo elevado e necessitar de muito tempo para sua implementao; no permite generalizaes das concluses alcanadas para todo programa, exceto quando o nmero de casos ou situaes for suficientemente grande e diversificado. Com base em suas possveis aplicaes, esse mtodo pode ser classificado da seguinte maneira (GAO, 1990, p. 31-52): a) b) Ilustrativo: tem carter descritivo e objetiva acrescentar exemplos reais e detalhados a outras informaes sobre o programa; Exploratrio: tambm tem carter descritivo, porm mais voltado para a gerao de hipteses que sero investigadas posteriormente;
c) Caso crtico: examina uma situao especialmente relevante ou serve como um teste-crtico para afirmaes feitas acerca do programa; d) e) Implementao de programa: investiga operaes, geralmente em vrias localidades e de forma normativa; Efeitos do programa: examina relaes de causalidade, geralmente envolvendo o exame de vrios casos e utilizando mtodos de anlise de dados prprios de estudos de carter qualitativo (vide item 2.2.6);
f) Cumulativo: rene descobertas provenientes de vrios estudos de caso para responder a uma questo de auditoria, seja descritiva, normativa ou de causa-e-efeito. A seleo dos casos a serem estudados um aspecto crtico em estudo de caso. Os critrios de escolha so variados e esto relacionados ao tipo de questo que se pretende responder. Uma vez que o emprego de amostragem probabilstica geralmente no factvel, o propsito do estudo deve guiar a escolha dos casos. Freqentemente, trabalha-se com um ou poucos casos. Entretanto, quando se pretende tirar concluses para o programa como um todo, deve-se trabalhar com um nmero maior de casos, de forma a refletir a variabilidade operacional do programa. O quadro mostrado a seguir relaciona os principais critrios de seleo de casos.
Exemplo de questo de causa-e-efeito ou de impacto: Os efeitos observados podem ser atribudos ao programa? 33
Quadro 6: Principais Critrios de Escolha Empregados em Estudo de Caso

CRITRIOS DE SELEO QUESTES QUE PODEM SER RESPONDIDAS Na situao selecionada por facilitar a coleta de dados, o que est acontecendo e por qu?
Convenincia Finalidade Casos extremos Melhores casos Piores casos Agrupamento Caso Representativo
O que est acontecendo nos extremos? O que explica tais diferenas? Que circunstncias so responsveis pela eficcia do programa? Por que o funcionando? programa no est
Como diferentes tipos de programas se comparam entre si? Em situaes escolhidas para representar importantes variaes, como se comporta o programa e por qu? Em uma situao tpica, o que est acontecendo e por qu? Em uma situao especialmente relevante, o que est acontecendo e por qu? O que est acontecendo no programa como um todo, e por qu?
Caso Tpico Interesse especial
Probabilidade (a)
Fonte: GAO, 1990, p. 23.
Nota: (a) o critrio probabilstico escolhe casos aleatoriamente, contudo a amostra selecionada no precisa ser representativa.
Em estudo de caso, a coleta de informaes tem as seguintes caractersticas: nfase no aspecto qualitativo da informao, ainda que sejam coletados dados quantitativos; utilizao de entrevistas no-estruturadas ou estruturada com perguntas abertas e observao direta; utilizao de mltiplas fontes de dados. As principais vantagens do estudo de caso podem ser assim resumidas: permite uma anlise detalhada do programa em exame; permite formular hipteses para serem testadas em estudos de maior amplitude; evidencia os aspectos fortes e fracos da operacionalizao do programa em exame. 2.2.4.2. Pesquisa
34
Amplamente aplicada em avaliao de programa e em auditoria operacional, a pesquisa uma estratgia metodolgica que permite obter informaes de carter quantitativo e qualitativo relacionadas tanto aos aspectos operacionais e gerenciais, como aos resultados esperados. Essa estratgia muito empregada nas auditorias de desempenho realizadas pelo GAO, NAO, OAG e outras EFS. Freqentemente, utilizada em conjunto com estudos de caso como suporte para as anlises de carter qualitativo, tpicas dessa ltima estratgia. Em geral, a sua utilizao permite: obter informaes descritivas de uma populao ampla; conhecer opinies e pontos-de-vista dos beneficirios ou dos executores do programa; estabelecer relaes causais em situaes particulares. Ademais, a pesquisa utilizada na realizao de estudos exploratrios na fase de levantamento de auditoria. Como mtodo estruturado de coleta de dados, a pesquisa visa generalizar para toda a populao informaes obtidas a partir de uma amostra. 10 Para garantir essa generalizao, a amostra deve refletir as caractersticas da populao-alvo. Qualquer deficincia do mtodo amostral utilizado deve ser levado em conta na interpretao dos resultados da pesquisa e ser devidamente relatado. Nesse sentido, so consideradas fontes potenciais de erros (GAO, 1994a, p. 3.33): erro amostral: se uma amostra muito pequena, h uma grande chance de que no reflita as caractersticas da populao da qual foi extrada (mtodos estatsticos podem ser utilizados para estimar o tamanho da amostra e, dessa forma, controlar o presente tipo de erro); erros no-amostrais: baixa taxa de resposta, erros de mensurao resultantes de instrumentos inadequados ou de entrevistas mal conduzidas ou erros resultantes da ausncia, na amostra selecionada, de uma categoria importante de respondentes (esses erros podem introduzir vieses nos resultados da pesquisa). As vantagens dessa estratgia podem ser assim resumidas: permite obter dados uniformes de uma grande quantidade de elementos pesquisados; permite a generalizao para a populao de achados ou concluses obtidas a partir de uma amostra; permite o tratamento de dados disponveis, mas ainda no tratados; permite o exame de programas que envolvam muitos rgos e entidades; permite a comparao com programas similares desenvolvidos por outros rgos ou entidades. As desvantagens normalmente apontadas so a longa durao das pesquisas e a necessidade de conhecimentos em reas especficas, como mtodos de pesquisa e tcnicas de amostragem e de elaborao de formulrio de coleta de dados, entre outras. Na realizao de uma pesquisa, a coleta uniforme de dados fundamental para viabilizar o tratamento estatstico das informaes coletadas. Por isso, so utilizadas
10
A pesquisa que tem como objeto todos os membros de uma populao denominada censo. 35
entrevistas estruturadas com perguntas fechadas e respostas previamente elaboradas ou questionrios enviados pelo correio. Essas entrevistas podem ser aplicadas face-a-face ou por telefone. O exame de registros administrativos e a observao direta so meios alternativos de coleta de dados. Em relao ao momento de realizao da pesquisa, pode-se ter: corte temporal11: o levantamento de informaes feito em um nico ponto no tempo; painel: o levantamento de informaes feito em dois ou mais pontos. No segundo caso possvel conhecer a dinmica temporal do programa avaliado e aferir mudanas em fatos, atitudes e opinies. Tambm possvel verificar se dois fatores aparentemente relacionados mantm relaes de causa-e-efeito. 2.2.4.3. Delineamento Experimental O delineamento experimental uma estratgia metodolgica que visa testar hipteses. A sua concepo bsica corresponde aos experimentos realizados em laboratrio, amplamente utilizados nas pesquisas das reas mdica e agrcola. Essa estratgia empregada quando se pretende identificar uma relao de causalidade ou, no caso de uma avaliao de programa, quando se deseja verificar a relao causal entre as variveis do domnio do programa e os efeitos observados. Por exemplo, quando se quer saber se um projeto de qualificao profissional de fato aumenta as chances de insero no mercado de trabalho aos trabalhadores desempregados. O delineamento experimental considerado, portanto, a estratgia mais adequada para responder s questes de impacto ou de causa-e-efeito, pois permite controlar os efeitos no atribuveis ao programa, identificando, assim, seus resultados lquidos. Em um delineamento experimental, para verificar se um programa a causa de determinado efeito, selecionam-se dois grupos de unidades de pesquisa (pessoas, escolas, hospitais, etc.): o grupo experimental ou de tratamento, que ser exposto ao programa; o grupo de controle, que no ser exposto.
Cross-section, na lngua inglesa. 36

11
As diferenas observadas nos resultados obtidos por esses grupos, com algumas qualificaes, podero ser atribudas presena do programa. O procedimento exposto acima, para ser considerado um experimento em sentido estrito, requer que as unidades de pesquisa, em ambos os grupos, sejam selecionadas de forma randmica ou aleatria. Isto , qualquer unidade deve ter a mesma chance de pertencer a um ou a outro grupo. Isso visa fortalecer o vnculo causal, garantindo que a maioria dos fatores no manipulados pelo programa e que poderiam influenciar os seus resultados est uniformemente distribuda entre os dois grupos. Dessa forma, apenas os efeitos do programa explicariam as diferenas observadas. No caso da avaliao de um projeto de qualificao profissional, a seleo randmica faria com que caractersticas individuais que podem aumentar ou diminuir a possibilidade de obteno de um novo emprego fossem uniformemente distribudas pelos grupos de tratamento e de controle. Logo, duas caractersticas definem os experimento em sentido estrito: existncia de grupo de controle; designao randmica de unidades de pesquisa para os grupos de tratamento e de controle. Convm notar, ainda, que, a fim de preservar a integridade do experimento, o pesquisador deve se assegurar de que cada grupo manter a mesma composio ao longo do experimento. Em relao aos momentos nos quais as variveis selecionadas so mensuradas, os experimentos podem adotar pr e ps-testes ou apenas ps-testes. Isto , a mensurao realizada antes e depois da implementao do programa ou apenas depois. Esquematicamente, as duas opes correspondem aos diagramas mostrados abaixo. Quadro 7: Diagrama do Delineamento Experimental com Pr e PsTestes
GRUPOS DE TRATAMENTO DE CONTROLE PERODOS DE MENSURAO pr R R O O X ps O O
Fonte: FITZ-GIBBON & MORRIS, 1987, p. 56. Notao: R: designao randmica; X: programa ou tratamento; O: teste de mensurao.12
12
Conforme C. T. FITZ-GIBBON & L. L. MORRIS (1987, p. 55), essa notao foi concebida por D. T. Campbell & J. C. Stanley, na obra Experimental and quasi-experimental designs for research, de 1966. 37
Quadro 8: Diagrama do Delineamento Experimental com Ps-Teste

GRUPOS DE TRATAMENTO DE CONTROLE PERODOS DE MENSURAO ps R R X O O
Fonte: FITZ-GIBBON & MORRIS, 1987, p. 57. Notao: R: designao randmica; X: programa ou tratamento; O: teste de mensurao.
A designao randmica para os grupos de tratamento e de controle no se confunde com a tcnica de amostragem aleatria. O primeiro procedimento visa fortalecer a inferncia causal, assegurando validade interna s interpretaes, enquanto o segundo tem como objetivo a generalizao dos resultados amostrais para toda a populao, assegurando, portanto, validade externa investigao. Em que pese ser o delineamento experimental a estratgia mais rigorosa no trato de questes que envolvem inferncia causal, admite-se que dificilmente pode ser aplicado por instituies de controle externo, uma vez que a seleo randmica requer que as equipes de auditoria controlem o processo de seleo dos participantes do programa auditado, o que, em geral, uma prerrogativa de seu gestor. Mesmo assim, essa estratgia deve ser conhecida pelas equipes, pois funciona como uma referncia crtica para avaliar a fragilidade potencial das inferncias causais apontadas pelas outras estratgias. 2.2.4.4. Delineamentos Quase-Experimentais A realizao do delineamento experimental envolve dificuldades de ordem tanto prtica, tratados no subitem anterior, como tica (ex.: excluir do programa um grupo de beneficirios em potencial para que operem como grupo de controle). Por essa razo, foram desenvolvidas estratgias metodolgicas alternativas. Existem muitas situaes em que no possvel recorrer randomizao, mas na qual h grupos de controle disponveis. Assim, os grupos de comparao so selecionados com base na disponibilidade e na oportunidade. As estratgias utilizadas nesses casos so menos robustas do que os experimentos de campo. Quanto maiores forem as diferenas iniciais entre os grupos de tratamento e de controle, mais ambguas sero as concluses alcanadas. Para minimizar esse problema, deve-se selecionar grupos que sejam to equivalentes quanto possvel, ou seja, grupos que possam ser comparados. Para se garantir a equivalncia entre os grupos, essencial aplicar um prteste, destinado a verificar as diferenas preexistentes e, dessa forma, permitir a interpretao e o controle dos resultados do estudo. Os delineamentos quase-experimentais mais citados so: grupos no-equivalentes com pr e ps-testes; sries temporais com grupo de controle; sries temporais sem grupo de controle.
38
No primeiro caso (grupos no-equivalentes com pr e ps-testes), o delineamento tem as mesmas caractersticas de um delineamento experimental, exceto pelo fato de que os grupos no so equivalentes, ou seja, os grupos no foram formados por designao randmica. Nesse caso, o pr-teste essencial para verificar se, inicialmente, os grupos de controle e de tratamento so comparveis. A limitao desse modelo que a seleo dos grupos pressupe o conhecimento de todas as variveis relevantes que podem influenciar o resultado do programa, o que, por sua vez, o objetivo da investigao. O diagrama para esse delineamento est indicado a seguir. Quadro 9: Diagrama do Delineamento Grupos No-Equivalentes com Pr e Ps-Testes
GRUPOS DE TRATAMENTO DE CONTROLE
Fonte: FITZ-GIBBON & MORRIS, 1987, p. 58. Notao: X: programa ou tratamento; O: teste de mensurao; Linha Pontilhada: designao no-randmica dos grupos.
PERODOS DE MENSURAO pr O O X ps O O
No segundo caso (sries temporais com grupo de controle), realiza-se uma srie de mensuraes antes e depois da implementao do programa. Essa opo adequada quando se deseja obter uma perspectiva de longo prazo do programa. Um fator negativo que deve ser considerado o grande nmero de mensuraes a serem realizadas e, conseqentemente, o enorme volume de dados a serem analisados. Comparativamente, esse delineamento considerado mais eficaz que o anterior, por ser capaz de controlar a maior parte das ameaas validade interna. Na hiptese de a equipe de auditoria querer comparar dois programas, um dos programas operar como grupo de controle, enquanto que o outro operar como grupo de tratamento. O diagrama desse delineamento consta do quadro abaixo. Quadro 10: Diagrama do Delineamento Sries Temporais com Grupo de Controle
GRUPOS
1
PERODOS DE MENSURAO
2 O O 3 O O X 4 O O 5 O O 6 O O O O
DE TRATAMENTO DE CONTROLE
Fonte: FITZ-GIBBON & MORRIS, 1987, p. 61. Notao: X: programa ou tratamento; O: teste de mensurao; Linha Pontilhada: designao no-randmica dos grupos.
39
No terceiro caso (sries temporais sem grupo de controle), a mensurao realizada, em intervalos regulares de tempo, antes e depois da implementao do programa, com o mesmo grupo de unidades de pesquisa. O prximo quadro contm o diagrama do presente delineamento. Quadro 11: Diagrama do Delineamento Sries Temporais sem Grupo de Controle
GRUPO
1
PERODOS DE MENSURAO
2 O 3 O X 4 O 5 O 6 O O
DE TRATAMENTO
Notao: X: programa ou tratamento; O: teste de mensurao.
Fonte: FITZ-GIBBON & MORRIS, 1987, p. 58.
Dispondo-se graficamente os dados obtidos, pode-se verificar se o programa, ao ser implementado, provocou qualquer alterao nas tendncias observadas, isto , se teve ou no impacto sobre a populao. Nesse caso, a fragilidade do delineamento reside no fato de que no h controle sobre variveis externas ao programa ou variveis de contexto, no sendo possvel, portanto, isolar os efeitos legitimamente imputveis ao programa. Independentemente da srie temporal ter ou no um grupo de controle, as mensuraes podem ser realizadas de dois modos diferentes: com as mesmas unidades de pesquisa (sries temporais longitudinais); com o mesmo tipo de unidades de pesquisa, isto , a cada mensurao, as unidades de pesquisa podem no ser as mesmas, mas devem possuir as mesmas caractersticas (sries temporais de grupos sucessivos). 2.2.4.5. Delineamentos No-Experimentais Muitas vezes impossvel utilizar at mesmo delineamentos quaseexperimentais. Nesse caso, os delineamentos no-experimentais mais comumente empregados so: antes-e-depois; somente depois; somente depois com grupo de comparao. A fragilidade inerente a esses delineamentos o fato de que no h controle sobre explicaes alternativas, ou seja, as mudanas observadas podem ter sido causadas por variveis no associadas ao programa. Quando a coleta de dados executada adequadamente, estudos dessa natureza oferecem valiosas informaes sobre o programa. Entretanto, apresentam problemas considerveis quando o objetivo estabelecer um juzo sobre o programa ou determinar em que medida os resultados obtidos podem ser a ele atribudos. Assim, quando se tratar de uma avaliao de programa, esses delineamentos devem ser adotados em conjunto com outras estratgias metodolgicas.
40
A caracterstica do delineamento do tipo antes-e-depois trabalhar apenas com a populao-alvo do programa, realizando duas medies, uma antes e outra aps a implementao do programa. O diagrama correspondente consta do quadro abaixo. Quadro 12: Diagrama do Delineamento Antes-e-Depois
GRUPO DE TRATAMENTO
Fonte: FITZ-GIBBON & MORRIS, 1987, p.62. Notao: X: programa ou tratamento; O: teste de mensurao.
PERODOS DE MENSURAO pr O X ps O
Uma vez que h apenas um grupo a ser monitorado, deve-se buscar o maior nmero possvel de informaes, alm de uma descrio detalhada do programa, de suas caractersticas operacionais e das suas bases tericas. Outra maneira de minimizar a fragilidade do presente delineamento separar as informaes por categorias e examinar de que forma o programa afetou unidades de pesquisa com diferentes caractersticas. Dessa forma, possvel saber para que tipo de unidade o programa parece funcionar melhor ou pior. Nessa situao, dois tipos de tratamento estatstico podem ser utilizados: comparao dos resultados mdios de vrias categorias, usando testes estatsticos; verificao da correlao entre as caractersticas individuais e os resultados observados. O segundo tipo de delineamento no-experimental (somente depois) ainda mais limitado que o anterior e consiste em realizar apenas uma medio aps a implementao do programa. S recomendvel utiliz-lo nos casos em que for possvel reconstituir a situao dos beneficirios antes do programa, valendo-se de estudos anteriores ou de entrevistas com os participantes. No ltimo caso, importante considerar que dados retrospectivos nem sempre so confiveis, uma vez que os beneficirios tendem a distorcer informaes sobre seu passado, normalmente procurando manter coerncia com a situao presente. O terceiro tipo (somente depois com grupo de comparao) basicamente a verso anterior fortalecida com informaes de um grupo de comparao, cujos participantes devem ser to similares aos beneficirios do programa a ser avaliado quanto possvel. Uma vez que nesse caso no possvel dispor de dados de um prteste, como no caso do delineamento quase-experimental, torna-se especialmente difcil distinguir as diferenas preexistentes dos efeitos do programa. 2.2.4.6. Utilizao de Dados Existentes As estratgias metodolgicas analisadas at aqui trataram, quase sempre, da obteno de dados novos pela equipe de auditoria. Uma vez que a coleta de dados um procedimento caro e demorado, deve-se considerar a possibilidade de que sejam utilizados dados j existentes (vide item 2.2.5).
41
As fontes de dados disponveis, sejam sistemas gerenciais existentes, sejam pesquisas realizadas anteriormente, devem ter sido identificados no levantamento de auditoria. Dependendo da questo a ser investigada, essas fontes podem prover material relevante e suficiente para o desenvolvimento dos trabalhos. Para concluir, fundamental levar em conta que qualquer problema relativo utilizao desses dados e s suas possveis limitaes deve constar como ressalva s concluses finais do relatrio de auditoria. 2.2.5. Mtodos de Coleta de Dados Uma vez definida a estratgia metodolgica a ser empregada, deve-se especificar na Matriz de Planejamento de Auditoria o mtodo de coleta de dados que ser adotado. Os mtodos mais utilizados so: entrevista, questionrio enviado pelo correio, observao direta e utilizao de dados secundrios. Ao se optar por um mtodo de coleta de dados, deve-se considerar, primeiramente, a convenincia de que sejam utilizados instrumentos que obedeam ou no a um padro pr-elaborado (estruturado). Entre as vantagens de um instrumento estruturado de coleta de dados, destacam-se as seguintes (GAO, 1994a, p. 3.36): atinge um maior nmero de pessoas; possibilita a comparao das respostas; permite anlise estatstica; possibilita a generalizao das concluses, no caso de amostras aleatrias.
As desvantagens normalmente apontadas so (GAO, 1994a, p. 3.37): so demorados o desenvolvimento e o pr-teste; requer conhecimento especializado; difcil garantir o rigor das informaes prestadas. As entrevistas estruturadas permitem maior controle sobre a qualidade dos dados coletados quando comparadas aos questionrios enviados pelo correio. O uso desse tipo de entrevista deve ser considerado caso se verifique ao menos uma das circunstncias relacionadas a seguir (GAO, 1994a, p. 3.38): o entrevistado deve ser identificado; o entrevistado apresenta baixo nvel educacional; a reao do entrevistado deve ser observada; as perguntas abordam questes delicadas ou complexas que precisam ser esclarecidas; a ordem das perguntas deve ser controlada. Contudo, consideraes de carter administrativo podem sugerir o uso de questionrios enviados pelo correio, os quais apresentam as seguintes vantagens (GAO, 1994a, p. 3.38):
42
baixo custo; no h necessidade de entrevistadores e de treinamento; no h necessidade de deslocamento de pessoal; pode-se obter informao de uma amostra numerosa e dispersa. A observao direta, por sua vez, um mtodo bastante empregado em investigao cientfica, principalmente em estudos antropolgicos. Fonte valiosa de informaes tanto em auditoria operacional, como em avaliao de programa, esse mtodo requer treinamento e preparao especfica em, por exemplo, tcnicas de anotao de campo, bem como capacidade de concentrao e percepo seletiva. O observador treinado deve ser capaz de conferir exatido, validade e confiabilidade s informaes coletadas. A observao direta muito empregada em avaliaes de programa do tipo qualitativo, como estudos de caso. As vantagens desse mtodo podem ser assim resumidas (PATTON, 1987, p. 72-4): permite ao observador compreender o contexto no qual se desenvolvem as atividades do programa; permite que o observador use a abordagem indutiva (ao testemunhar os fatos, as impresses e opinies do observador dependero menos de percepes prvias sobre o programa); permite que um observador treinado perceba aspectos que escapam aos participantes, rotineiramente envolvidos com o programa; pode captar aspectos do programa sobre os quais os participantes no desejam falar numa entrevista, por ser um tema delicado ou embaraoso; traz para a anlise as percepes do prprio observador, que, ao serem confrontadas com as percepes dos entrevistados, fornecem uma viso mais completa do programa estudado; permite que o observador forme impresses que extrapolem o que possvel registrar, mesmo nas mais detalhadas anotaes de campo, e que podem auxiliar na compreenso do programa e dos seus participantes. Por fim, a utilizao de dados secundrios, isto , de dados que foram coletados para outros propsitos, requer cuidados especiais por parte da equipe de auditoria. Entre as questes a serem levantadas, destacam-se as seguintes (ANAO, 1992, p. 103): Que tipo de dado est disponvel? Ele se adapta questo que se pretende investigar? Os dados esto completos e o perodo de abrangncia suficiente para a anlise? De que forma o dado est armazenado? Quais as limitaes relativas forma dos dados e quais as dificuldades existentes para a sua obteno? Que atividades de coleta so realizadas regularmente? Foi realizada coleta de dados com objetivo especfico? H outras fontes relevantes de dados para o tema a ser investigado? O relacionamento existente entre os mtodos de coleta de dados tratados acima e as estratgias metodolgicas consta do quadro mostrado a seguir.
43
Quadro 13: Sinopse das Estratgias Metodolgicas

ESTRATGIA METODOLGICA TIPOLOGIA MTODO DE SELEO DA AMOSTRA convenincia; finalidade: casos extremos; melhores casos; piores casos; agrupamento; casos representativos; casos tpicos; interesse especial. probabilstico. probabilstico. MTODO DE COLETA DE DADOS
Estudo de Caso
ilustrativo; exploratrio; caso crtico; implementao do programa; efeitos do programa; cumulativo. corte temporal; painel.
entrevista; questionrio enviado pelo correio; dados secundrios; observao direta.
Pesquisa Delineamento Experimental
questionrio enviado pelo correio. teste; questionrio enviado pelo correio.
com pr e ps-testes; com ps-teste. grupos no-equivalentes com pr e ps-testes; sries temporais com grupo de controle; sries temporais sem grupo de controle. antes-e-depois; somente depois; somente depois com grupo de comparao.
probabilstico ou no.
Delineamentos Quase-Experimentais
teste; questionrio enviado pelo correio; dados secundrios. teste; questionrio enviado pelo correio; dados secundrios. dados secundrios.
Delineamentos No-Experimentais
Utilizao de Dados Existentes
2.2.6. Mtodos de Anlise de Dados Entenda-se por mtodo de anlise de dados o modo como so organizados os dados coletados e as relaes que se pretende estabelecer entre as variveis selecionadas para responder s questes de auditoria. A descrio do mtodo em questo parte fundamental do plano de auditoria operacional/avaliao de programa e deve, portanto, constar da Matriz de Planejamento de Auditoria. Geralmente, o mtodo de anlise de dados um procedimento interativo, isto , define-se uma primeira verso na fase de planejamento e, medida que a auditoria progride, o mtodo refinado. Os mtodos utilizados para organizar as informaes coletadas variam de acordo com os procedimentos adotados na coleta de dados. No caso de questionrios enviados pelo correio ou entrevistas estruturadas, pode-se gerar uma base de dados e dar tratamento estatstico s informaes coletadas. Atualmente, com os recursos da informtica, essas tarefas foram muito facilitadas, tanto em termos de clculo, como em termos de representao grfica. No caso de entrevistas abertas, anotaes de campo ou material impresso, como relatrios, estudos de caso ou pesquisas, a equipe depara-se com uma grande quantidade de informaes, as quais devem ser sistematizadas para que seu contedo possa ser interpretado. Nessa situao, o mtodo que deve ser adotado a anlise de contedo, que consiste em um conjunto de procedimentos empregados para organizar a informao em um formato padronizado, permitindo realizar inferncias com base nas caractersticas do material escrito ou registrado. A essncia da anlise de contedo a especificao de categorias de anlise, criadas a partir da identificao de temas, padres ou variveis relacionadas questo de auditoria. A informao contida no texto ento organizada com base nas categorias preestabelecidas. Esse procedimento no segue um padro rgido e depende da criatividade, intuio e experincia da equipe de auditoria para que seja identificado o que relevante e significativo nas informaes coletadas. Podem ser desenvolvidos formatos simples, para sumariar informaes ou contar a freqncia de determinados itens de anlise, ou complexos, para dar conta de tendncias ou variaes sutis nas informaes coletadas. Os requisitos mnimos para a criao de categorias passveis de codificao esto relacionados abaixo (GAO, 1989, p. 12): as categorias devem ser completas, de tal forma que todas as informaes consideradas relevantes no material estudado possam ser classificadas nas categorias preestabelecidas; as categorias devem ser mutuamente exclusivas, ou seja, nenhum item de anlise pode ser classificado em mais de uma categoria. Embora a anlise de contedo seja muito empregada em estudos de carter qualitativo, como estudos de caso, pode-se codificar as categorias de anlise e dar tratamento estatstico ao material coletado.
45
Ainda sobre estudos de carter qualitativo, so utilizados mais alguns mtodos de anlise de dados, quais sejam (PATTON, 1987, p. 155-64): a) Triangulao: uso de diferentes mtodos de pesquisa e/ou de coleta de dados para estudar a mesma questo, com o objetivo de fortalecer as concluses finais, podendo assumir as formas a seguir indicadas: coletar dados de diferentes fontes sobre a mesma questo; utilizar entrevistadores e pesquisadores de campo diferentes para evitar vieses na coleta de dados; utilizar mltiplos mtodos de pesquisa para estudar a mesma questo; utilizar teorias diferentes para interpretar os dados coletados; b) Tcnicas especficas para o tratamento de dados envolvendo mltiplas situaes (matriz de categorias, apresentao grfica de dados, tabulao de freqncias de diferentes eventos, ordenao cronolgica dos dados para anlise de sries temporais e tabulaes complexas para checar relaes); c) Interpretaes alternativas: uma vez formulada uma interpretao a partir das principais relaes identificadas na anlise, deve-se buscar interpretaes alternativas; caso no sejam encontradas evidncias substantivas que sustentem essas interpretaes, refora-se a confiana na interpretao originalmente formulada; d) Caso negativo: relacionado ao item anterior, trata-se de identificar as situaes que no seguem a tendncia central, ou seja, as excees que confirmam a regra e que ajudam a esclarecer os limites da interpretao principal. A efetividade dos procedimentos tratados acima apia-se firmemente na honestidade intelectual do investigador, que deve despender, na busca de casos negativos ou de evidncias que dem sustentao s hipteses alternativas, o mesmo esforo empregado na construo da interpretao principal. 2.2.7. Limitaes Nesse elemento da Matriz de Planejamento, a equipe de auditoria deve especificar as limitaes inerentes estratgia metodolgica adotada, s caractersticas das informaes que se pretende coletar e s condies operacionais de realizao dos trabalhos. Quanto estratgia metodolgica, deve-se considerar que no h uma estratgia tima ou ideal, mas apenas aquela que, dadas as circunstncias, melhor se
46
adapta questo que se pretende investigar.13 Sob esse aspecto, embora um delineamento experimental tenha prestgio, simetria e poder explicativo, o delineamento quase-experimental possui a virtude insupervel da factibilidade. Essa perspectiva reforada pela constatao de que no essencial evitar todas as possveis ameaas validade. mais eficaz controlar apenas as fontes de erro provveis em dada situao, isto , a equipe de auditoria deve estar atenta s interpretaes alternativas que a estratgia metodolgica empregada deixa em aberto e deve buscar, por meio da anlise, refutar tais interpretaes. Assim, ao se optar por uma estratgia metodolgica, indispensvel apontar as limitaes que lhe so inerentes, seja do ponto de vista do poder explicativo, seja em relao s possibilidades de generalizao dos resultados do estudo. Quanto s informaes que se pretende utilizar na anlise, importante mencionar que tipo de problema espera-se encontrar, tanto em relao dificuldade de acesso aos dados, como em relao sua qualidade e confiabilidade. Ademais, devem ser citadas as limitaes de ordem operacional, envolvendo a disponibilidade de recursos humanos e/ou materiais, os quais, de alguma forma, podem comprometer o resultado final dos trabalhos. 2.2.8. O Que a Anlise Vai Permitir Dizer Esse elemento da Matriz de Planejamento de Auditoria est intrinsecamente relacionado com o anterior, pois o que se espera obter da anlise est, naturalmente, condicionado pelas limitaes previamente identificadas. O propsito dessa informao restabelecer o objeto inicial da questo de auditoria, ou seja, esclarecer precisamente quais concluses ou resultados pretende-se alcanar com a estratgia metodolgica adotada. Assim, deve-se registrar, por exemplo: se as concluses alcanadas permitiro responder integralmente s questes de auditoria; se ser possvel fazer afirmaes conclusivas sobre o objeto da auditoria; e se as concluses limitar-se-o aos casos examinados ou se ser possvel generaliz-las. Esses esclarecimentos so necessrios para que se tenha noo, j na fase de planejamento, do que se pode esperar do esforo que ser empreendido pela equipe e dos recursos que sero alocados no desenvolvimento do trabalho. 2.3. Execuo A etapa seguinte da auditoria de desempenho envolve o desenvolvimento dos trabalhos de campo, baseado no plano de auditoria operacional/avaliao de programa discutido na seo anterior, e a elaborao do relatrio final. Para garantir o bom andamento dos trabalhos de campo, assim como a qualidade do relatrio final, fundamental que a equipe de auditoria tenha pleno conhecimento das suas responsabilidades e dos objetivos do trabalho. Nesse sentido, o papel do coordenador da equipe fundamental na distribuio de tarefas e no
13
Alguns autores, como G. W. Fairweather, S. Raizen e A. Rossi, consideram qualitativamente superiores os estudos que utilizem estratgias metodolgicas que permitam ao investigador fazer uma afirmao de natureza causal, em oposio anlise do tipo correlacional. Contudo, esse critrio para avaliar a qualidade de um trabalho tem sido questionado por outros estudiosos, como L. J. Cronbach e C. H. Weiss, que consideram que um bom estudo deve ser tecnicamente adequado e til. Vide L. J. CRONBACH (1983, p. 22-30) para uma discusso sobre esse tema. 47
acompanhamento dos trabalhos. Portanto, cabe ao coordenador manter com a equipe reunies peridicas, nas quais sero discutidos os problemas surgidos durante os trabalhos de campo e as adaptaes que se fizerem necessrias na Matriz de Planejamento. importante lembrar que, ao contrrio de um plano de auditoria de conformidade, que segue um padro razoavelmente estvel e consistente, o plano de auditoria operacional/avaliao de programa especfico para cada auditoria, podendo ser revisto e adaptado medida que se desenvolvem os trabalhos de campo. Nesse sentido, a Matriz de Planejamento de Auditoria deve ser considerada um instrumento dinmico, que permite equipe visualizar o encadeamento lgico do trabalho, podendo ser modificada de maneira a assegurar que os objetivos da auditoria sejam alcanados e que as evidncias apropriadas sejam obtidas. 2.3.1. Desenvolvimento dos Trabalhos de Campo A identificao dos achados de auditoria e dos efeitos correspondentes tem incio, muitas vezes, j na fase de planejamento, ao serem selecionadas as questes que sero investigadas. As evidncias identificadas no levantamento de auditoria (achados em potencial) so, ento, examinadas mais detalhadamente durante os trabalhos de campo. Nas avaliaes de programa, a anlise deve concentrar-se na busca de evidncias acerca dos efeitos provocados pela implantao do programa examinado. Nesse sentido, conforme o esquema lgico proposto no item 2.2.4, a situao constatada aps a implantao do programa (condio) deve ser comparada com o impacto esperado (critrio). Outro aspecto fundamental na anlise de questes de impacto refere-se busca de evidncias plausveis que, ao eliminarem interpretaes alternativas, assegurem que os efeitos observados foram efetivamente provocados pelo programa (causa). Nas auditorias operacionais, as evidncias coletadas so comparadas com os critrios de auditoria, previamente selecionados e identificados pela equipe. As diferenas observadas constituem os achados de auditoria. Uma vez caracterizado o achado de auditoria, deve-se proceder verificao dos efeitos e identificao das causas do desempenho observado. Em geral, esses procedimentos s so concludos no final do trabalho de campo. Entretanto, em funo da complexidade do tema e de evidncias supervenientes, a anlise pode estender-se at a fase do relatrio, quando ento a equipe deve chegar a uma deciso final sobre os achados apurados. O efeito associado a um achado de auditoria, sempre que possvel, deve ser mensurado. No caso de, por exemplo, processos antieconmicos, aquisies mal planejadas ou equipamentos improdutivos, os efeitos podem ser estimados em valores monetrios. J os efeitos decorrentes de procedimentos ineficientes, recursos ociosos ou gerenciamento deficiente podem ser dimensionados em termos de descumprimento de prazos e de desperdcio de recursos fsicos. Por outro lado, os efeitos qualitativos tambm devem ser mencionados, como ausncia de controle, decises inadequadas ou descompromisso com a qualidade do bem ou servio oferecido. O efeito deve demonstrar
48
a necessidade de ao corretiva e pode ter ocorrido no passado, estar ocorrendo no momento da auditoria ou vir a ocorrer no futuro. A causa de um achado de auditoria a base para as recomendaes. Caso haja mltiplas causas para um mesmo achado, a equipe deve identificar aquela que, se modificada, pode prevenir situaes similares. Deve-se considerar, ainda, a possibilidade da causa identificada estar fora do controle do auditado, fazendo com que o foco das recomendaes transcenda o objeto da auditoria. As recomendaes que visem melhoria do desempenho administrativo ou operacional so o aspecto mais importante das auditorias de desempenho. Conquanto os aperfeioamentos requeridos, e no os meios para alcan-los, constituam o foco das recomendaes, convm indicar que aspectos devem ser examinados pelo gestor na busca de solues. Portanto, no suficiente declarar que a gesto de determinado programa requer aperfeioamentos, devendo-se indicar alternativas a serem consideradas. Ao formular recomendaes, a equipe deve estimar a economia lquida de recursos decorrente da sua implementao, especificando, dessa maneira, o valor agregado e os benefcios advindos da auditoria de desempenho. Essa estimativa reforar a necessidade de mudana nos procedimentos administrativos ou operacionais. As dificuldades de quantificar os benefcios potenciais variam segundo o tipo de benefcio. Entretanto, em muitos casos, os impactos financeiros podem ser estimados com razovel segurana. 2.3.2. Teste-Piloto Muitas vezes, a complexidade do objeto da auditoria e a falta de informaes precisas a seu respeito podem comprometer o resultado de uma auditoria de desempenho. Nesse caso, a equipe deve considerar a convenincia de realizar um testepiloto que permita checar a estratgia metodolgica proposta, as premissas iniciais acerca do funcionamento do objeto auditado e a qualidade e confiabilidade dos dados. A fim de obter um quadro representativo, a equipe deve escolher para a realizao do piloto um local ou aspecto do objeto da auditoria que apresente dificuldades potenciais para a conduo dos trabalhos, permitindo que a equipe antecipe os problemas que podero ser enfrentados. Alm disso, os dados coletados permitiro ajustar o tamanho da amostra e certificar que a estratgia metodolgica selecionada oferecer uma resposta conclusiva questo de auditoria. Portanto, a realizao do teste-piloto no s se justifica como altamente recomendvel no caso de auditorias de grande complexidade e custos elevados, pois reduz as incertezas e aumenta as chances de que o trabalho desenvolvido alcance o nvel de qualidade desejado com o menor custo possvel. 2.3.3. Relatrio O relatrio de auditoria de desempenho o produto final do trabalho da equipe, que deve ser apreciado pelo Ministro-Relator, aps ter sido analisado pelas instncias administrativas competentes. Portanto, fundamental que a equipe dispense sua preparao o cuidado e o empenho necessrios para que o resultado final atinja o padro de qualidade tcnica desejado. Nesse sentido, recomenda-se iniciar cada tpico ou pargrafo do relatrio com a idia principal, para a seguir desenvolv-la de forma
49
lgica e coerente, evitando-se o uso excessivo de adjetivaes e de oraes intercaladas, bem como de jarges ou termos tcnicos que dificultem a compreenso do texto. Quando o uso de termos tcnicos for imprescindvel, eles devem ser explicados. O relatrio de auditoria de desempenho deve ter a seguinte estrutura: 2.3.3.1. 2.3.3.2. 2.3.3.3. 2.3.3.4. 2.3.3.5. 2.3.3.6. 2.3.3.7. 2.3.3.8. Sumrio; Resumo; Introduo; Captulos sobre os Temas Principais; Comentrios do Gestor; Concluso; Proposta de Encaminhamento; Apndices.
2.3.3.1. Sumrio Toda ateno deve ser dispensada elaborao do sumrio do relatrio, o qual deve permitir ao leitor ter uma viso geral do contedo do relatrio, facilitando a localizao de assuntos do seu interesse ao indicar as pginas correspondentes. Portanto, a escolha dos ttulos dos captulos e sees que compem o relatrio deve ser feita de maneira a fornecer uma indicao clara do assunto tratado. Ademais, o sumrio deve mostrar que as informaes esto logicamente encadeadas, com cada captulo podendo ser visto isoladamente, mas formando, no seu conjunto, um todo integrado. Cabe mencionar, ainda, que os apndices, contendo, por exemplo, glossrios, tabelas, grficos, ilustraes e demais documentos ou informaes necessrias formulao dos argumentos e das concluses do relatrio, tambm devem estar referenciados no sumrio. 2.3.3.2. Resumo O resumo uma breve descrio dos elementos-chave do relatrio, quais sejam: objetivo e escopo da auditoria, principais resultados e recomendaes. A finalidade do resumo dar ao leitor uma viso concisa do tema investigado, dos principais achados ou problemas identificados e das recomendaes pertinentes. Trata-se, conseqentemente, de um texto com as caractersticas de um resumo executivo, o qual poder ter ampla divulgao, se assim decidir o Ministro-Relator.
50
2.3.3.3. Introduo A introduo deve incluir os antecedentes, objetivos, escopo e estratgia metodolgica da auditoria. a) Antecedentes Ao tratar dos antecedentes, a equipe de auditoria deve especificar a natureza do objeto da auditoria e mencionar, quando for o caso, outras fiscalizaes feitas no objeto em questo recentemente. Convm, ainda, fazer uma descrio suficientemente detalhada do objeto auditado que permita ao leitor compreender a sua relevncia e as suas principais caractersticas. b) Objetivos e Escopo da Auditoria Os objetivos da auditoria, explicitados pelas questes de auditoria, devem ser enunciados claramente para que se possa avaliar os resultados alcanados pelo trabalho. Ao descrever os objetivos e o escopo da auditoria, a equipe est, ao mesmo tempo, definindo os limites do trabalho desenvolvido e especificando os temas, as instituies, os sistemas ou os aspectos que foram auditados. Ademais, sempre que a equipe julgar conveniente, para evitar ambigidades, devem ser mencionados os aspectos especficos que no foram abordados pela auditoria. Ao informar o escopo da auditoria, a equipe deve mencionar a abrangncia do trabalho, especificando, quando for o caso, a relao entre o universo e as unidades efetivamente auditadas. Tambm devem ser identificadas as organizaes, os locais visitados e o perodo abrangido pela auditoria. c) Estratgia Metodolgica A equipe deve informar as estratgias metodolgicas e os mtodos de coleta e anlise de dados empregadas, descrevendo o modo como foram utilizados. Tratando-se de uma auditoria operacional, fundamental indicar os procedimentos adotados para estabelecer os critrios de auditoria, os mtodos empregados na coleta de evidncias e na definio de achados e recomendaes. Sempre que forem utilizados mtodos estatsticos ou outras abordagens quantitativas de anlise de dados, esses mtodos devem ser devidamente detalhados. Da mesma forma, se os achados e concluses basearem-se no exame de uma amostra, a equipe deve informar a tcnica de amostragem utilizada e justificar a sua escolha. Por fim, tambm devem ser mencionadas as limitaes impostas ao trabalho de auditoria associadas confiabilidade ou dificuldade na obteno de dados, assim como as limitaes relacionadas ao prprio escopo do trabalho. 2.3.3.4. Captulos sobre os Temas Principais Os captulos que comporo o relatrio podem ser organizados de diversas maneiras. Uma delas tratar cada questo de auditoria em um captulo especfico. Outra
51
alternativa estruturar os captulos segundo uma seqncia lgica baseada na organizao administrativa, geogrfica ou funcional do objeto da auditoria. Seja qual for o critrio adotado, os captulos devem estar ordenados de forma a facilitar a leitura e compreenso dos temas abordados. a) Introduo Cada captulo deve ter uma breve descrio do assunto a ser tratado, a ttulo de introduo, contendo as principais idias, concluses ou achados que sero desenvolvidos mais detalhadamente nos pargrafos subseqentes. Sempre que possvel, os assuntos da mesma natureza devem ser agrupados e apresentados em uma seqncia lgica. b) Apresentao dos Achados e Recomendaes O restante do captulo dedicado explorao detalhada dos pontos apresentados na introduo, encerrando-se com as recomendaes pertinentes. As causas de desempenhos fracos eventualmente observados devem ser apontadas, indicando-se aquelas ligadas operacionalizao ou concepo do objeto da auditoria, bem como aquelas que esto fora do controle ou da influncia do gestor, quando for o caso. Para tanto, necessrio incluir uma anlise das evidncias empregadas para estabelecer as causas. Da mesma forma, achados e recomendaes devem ser sustentados por evidncias. imprescindvel que se faa distino entre fatos e opinies. Os captulos devem ser desenvolvidos de maneira a permitir ao leitor acompanhar a lgica dos argumentos e das justificativas que sustentam os achados, sem, no entanto, serem prolixos ou repetitivos. O excesso de informao ou detalhe deve ser evitado, procurando-se manter um equilbrio entre a conciso e a clareza. Havendo necessidade de maior detalhamento, deve-se utilizar o apndice. 2.3.3.5. Comentrios do Gestor A fim de permitir que os gestores possam agregar comentrios que julguem pertinentes para a melhor compreenso das questes abordadas no relatrio, recomendvel que a equipe encaminhe aos gestores uma verso preliminar das principais concluses da auditoria. Esse encaminhamento deve ser feito por intermdio de documento oficial, a ser respondido em prazo considerado conveniente pela equipe, de acordo com a complexidade do tema tratado. A resposta recebida ser analisada pela equipe e registrada em captulo prprio do relatrio final.
52
2.3.3.6. Concluso Esse tpico tem por objetivo oferecer uma viso global e sinttica dos aspectos tratados em cada captulo, de maneira a se obter um quadro compreensvel dos principais achados e das recomendaes cabveis. A factibilidade das recomendaes feitas deve ser objeto de uma anlise criteriosa por parte da equipe de auditoria, incluindo o exame do impacto dos problemas identificados e de como tais recomendaes podem gerar melhorias, quantificando, sempre que possvel, os efeitos potenciais nos custos e no desempenho do objeto auditado. recomendvel, quando for o caso, que a equipe adote uma abordagem positiva, reconhecendo as dificuldades enfrentadas pelo gestor e destacando as iniciativas importantes por ele empreendidas para melhorar o desempenho e superar as deficincias apontadas. Por fim, a equipe deve incluir no relatrio quaisquer temas ou questes que considere relevantes, mas que no faam parte dos objetivos da auditoria, para que sejam examinados oportunamente. 2.3.3.7. Proposta de Encaminhamento Com base nos achados e recomendaes apresentados no relatrio, a equipe deve formular a proposta de encaminhamento, da qual constaro a sntese das recomendaes formuladas e, quando for o caso, as determinaes que, a seu juzo, deveriam ser referendadas pelo Tribunal. A equipe deve indicar as sees dos captulos que tratam dos achados e recomendaes que sustentam a proposta encaminhada. 2.3.3.8. Apndices Nesse tpico, devem ser includos quaisquer detalhamentos necessrios ao entendimento e sustentao dos argumentos apresentados cuja insero no texto principal prejudicaria o fluxo da exposio.
53
54
ANEXO I ORIENTAO GERAL PARA A ANLISE PRELIMINAR DO OBJETO DA AUDITORIA
ORIENTAO GERAL PARA A ANLISE PRELIMINAR DO OBJETO DA AUDITORIA
Este anexo visa auxiliar as equipes de auditoria na identificao das informaes mais relevantes para a anlise preliminar do objeto auditado. Naturalmente, caber s equipes, luz do tempo e dos recursos disponveis, decidir sobre a extenso e o nvel de detalhamento dos dados que sero coletados. Ademais, a relao apresentada abaixo no pretende esgotar todos os possveis aspectos dos rgos, entidades, programas, projetos e atividades governamentais, cujas peculiaridades devem ser cuidadosamente estudadas por cada equipe. I.1. Origem e Antecedentes I.1.1. Base Legal A base legal que deu origem ao objeto da auditoria e regulamenta sua operao fonte primria de informao e permite, geralmente, identificar o escopo, os objetivos gerais, as fontes de recursos e demais caractersticas formais do objeto. As informaes relativas fase de discusso do projeto de lei, que podero ser obtidas na Comisso Parlamentar encarregada, podem apontar concepes divergentes sobre o objeto auditado, que podero subsidiar as anlises da equipe em relao, por exemplo, base terica, s possveis alternativas operacionais ou factibilidade dos objetivos propostos. Identificar: legislao especfica: rgo ou partido que teve a iniciativa da lei; propostas conflitantes; aspectos do projeto de lei que prevaleceram; aspectos do projeto de lei que foram abandonados ou modificados. I.1.2. Antecedentes Institucionais As informaes sobre a trajetria institucional do objeto da auditoria, situandoo no mbito das prioridades governamentais, permitem identificar aspectos crticos ou pontos de estrangulamento que tm sido ou sero enfrentados. Identificar: data de criao; denominaes anteriores; origem e evoluo dos recursos; rgos, entidades, programas, projetos e atividades governamentais que atuam na mesma rea; avaliaes anteriores: iniciativa; executor; aspectos avaliados; principais concluses;
efeitos inesperados; mudanas significativas no objeto auditado: objetivos; populao-alvo; metas; abrangncia; situao no contexto das prioridades governamentais. I.2. Planejamento I.2.1. Diretrizes As aes implementadas pelo objeto da auditoria devem guardar consistncia com as bases tericas e com os valores que fundamentaram a sua criao. Mesmo que no possam ser identificadas na documentao do objeto, importante que elas sejam obtidas junto aos gestores e equipe tcnica encarregada, para melhor compreender as relaes de causa e efeito subentendidas na concepo do objeto auditado. Identificar: princpios ou doutrinas presentes na criao do objeto da auditoria; anlises de custo-benefcio ou custo-efetividade que deram suporte deciso de implementao do objeto; diretrizes declaradas; diretrizes implcitas; grau de conscientizao da equipe em relao s diretrizes (explcitas ou implcitas). I.2.2. Prioridades, Objetivos e Metas As aes desenvolvidas pelo objeto auditado devem estar logicamente relacionadas com as suas metas e objetivos. Portanto, a sua clara identificao um estgio fundamental da etapa de levantamento. Identificar: estudo prvio que deu suporte criao do objeto auditado; pesquisas, pareceres tcnicos ou opinies de especialistas: necessidades especficas apontadas; relao entre as prioridades apontadas e as metas e objetivos fixados; objetivos explicitados: objetivos relacionados s aes desenvolvidas (o que ser realizado); objetivos relacionados aos resultados pretendidos (efeitos sobre a populao-alvo); metas e objetivos mais importantes; modo como o tempo alocado entre os objetivos; factibilidade das metas e objetivos. I.2.3 Acompanhamento O monitoramento do objeto da auditoria, atividade precpua da gerncia, deve fixar medidas de desempenho que permitam a sua avaliao sistemtica. Os parmetros de desempenho devem refletir adequadamente os objetivos gerais do objeto auditado e servir de base para as decises da gerncia.
58
Verificar: unidades de medida de desempenho usadas regularmente; adequao das unidades de medida de desempenho aos objetivos; nvel de desempenho considerado adequado para cada meta ou ao; outras formas de medir o desempenho.
I.3. Populao-Alvo Quando for o caso, deve-se obter uma descrio detalhada da populao-alvo do objeto da auditoria. Identificar: clientela do objeto auditado; critrios de seleo dos beneficirios; diferenas significativas entre participantes e no-participantes; caractersticas da clientela associadas ao impacto do objeto da auditoria; grupos no afetados ou afetados por outros rgos, entidades, programas, projetos e atividades governamentais que possam ser usados em comparaes.
I.4. Ambiente de Atuao I.4.1. Contexto Poltico-Social O contexto poltico-social da atuao do objeto auditado uma fonte importante de informaes para se entender o seu funcionamento. Embora tais informaes dificilmente apaream em um documento formal de avaliao, somente um avaliador ingnuo no daria ateno ao contexto poltico agindo sob seu prprio risco e arriscando comprometer a avaliao. (KING, 1997, p. 28). Identificar: estudos feitos por terceiros; impacto na mdia; grupos ou organizaes que apoiam as aes do objeto da auditoria: motivaes e intenes envolvidas; indivduos, grupos ou organizaes que criticam as aes do objeto auditado: principais crticas; principais focos de resistncia s aes do objeto da auditoria por parte: dos gestores; dos executores; da populao-alvo; da comunidade em geral; grupos de interesse que agem no ambiente do objeto auditado: influncias sobre o seu desenvolvimento; canais de comunicao entre o objeto da auditoria e outras instncias organizacionais: internas;
59
externas; dificuldades de ordem pessoal ou institucional que dificultam a comunicao no mbito do objeto auditado. I.4.2. Caractersticas Scio-Econmicas As diferenas regionais podem operacionalizao de rgos, entidades, governamentais. Identificar: em que regies o objeto da auditoria foi implementado; caractersticas scio-econmicas dessas regies; diferenas relevantes entre essas regies, inclusive culturais. I.5. Caractersticas Operacionais A descrio dos insumos e do funcionamento do objeto auditado uma tarefa bsica da etapa de levantamento, essencial para se compreender como as aes esto sendo desenvolvidas e para se aferir o grau de eficincia e economia dos gestores. I.5.1 Recursos Humanos Identificar: responsveis pela execuo dos servios; existncia de quadro prprio; composio do quadro de pessoal em termos de: formao acadmica e profissional; funes tcnicas, de direo e de suporte; faixas salariais; procedimentos de seleo de pessoal; dificuldades de preenchimento de funes especficas; atividades de treinamento; grau de motivao e engajamento do pessoal; taxa de rotatividade. explicar variaes significativas na programas, projetos e atividades
60
I.5.2. Recursos Financeiros Identificar: principais itens de custo; custos de desenvolvimento, implantao e operao; indicadores de custo unitrio e/ou custo per capita: base de clculo. Descrever: situao financeira; situao da gesto. I.5.3. Recursos Fsicos Descrever: caractersticas das instalaes fsicas; equipamentos disponveis. Verificar: adequao dos recursos disponveis em relao: clientela; aos objetivos do objeto da auditoria. I.5.4. Funcionamento Descrever: aes desenvolvidas; desdobramento das aes no tempo e no espao (variaes regionais). Identificar: ciclos mensais ou anuais que afetam as aes do objeto auditado. I.6. Fatores Restritivos A qualidade tcnica de uma auditoria no deve ser medida apenas pela sua capacidade em responder conclusivamente a questes do tipo causa e efeito. Uma boa auditoria levar em conta as limitaes existentes, em outras palavras: ... a qualidade tcnica de um estudo ou mtodo pode ser determinada pela comparao entre o que foi realizado e o que era possvel realizar. (GAO, 1991, p. 8) Verificar: acessibilidade das informaes sobre o objeto da auditoria: base de dados computadorizada; arquivos centralizados no gestor/coordenador; arquivos descentralizados; outros meios;
61
procedimentos e rotinas de coleta de dados empregados; poltica relativa s informaes confidenciais e ao acesso s pessoas, registros e locais relacionados com o objeto auditado; disponibilidade de grupos ou indivduos relevantes para a obteno de informaes; prazos estimados de execuo; disponibilidade de recursos humanos, fsicos e financeiros.
62
ANEXO II MODELO DE MATRIZ DE PLANEJAMENTO DE AUDITORIA
MODELO DE MATRIZ DE PLANEJAMENTO DE AUDITORIA PROBLEMA: Enunciar de forma clara e resumida o aspecto a ser enfocado pela auditoria, de acordo com o levantamento de auditoria previamente realizado.
QUESTO DE AUDITORIA Especificar os termos-chave e o escopo da questo: INFORMAES REQUERIDAS FONTES DE INFORMAO Identificar as fontes de cada item de informao. MTODOS DE ESTRATGIAS OBTENO DE METODOLGICAS DADOS Especificar as comparaes a serem feitas, as tcnicas amostrais a serem utilizadas: estudo de caso; pesqui sa; delinea mento experimental; delinea mentos quaseexperimentais; delineamentos noexperimentais; utiliza o de dados existentes. Especificar os mtodos de coleta a serem empregados, quais sejam: entre vistas (estruturadas ou noestruturadas); ques tionrio enviado pelo correio; obse rvao direta; dado s secundrios. MTODOS DE ANLISE DE DADOS Especificar as tcnicas a serem utilizadas na anlise de dados, quais sejam: estat stica descritiva; anlis e qualitativa; anlis e de contedo; outras . LIMITAES Especificar as limitaes relativas: estratgia metodolgica adotada; qualidade das informaes; s condies operacionais de realizao do trabalho. O QUE A ANLISE VAI PERMITIR DIZER Esclarecer precisamente que concluses ou resultados podem ser alcanados a partir da estratgia metodolgica adotada.
o de abrangncia; popul ao-alvo; rea geogrfica.
Identificar as informaes necessrias para responder a questo de perod auditoria.
GLOSSRIO
Abordagem Qualitativa: refere-se ao uso de mtodos prprios antropologia cultural e etnografia, que tm como caracterstica a construo de uma viso holstica do tema ou fenmeno investigado a partir de entrevistas em profundidade e observao direta. Abordagem Quantitativa: refere-se ao uso de mtodos estatsticos para identificar e explicar padres de comportamento ou relaes entre as variveis. Atividade: ao, em geral repetitiva, que permite gerar um determinado produto (bens e servios), estendendo-se por tempo indeterminado. Correlao: interdependncia entre dois conjuntos de variveis, tal que, quando um deles muda, o outro muda na mesma direo (correlao positiva) ou em direo oposta (correlao negativa). Dado Qualitativo: informao expressa na forma de palavras. Dado Quantitativo: informao expressa na forma de nmeros. Economicidade: minimizao dos custos dos recursos utilizados na consecuo de uma atividade, sem comprometimento dos padres de qualidade. Efetividade: relao entre os resultados (impactos observados) e os objetivos (impactos esperados). Eficcia: grau de alcance das metas programadas em um determinado perodo de tempo, independentemente dos custos implicados; pode ser representada pela seguinte relao:
MR Ec = MP
TR TP
M R . TP , M P . TR
onde:
E c = E fic c ia ; iz l M R = M eta R eaa d a ; liz O r TR = T e m p o U tia d o paa r b teM R ; M = M e ta P ro g a d a ; ram P TP = T em p o P laja d o paa O b teM P . ne r r
Concluses: 14
se Ec > 1, eficcia superior prevista; se Ec = 1, eficaz; se Ec < 1, ineficaz.
14
A validade das concluses depender da validade dos dados de programao que servirem de parmetro.
Eficincia: relao entre os produtos (bens e servios) gerados por uma atividade e os custos dos insumos empregados em um determinado perodo de tempo. O resultado expressa o custo de uma unidade de produto final em um dado perodo de tempo. Analogamente ao conceito de eficcia, pode-se estabelecer o grau de eficincia relativa de um programa, projeto ou atividade comparando-o com as metas e custos programados ou com dados de outras iniciativas que perseguem os mesmos objetivos. Nesse caso, somente sero comparveis iniciativas que, alm dos objetivos, possuam as mesmas caractersticas de programao. Pode ser representada pela seguinte relao:
MR Ef = MP
TR . C R TP . C P
M R . TP . C P M P . TR . C R
E f = E f i c i an; c i CP = E c . , onde: C = C u s t o lR e a ; R CR C = C u s t o gPr a o a d o . rm P
Concluses:
se Ef > 1, eficincia superior prevista; se Ef = 1, eficiente; se Ef < 1, ineficiente.
Entrevista Estruturada: tipo de entrevista na qual as perguntas so predeterminadas, seguindo um roteiro preestabelecido; aplicada a pessoas selecionadas, esse tipo de entrevista proporciona respostas comparveis entre si, de tal forma que as diferenas observadas reflitam diferenas entre os respondentes e no no modo como as perguntas foram formuladas. Entrevista No-Estruturada: tipo de entrevista menos formal que a entrevista estruturada, permitindo ao entrevistador explorar um assunto mais amplamente; geralmente elaborada utilizando-se perguntas abertas. Evidncias: informaes obtidas durante a auditoria no intuito de documentar os achados e de respaldar as opinies e concluses da equipe, podendo ser classificadas como fsicas, orais, documentais e analticas. Mensurao: procedimento utilizado para associar um nmero a um determinado evento. Observao Direta: mtodo de coleta de dados no qual o pesquisador utiliza os prprios sentidos (tato, viso, olfato e audio) para obter informaes. Pergunta Aberta: no h alternativa de resposta predeterminada. Pergunta Fechada: as alternativas de resposta so predeterminadas. Programa: conjunto de projetos e atividades que concorrem para os mesmos objetivos. Projeto: empreendimento planejado que consiste num conjunto de aes interrelacionadas e coordenadas para alcanar objetivos especficos dentro dos limites de um oramento e de um perodo de tempo dados.
68
GLOSSRIO
Questionrio Enviado pelo Correio: mtodo de coleta de dados composto de uma srie ordenada de perguntas fechadas enviadas pelo correio. Questes de Causa-e-Efeito ou de Impacto: questes que visam constatar em que medida os resultados observados podem ser atribudos exclusivamente ao programa, bem como identificar resultados no esperados; portanto, visam estabelecer relaes de causalidade passveis de serem comprovadas com uma determinada margem de segurana. Questes Descritivas: questes voltadas para a descrio detalhada das condies especficas de implementao do programa, examinando as origens e a histria do programa, os objetivos estabelecidos, o contexto de operao, os recursos alocados, o desempenho alcanado, a identificao de problemas potenciais e as reas nas quais o programa pode ser ampliado, modificado ou aprimorado. Questes Normativas: questes voltadas para a verificao, em comparao com o desempenho esperado, dos resultados obtidos pelo programa, conforme previsto em lei especfica ou instrumento prprio de planejamento. Resultados Lquidos ou Impacto: so as alteraes no objeto da ao governamental que podem ser atribudas nica e exclusivamente ao programa; isso exige a eliminao dos efeitos externos, o que pode ser obtido por meio da aplicao do delineamento experimental ou de suas adaptaes. Validade Externa: extenso na qual as concluses de um estudo podem ser aplicadas a pessoas, contextos ou pocas que no tenham sido objeto da investigao. Validade Interna: extenso na qual um estudo capaz de estabelecer uma relao de causa-e-efeito.
69
70
BIBLIOGRAFIA
3 SECEX (1997). Relatrio de auditoria operacional no programa de levantamento da plataforma continental brasileira (LEPLAC) e no programa de avaliao do potencial sustentvel de recursos vivos na zona econmica exclusiva (REVIZEE). Braslia. Mimeografado. ANAO (1992). Performance auditing. Canberra. BID (199-). Marco lgico para el diseo y conceptualizacin de proyectos. [S.l. : s.n.]. CAMPBELL, Donald (198-). Quasi-experimental studies: effects of television. In: OSKAMP, Stuart (Ed.). Applied social psychology. Englewood Cliffs : Prentice-Hall. p. 98-123. COHEN, Ernesto; FRANCO, Rolando (1994). Avaliao de Projetos Sociais. Petrpolis : Vozes CRONBACH, Lee J. (1983). Designing evaluations of educational and social programs. San Francisco : Jossey-Bass. FITZ-GIBBON, Carol Taylor; MORRIS, Lynn Lyons (1987). How to design a program evaluation. 2. ed. Newbury Park : Sage. GAO (1989). Content analysis: a methodology for structuring and analyzing written material. Washington.
__________
(1990). Case study evaluations. Washington. (1991). Designing evaluations. Washington.
__________
__________
(1994a). Approach and methodology selection workshop: instructor manual. Washington. (1994b). Government auditing standards: 1994 revision. Washington.
__________
INTOSAI (1995). Working Group on Programme Evaluation. Draft summary report presented during the XV Incosai. Cairo. Mimeografado. KING, Jean A. et alii (1987). How to assess program implementation. 2. ed. Newbury Park : Sage. PATTON, Michael Quinn (1987). How to use qualitative methods in evaluation. Newbury Park : Sage. ROSSI, Peter; COOK, Thomas (198-). Evaluation research: Sesame Street. In: OSKAMP, Stuart (Ed.). Applied social psychology. Englewood Cliffs : Prentice-Hall. p. 124146.
SCRIVEN, Michael (1991). Evaluation thesaurus. 4. ed. Newbury Park : Sage. WEISS, Carol H. (1972). Evaluation research: methods of assessing program effectiveness. Englewood Cliffs : Prentice-Hall.
72
FOLHA DE SUGESTES
O TCU preocupa-se com o constante aperfeioamento da qualidade de seus manuais e orientaes, buscando, para isso, ouvir a valiosa opinio do pblico-alvo dos referidos trabalhos. O questionrio a seguir refere-se especificamente ao Manual de Auditoria de Desempenho, distribudo a partir de maro de 1998. Ser muito til para o TCU se o leitor deste manual puder dispor de alguns minutos para responder s perguntas constantes no referido questionrio e envi-lo pelos Correios (no preciso selar, pois o porte ser pago pelo TCU). Sugestes sobre este manual tambm podem ser enviadas das seguintes formas: E-mail: saudi@tcu.gov.br Fax: (061) 316-7538 Fone: (061) 316-7379 Endereo: Tribunal de Contas da Unio - TCU SAUDI/DINOP Setor de Administrao Federal Sul - Lote 01 Braslia - DF CEP: 70042-900
74
Tribunal de Contas da Unio Secretaria de Auditorias e Inspees
QUESTIONRIO DE AVALIAO
FINALIDADE Este questionrio de avaliao tem por objetivo obter a opinio dos leitores sobre o Manual de Auditoria de Desempenho, com vistas ao seu aperfeioamento. Por favor, responda s questes abaixo assinalando com um X a alternativa mais adequada. Desde j agradecemos a sua colaborao. 1. Em que esfera do governo voc trabalha? Federal Estadual ou DF 2. Em que rgo voc trabalha? Poder Legislativo Poder Executivo Poder Judicirio Controle Interno
Municipal Outro [especificar] ________________
3. Que partes do Manual de Auditoria de Desempenho voc leu? Todo Captulo I [todo ou parte]
Captulo II [todo ou parte]
4. Leia com ateno cada indicador e escolha o ponto da escala que melhor descreve a sua opinio sobre o Manual de Auditoria de Desempenho. Marque com um X a opo que melhor representa o seu julgamento. Concorda integralmente 5 Concorda 4 5 Indiferente 3 4 Discorda 2 3 Discorda integralmente 1 2 1
O manual : Fcil de ser lido Fcil de ser entendido Lgico Sucinto Completo til
5. Como voc tomou conhecimento do Manual de Auditoria de Desempenho? Quando recebeu Pela Internet Divulgao interna do TCU Pela imprensa Por mensagem do SIAFI Outros [especificar] _______________________ 6. Como voc obteve o Manual de Auditoria de Desempenho? Solicitou diretamente ao TCU Download pela Internet Outros [especificar] ________________
7. Apresente, a seguir, comentrios e sugestes para o aprimoramento da qualidade do Manual de Auditoria de Desempenho. No caso de sugestes para alterao/supresso/aditamento de itens de verificao, favor preencher o quadro anexo.
Tribunal de Contas da Unio Secretaria de Auditorias e Inspees
QUADRO DE SUGESTES
FINALIDADE Este quadro de sugestes tem por objetivo obter a opinio dos leitores sobre o Manual de Auditoria de Desempenho, com vistas ao seu aperfeioamento. N do item Proposta de alterao, supresso ou aditamento Fundamentao
PTR/BSB 880/92 UP-AC/TCU DR/BSB
CARTA - RESPOSTA
NO NECESSRIO SELAR O SELO SER PAGO POR TRIBUNAL DE CONTAS DA UNIO BRASLIA-DF
70099-999
UNIDADES DA SECRETARIA-GERAL DE CONTROLE EXTERNO DO TRIBUNAL DE CONTAS DA UNIO
Secretaria-Geral de Controle Externo Secretaria de Auditoria e Inspees Div. de Nor. e Proc. de Aud. e Prog. de Governo Servio de Programas de Governo Sec. de Contas do Gov. e Transf. Constitucionais Secretaria de Informtica Secretaria de Planej., Organizao e Mtodos 1 Secretaria de Controle Externo 2 Secretaria de Controle Externo 3 Secretaria de Controle Externo 4 Secretaria de Controle Externo 5 Secretaria de Controle Externo 6 Secretaria de Controle Externo 7 Secretaria de Controle Externo 8 Secretaria de Controle Externo 9 Secretaria de Controle Externo 10 Secretaria de Controle Externo Secretaria de Controle Externo/AC Secretaria de Controle Externo/AL Secretaria de Controle Externo/AP Secretaria de Controle Externo/AM Secretaria de Controle Externo/BA Secretaria de Controle Externo/CE Secretaria de Controle Externo/ES Secretaria de Controle Externo/GO Secretaria de Controle Externo/MA Secretaria de Controle Externo/MT Secretaria de Controle Externo/MS Secretaria de Controle Externo/MG Secretaria de Controle Externo/PA Secretaria de Controle Externo/PB Secretaria de Controle Externo/PR Secretaria de Controle Externo/PE Secretaria de Controle Externo/PI Secretaria de Controle Externo/RJ Secretaria de Controle Externo/RN Secretaria de Controle Externo/RS Secretaria de Controle Externo/RO Secretaria de Controle Externo/RR Secretaria de Controle Externo/SC Secretaria de Controle Externo/SP Secretaria de Controle Externo/SE Secretaria de Controle Externo/TO
Jos Nagel Cludio Souza Castello Branco Paulo Roberto Pinheiro Dias Pereira Glria Maria Merola da Costa Bastos Carlos Nivan Maia Antonio Quintino Rosa Mauro Giacobbo Jos Moacir Cardoso da Costa Evaldo Rui Rocha Snia Lcia Imbuzeiro Marlia Zinn Salvucci Francisco Carlos Ribeiro de Almeida Antonio Newton Soares de Matos Cludio Sarian Altounian Eduardo Duailibe Murici Jorge Pereira de Macedo Rosngela Paniago Curado Fleury Dion Carvalho Gomes de S Edmilson Monteiro Batista Carlos Martins dos Santos Helena Montenegro Valente Paulo Pereira Teles Paulo Nogueira de Medeiros Hamilton Caputo Delfino Silva Neusa Casado Martins Arajo Osmir da Silva Freire Luiz Guilherme da Boamorte Silveira Joo Andrade de Alencar lsio Jeov dos Santos Jos Mrcio Paulino Murta Raimundo Nonato Soares Arajo Maria Jos Menezes Ild Ramos Rodrigues Theodoro Jos Maria Arajo Lima Jos Augusto Prto Neto Marcos Valrio de Arajo Antonio Jos Martins de Almeida Raimundo Nonato Coutinho Rainrio Rodrigues Leite Rafael Blanco Muniz Eloi Carnovali Clmaco Romualdo de Carvalho Jacques Silva de Sousa

Manual de Auditoria de Desempenho

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Manual de Auditoria de Desempenho

Uploaded by

Copyright:

Available Formats

TRIBUNAL DE CONTAS DA UNIO Secretaria-Geral de Controle Externo Secretaria de Auditoria e Inspees

MANUAL DE AUDITORIA DE DESEMPENHO

TRIBUNAL DE CONTAS DA UNIO Secretaria-Geral de Controle Externo Secretaria de Auditoria e Inspees

MANUAL DE AUDITORIA DE DESEMPENHO

Braslia, abril de 1998.

Ficha Catalogrfica elaborada pela Diviso de Documentao do TCU.

Tribunal de Contas da Unio

MANUAL DE AUDITORIA DE DESEMPENHO

Homero Santos Presidente

MANUAL DE AUDITORIA DE DESEMPENHO

MANUAL DE AUDITORIA DE DESEMPENHO

MANUAL DE AUDITORIA DE DESEMPENHO

2. ETAPAS DA AUDITORIA DE DESEMPENHO

MANUAL DE AUDITORIA DE DESEMPENHO

ETAPAS DA AUDITORIA DE DESEMPENHO

MANUAL DE AUDITORIA DE DESEMPENHO

Fonte: BID, 199-, p. 16.

ETAPAS DA AUDITORIA DE DESEMPENHO

Fonte: ANAO, 1992, p. 58.

MANUAL DE AUDITORIA DE DESEMPENHO

ETAPAS DA AUDITORIA DE DESEMPENHO

MANUAL DE AUDITORIA DE DESEMPENHO

ETAPAS DA AUDITORIA DE DESEMPENHO

MANUAL DE AUDITORIA DE DESEMPENHO

ETAPAS DA AUDITORIA DE DESEMPENHO

MANUAL DE AUDITORIA DE DESEMPENHO

2.2.3. 2.2.4. 2.2.5. 2.2.6. 2.2.7. 2.2.8.

ETAPAS DA AUDITORIA DE DESEMPENHO

MANUAL DE AUDITORIA DE DESEMPENHO

ETAPAS DA AUDITORIA DE DESEMPENHO

MANUAL DE AUDITORIA DE DESEMPENHO

ETAPAS DA AUDITORIA DE DESEMPENHO

MANUAL DE AUDITORIA DE DESEMPENHO

Porm, esse mtodo apresenta algumas limitaes, quais sejam:

ETAPAS DA AUDITORIA DE DESEMPENHO

MANUAL DE AUDITORIA DE DESEMPENHO

Quadro 6: Principais Critrios de Escolha Empregados em Estudo de Caso

Caso Tpico Interesse especial

ETAPAS DA AUDITORIA DE DESEMPENHO

MANUAL DE AUDITORIA DE DESEMPENHO

Cross-section, na lngua inglesa. 36

ETAPAS DA AUDITORIA DE DESEMPENHO

MANUAL DE AUDITORIA DE DESEMPENHO

Quadro 8: Diagrama do Delineamento Experimental com Ps-Teste

ETAPAS DA AUDITORIA DE DESEMPENHO

MANUAL DE AUDITORIA DE DESEMPENHO

Fonte: FITZ-GIBBON & MORRIS, 1987, p. 58.

ETAPAS DA AUDITORIA DE DESEMPENHO

MANUAL DE AUDITORIA DE DESEMPENHO

ETAPAS DA AUDITORIA DE DESEMPENHO

Quadro 13: Sinopse das Estratgias Metodolgicas

entrevista; questionrio enviado pelo correio; dados secundrios; observao direta.

Pesquisa Delineamento Experimental

questionrio enviado pelo correio. teste; questionrio enviado pelo correio.

Utilizao de Dados Existentes

ETAPAS DA AUDITORIA DE DESEMPENHO

MANUAL DE AUDITORIA DE DESEMPENHO

ETAPAS DA AUDITORIA DE DESEMPENHO

MANUAL DE AUDITORIA DE DESEMPENHO

ETAPAS DA AUDITORIA DE DESEMPENHO

MANUAL DE AUDITORIA DE DESEMPENHO

ETAPAS DA AUDITORIA DE DESEMPENHO

MANUAL DE AUDITORIA DE DESEMPENHO

ETAPAS DA AUDITORIA DE DESEMPENHO

Municipal Outro [especificar] ________________

Captulo II [todo ou parte]