Avaliao, informao e responsabilizao no setor pblico

Ricardo Ceneviva
Centro Brasileiro de Anlise e Planejamento

Marta Ferreira Santos Farah

Fundao Getulio Vargas

O presente artigo discute o papel que os sistemas de avaliao de polticas pblicas e programas governamentais podem desempenhar no aperfeioamento de mecanismos de controle da gesto pblica. Procura-se vericar se a implantao de sistemas de avaliao contribui para reduzir a assimetria de informaes entre cidados e polticos e entre polticos e burocratas. So discutidos os casos do Sistema de Avaliao de Rendimento Escolar do Estado de So Paulo (Saresp) e do Sistema de Monitoramento e Avaliao (SMA) do Programa Estadual de Doenas Sexualmente Transmissveis e Aids (DST/Aids), do mesmo estado. A anlise desses casos sugere que os sistemas de avaliao podem contribuir para uma maior transparncia da gesto pblica e para a responsabilizao dos agentes pblicos pelos resultados das polticas e programas governamentais, mas que o grau com que avanos nessa direo ocorrem relaciona-se no apenas com caractersticas prprias da avaliao particularmente com as formas de apresentao e de divulgao dos dados da avaliao , mas tambm com a dinmica dos atores envolvidos na gesto da avaliao e no processo de formulao e implementao da poltica pblica considerada. P A L AV R A S - C H AV E : avaliao de polticas pblicas; informao; responsabilizao; accountability; controle social. Evaluacin, informacin y rendicin de cuentas en el sector pblico En este artculo se discute el papel que los sistemas de evaluacin de polticas pblicas y programas gubernamentales pueden desempear en la mejora de los mecanismos para el control de la administracin pblica. Tratamos de vericar como la aplicacin de los sistemas de evaluacin ayuda a reducir la asimetra de informacin entre los ciudadanos y los polticos, y entre polticos y burcratas. Se discuten los casos del Sistema de Evaluacin del Desempeo Escolar del Estado de So Paulo (Saresp) y del Sistema de Monitoreo y Evaluacin (SMA) del Programa Estatal de Enfermedades de Transmisin Sexual

Artigo recebido em 28 abr. 2011 e aceito em 29 ago. 2011.

Rev. Adm. Pblica Rio de Janeiro 46(4):993-1016, jul./ago. 2012

994

Ricardo Ceneviva Marta Ferreira Santos Farah

y Sida (ETS/Sida) del mismo estado. El anlisis de estos casos sugiere que los sistemas de evaluacin pueden contribuir a una mayor transparencia en la gestin pblica y rendicin de cuentas de los funcionarios pblicos por los resultados de las polticas y programas gubernamentales, pero el grado en que los avances se producen en este sentido se relaciona no slo con caractersticas de la evaluacin (en particular con las formas de presentacin y difusin de los datos de evaluacin), tambin con la dinmica de los actores que participan en la evaluacin y gestin en la formulacin e implementacin de polticas pblicas consideradas. PALABRAS social.
C L AV E :

evaluacin de las polticas pblicas; informacin; rendicin de cuentas; control

Evaluation, information and responsiveness in public sector The main purpose of this paper is to analyze the effects of standardized systems of policy evaluation on government transparency and ofcials accountability. More specically it discusses the impact of program evaluation and program assessment systems in the promotion of increasing levels of information transparency and the enhancement of mechanisms of accountability in the Public Sector. The exam of Saresp (Scholl Assessment System of So Paulo State) and the Monitoring and Evaluation System of Sexually Transmitted Diseases (STD) and Aids program in the same State suggests that evaluation systems have a positive impact on transparency and accountability, but that this impact is related not only to characteristics of the policy evaluation systems particularly to the pattern its data and results are presented to the public but also to the participation of stakeholders in the evaluation process and in the public policy itself. KEY
WORDS:

public policy evaluation; information; accountability; social control.

1. Introduo
A redemocratizao do Brasil em meados dos anos 1980 impulsionou a incorporao pela agenda de pesquisa das cincias sociais de questes relativas transio do regime autoritrio para a democracia e institucionalizao democrtica no pas. Nas dcadas seguintes, novos temas foram integrados agenda de pesquisa, entre os quais se destaca o relativo qualidade da democracia. Dessa tica, oresceu uma extensa e bastante heterognea literatura que pe em evidncia a relao entre a qualidade das aes do governo e os controles e incentivos a que esto submetidos os governantes e a burocracia. Guillermo ODonnell (1998) foi certamente um dos primeiros a relacionar as vicissitudes da consolidao democrtica ou, mais especicamente, o desenvolvimento de uma modalidade delegativa de democracia na Amrica Latina ao que denominou dcit de accountability dos sistemas polticos que se erigiam na regio. Seu juzo tinha como base a ob-

Tal agenda de pesquisa, compreendida sob a rubrica institucionalizao poltica, refere-se mais amplamente aos estudos sobre o autoritarismo, a transio democrtica, a democratizao e, nalmente, a governabilidade (cf. Limongi, 1999).


Rev. Adm. Pblica Rio de Janeiro 46(4):993-1016, jul./ago. 2012

Avaliao, informao e responsabilizao no setor pblico

995

servao de que o restabelecimento da competio eleitoral no era suciente para assegurar um controle satisfatrio da atuao de governantes e demais decisores polticos. Embora a accountability tenha se tornado um tpico relevante na agenda de pesquisa das cincias sociais nos ltimos anos, os trabalhos produzidos, como foi observado por Fernando Abrucio e Maria Rita Loureiro (2005:75), tm se ocupado, tradicionalmente, da matria na perspectiva do controle: o controle das aes dos governantes em relao ao programa de governo, ou em relao corrupo, ou ainda em relao preservao dos direitos dos cidados (Ferejohn, 1999; Maravall, 1999; Stokes, 1999). Alguns estudos passaram a analisar tambm a questo da responsabilizao dos agentes pblicos a partir de suas interseces com a reforma do Estado. Essas anlises procuram examinar como o aprimoramento das instituies estatais pode contemplar, ao mesmo tempo, a melhoria do desempenho das polticas e dos programas governamentais e a maior transparncia e responsabilizao dos burocratas e governantes (Przeworski, 1998; Clad, 2000; Abrucio e Loureiro, 2005). A literatura que trata dos processos de reforma do Estado, sob inuncia da chamada nova economia institucional (cf. Schneider e Doner, 2000), salienta a importncia da criao de novos mecanismos de controle das aes do poder pblico a partir de dois argumentos bsicos: a decincia do processo eleitoral como mecanismo de responsabilizao dos governantes e o papel fundamental que os instrumentos de scalizao e controle democrtico podem desempenhar na qualidade da gesto pblica. Dessa tica, duas formas de controle democrtico no eleitoral, em especial, tm sido destacadas: os mecanismos de controle social e os mecanismos de controle da administrao pblica pelos resultados das polticas e dos programas governamentais. A responsabilizao por resultados em particular, segundo essa literatura, estrutura-se basicamente por meio da avaliao ex post das polticas pblicas, ou seja, avalia-se para determinar a relevncia das polticas; a realizao dos objetivos programados e seus impactos. Nesse sentido, a avaliao de polticas e programas governamentais vista no apenas como um instrumento de gesto, mas sobretudo como um meio para aferir o desempenho das polticas e programas e para estabelecer os parmetros para a prestao de contas da burocracia e dos governantes. Como foi assinalado por Caiden e Caiden (2001:80), o monitoramento e a avaliao no foram apenas ornamentais nem tiveram uma signicao incidental nas reformas. Foram (ou deveriam ter sido) as alavancas essenciais das mudanas. A literatura referente s tendncias recentes na avaliao de programas e polticas pblicas, por sua vez, tambm inclui, entre as razes para se realizarem estudos de avaliao, o problema do desempenho e da accountability (Ospina Bozzi, 2001; Faria, 2004). Segundo Weiss (1997), no governo, esses estudos esto diretamente ligados questo da efetividade, da ecincia, da accountability e, mais amplamente, do desempenho da gesto pblica. Se, por um lado, nota-se uma convergncia entre esses dois ramos da literatura no que se refere s motivaes e aos objetivos da avaliao e seu papel como mecanismo de accountability, por outro, percebe-se uma escassez de estudos empricos acerca da relao entre avaliao de polticas pblicas, promoo de maior transparncia administrativa e responsabilizao dos agentes pblicos. Assim, embora a literatura procure aproximar os conceitos de
Rev. Adm. Pblica Rio de Janeiro 46(4):993-1016, jul./ago. 2012

996

Ricardo Ceneviva Marta Ferreira Santos Farah

avaliao e accountability, esto longe de ser claras as condies (polticas, institucionais e administrativas) que sustentam essa relao. No presente artigo, procura-se discutir o papel que estudos e pesquisas de avaliao de polticas pblicas e programas governamentais podem desempenhar na criao ou no aperfeioamento de mecanismos de accountability na gesto pblica. Mais especicamente, analisam-se as relaes entre o fortalecimento da funo e da capacidade avaliadora do governo e a promoo de nveis crescentes de difuso de informao e a criao de mecanismos de accountability. Procura-se vericar se a implantao e a institucionalizao do Sistema de Avaliao de Rendimento Escolar do Estado de So Paulo (Saresp) e do Sistema de Monitoramento e Avaliao (SMA) do Programa Estadual de Doenas Sexualmente Transmissveis e Aids (doravante DST/Aids) tm contribudo para o aperfeioamento dos mecanismos de responsabilizao dos agentes pblicos sejam governantes ou burocratas por seus atos ou omisses na conduo das polticas e dos programas governamentais. O objetivo do artigo , portanto, analisar empiricamente, a partir de uma perspectiva comparada, se (e sob quais condies) a implantao do Saresp e do Sistema de Monitoramento e Avaliao do Programa Estadual de DST/Aids tem concorrido para a promoo de nveis crescentes de transparncia e responsabilizao de representantes polticos ou burocratas incumbidos de tais programas. Busca-se investigar se a introduo desses instrumentos de avaliao tem propiciado uma maior difuso de informaes e contribudo para a adoo ou o aperfeioamento de procedimentos de prestao de contas e responsabilizao, associados ao estabelecimento de meios de controle externo na gesto dessas polticas e programas no estado de So Paulo. Procura-se examinar a abrangncia da difuso da informao gerada pela avaliao, os atores e grupos de interesse que tm acesso s avaliaes, e ainda a qualidade da informao gerada, em termos de clareza e inteligibilidade. Secundariamente, o artigo procura analisar o papel e o uso dos sistemas de avaliao no planejamento e na gesto das polticas pblicas, vericando se tais sistemas de avaliao de fato fornecem elementos e informaes para o desenho de novas intervenes ou para o aprimoramento das polticas e dos programas em curso. O artigo discute, assim, a dupla promessa da avaliao de polticas pblicas implcita no debate poltico e acadmico recente: por um lado, a de que a avaliao apoiaria a tomada de decises, subsidiando o processo de (re)formulao e implementao de polticas, para se alcanarem as metas estabelecidas e melhorar o desempenho da administrao pblica; por outro, a de que a avaliao, ao permitir mensurar desempenho e alcance de metas, promoveria a prestao de contas e a responsabilizao da burocracia e dos representantes polticos responsveis pela conduo das polticas governamentais. Diferentemente da literatura que sugere uma associao automtica entre transparncia das informaes governamentais e prestao de contas e accountability, este trabalho sugere que a transparncia relaciona-se com a prestao de contas, mas no necessariamente

O artigo se baseia em pesquisa que analisou os programas de avaliao em estudo at o ano de 2005.
Rev. Adm. Pblica Rio de Janeiro 46(4):993-1016, jul./ago. 2012

Avaliao, informao e responsabilizao no setor pblico

997

com a responsabilizao dos agentes pblicos (governantes ou burocratas). O artigo procura mostrar que a transparncia uma condio necessria, porm no suciente, para a responsabilizao das autoridades e de organizaes pblicas. O artigo destaca ainda no haver tampouco uma relao automtica entre avaliao e promoo de transparncia. A anlise dos casos selecionados sugere que a institucionalizao de sistemas permanentes de avaliao de polticas pblicas e programas governamentais pode ser um instrumento valioso na ampliao da gerao de informaes sobre a ao governamental, de transparncia, de prestao de contas do desempenho das organizaes pblicas e de responsabilizao de seus agentes. Os resultados indicam, porm, que o xito da avaliao de polticas pblicas como um mecanismo de controle democrtico passa, necessariamente, por duas condies: a difuso e a transparncia das informaes geradas com base nas avaliaes e a incorporao de regras e procedimentos de scalizao via participao social.

2. Metodologia
Neste artigo, so analisadas de maneira comparada as contribuies que a implementao e a posterior institucionalizao do Saresp e do SMA do programa de DST/Aids tm trazido para o incremento da transparncia administrativa e para o estabelecimento ou a ampliao de mecanismos de responsabilizao dos agentes pblicos (sejam eles burocratas ou representantes polticos) incumbidos da poltica de educao fundamental e do programa de DST/Aids no estado de So Paulo. Como se argumentou anteriormente, a literatura que sugere uma relao direta entre a implantao de sistemas de avaliao de polticas pblicas e o aumento da transparncia e da responsabilizao dos agentes pblicos (Banco Mundial, 1997; OECD, 1998; Bresser-Pereira, 1998) de cunho normativo e no se vale de estudos empricos ou pesquisas sistemticas que demonstrem, ou mesmo que descrevam, quais so, com efeito, as condies e as variveis sobre as quais se apoia essa (suposta) relao entre avaliao e accountability. Diante da escassez de trabalhos que tratem do tema a partir de uma abordagem emprica, a investigao em que se baseia o presente artigo teve um carter exploratrio, tendo como objetivo o desenvolvimento de hipteses e proposies a respeito da relao entre avaliao e accountability. Esse foi o principal motivo que fundamentou a seleo do estudo de caso como estratgia de pesquisa. Para uma anlise exploratria de determinado fenmeno social e de seu contexto, os estudos de casos aguram-se como a estratgia mais apropriada (cf. Yin, 2005; Shavelson e Townes, 2002). Outro aspecto metodolgico relevante a se destacar consiste no fato de tanto o Saresp como o SMA do programa de DST/Aids serem analisados no mbito deste trabalho como polticas pblicas em si e no apenas como uma etapa do ciclo de polticas pblicas (do policy cycle). Em geral, a avaliao tratada como a ltima etapa do ciclo de polticas pblicas, destinada a estimar os resultados da poltica ou programa, aps a implementao. Neste artigo, a implantao dos sistemas de avaliao de polticas examinada como uma poltica
Rev. Adm. Pblica Rio de Janeiro 46(4):993-1016, jul./ago. 2012

998

Ricardo Ceneviva Marta Ferreira Santos Farah

pblica per se, cuja anlise, portanto, deve incorporar todos os elementos de investigao de uma poltica. Optou-se por essa abordagem por se entender que tanto a implementao do Saresp como a do SMA seguiram as etapas de qualquer poltica ou programa governamental a de introduo da questo na agenda poltica, a de formulao da poltica ou do programa e a de implementao. O esforo fundamental que guiou a coleta e posterior anlise dos dados foi justamente a tentativa de reconstruo dessa trajetria das polticas de avaliao, bem como das estratgias dos vrios atores interessados durante esse percurso e, nalmente, do resultado desse processo, isto , dos sistemas de avaliao de fato implementados. Ainda no que se refere denio dos casos a serem estudados, optou-se deliberadamente pela seleo de dois casos extremos. Assim, a escolha do Saresp e do SMA do programa de DST/Aids no se deu em bases aleatrias ou de tipicidade, mas, ao contrrio, fez-se com base em interesses tericos nos casos que, por se tratarem de casos limites, poderiam contribuir melhor para o desenvolvimento da hiptese do trabalho. A hiptese aqui defendida de que a ampliao da transparncia administrativa e a responsabilizao dos agentes pblicos governantes ou burocratas relacionam-se com: (i) caractersticas prprias da avaliao, sobretudo com as formas de apresentao e divulgao dos dados e dos resultados das avaliaes, mas dependem tambm (ii) da atuao dos atores interessados em sua gesto e nas polticas pblicas a que se referem os sistemas de avaliao. Com base nessa hiptese foram selecionados casos que atendessem as seguintes condies: 1. Sistemas de avaliao de polticas ou programas pblicos permanentes e institucionalizados. Assim, excluram-se estudos e pesquisas de avaliao conduzidos pouco frequentemente ou sem periodicidade regular. 2. Sistemas de avaliao que fossem, metodologicamente, semelhantes um ao outro, principalmente no que concerne ao objeto da avaliao (avaliao de resultados), ao agente avaliador (avaliao externa) e ao uso da avaliao (avaliao formativa3) (Chen, 1996; Cohen e Franco, 1992). Os dois casos avaliados adequam-se s condies enunciadas. Trata-se de avaliaes de resultados, conduzidas ou supervisionadas, parcialmente pelo menos, por agentes externos e que se prestam explicitamente, embora no exclusivamente, ao uso formativo. 3. A poltica ou programa avaliado deveria, necessariamente, gozar de um carter suprapartidrio, no sentido de no se constituir como uma bandeira eleitoral de nenhum partido ou grupo poltico, mas dispor de status de poltica de Estado, isto , ser estvel e consolidada.

A avaliao formativa tem por objetivo principal fornecer informao aos responsveis pela poltica ou programa, visando seu aprimoramento. Diferencia-se da avaliao somativa que se prope a fornecer aos responsveis pelo programa e a usurios e cidados informaes que subsidiem o julgamento do valor ou mrito do programa, dando elementos para decises relativas sua continuidade (Scriven, 1967).
3

Rev. Adm. Pblica Rio de Janeiro 46(4):993-1016, jul./ago. 2012

Avaliao, informao e responsabilizao no setor pblico

999

Por essa razo, privilegiaram-se polticas sociais no focalizadas, isto , universais, pois assim minoram-se os conitos advindos do uso e da manipulao das avaliaes para ns eleitorais. 4. Finalmente, deu-se preferncia a polticas ou programas governamentais que partilhassem de elementos comuns em seus arranjos institucionais. Assim, ambos os casos so de responsabilidade do governo estadual de So Paulo e nos dois casos intervm conselhos estaduais de sade e educao, respectivamente como rgos consultivos e de controle. Contudo, necessrio notar que os modelos de nanciamento, as relaes entre as diferentes esferas de governo e, principalmente, a atuao dos atores interessados nas polticas so bastante contrastantes e, como se comentar adiante, parecem exercer um papel decisivo nos efeitos das avaliaes em termos de visibilidade das informaes e na responsabilizao dos agentes governamentais. Os casos do Saresp e do SMA do programa de DST/Aids foram, enm, selecionados, pois, durante a etapa inicial da pesquisa, uma anlise preliminar dos casos sugeriu que esses programas no apenas atendiam aos critrios apresentados anteriormente, mas se caracterizavam como casos extremos no que se refere s informaes divulgadas e ao envolvimento dos atores interessados nestas polticas pblicas, aspectos que, segundo a hiptese norteadora da pesquisa, teriam consequncias relevantes no que tange ao aumento da transparncia administrativa e responsabilizao dos agentes pblicos ligados gesto das polticas avaliadas. Seguindo a tradio do campo de estudo de polticas pblicas, considerou-se, em primeiro lugar, o exame das propostas os objetivos explicitamente assinalados dos sistemas de avaliao para, em seguida, tratar-se das medidas efetivamente implementadas; isto , do funcionamento real dos sistemas de avaliao. Para tanto, optou-se por trabalhar com dois conjuntos de elementos que se guram capitais para a anlise de sistemas de avaliao, a saber: atores e instituies. Os aspectos centrais que dizem respeito anlise dos atores interessados nas polticas de educao bsica e DST/Aids so aqueles relacionados apropriao e ao uso das informaes geradas com base nas avaliaes e o uso dado a essas informaes pelos diferentes atores envolvidos e sua inuncia sobre a forma como as informaes so organizadas e divulgadas. Como destacado pela literatura, informaes referentes ao desempenho das agncias e dos rgos governamentais podem constituir-se em recursos poderosos para o estabelecimento de procedimentos de cobrana, prestao de contas e responsabilizao de governantes e burocratas.

Evidentemente, estes resultados s puderam se conrmar com o seguimento da pesquisa. Contudo, ainda na fase de elaborao do projeto de pesquisa, uma anlise preliminar dos casos j parecia apontar indcios fortes de que os casos em questo Saresp e SMA do programa de DST/Aids apresentariam resultados bastantes distintos.  A esse respeito ver, entre outros, Przeworski (1998) e Przeworski et al. (1999).


Rev. Adm. Pblica Rio de Janeiro 46(4):993-1016, jul./ago. 2012

1000

Ricardo Ceneviva Marta Ferreira Santos Farah

Quanto s instituies, tanto formais quanto informais, deu-se relevo s diferenas no desenho das polticas de avaliao por se entender que esse constitui um fator que afeta o acesso s informaes por grupos especcos, tais como usurios, representantes polticos ou burocratas. Uma rpida reviso dos trabalhos a respeito do tema revela que a accountability um conceito cujos contornos so bastante imprecisos; no entanto, h certo consenso de que se refere, basicamente, ao controle e responsabilizao dos agentes pblicos (cf. Mainwaring; Welma, 2003). Adota-se neste artigo uma noo de accountability bastante abrangente, que compreende os mecanismos de controle e scalizao do poder pblico, sejam eles institucionais ou no institucionais. Porm, diferentemente da literatura que associa de modo automtico transparncia das informaes governamentais prestao de contas e accountability, no mbito deste trabalho, entende-se que o acesso informao uma condio necessria, porm no suciente, para a responsabilizao das autoridades e das organizaes pblicas. A responsabilizao d-se apenas mediante a incorporao de normas, regras e mecanismos aptos a punir os agentes pblicos. Mais precisamente, a transparncia governamental uma condio sine qua non para o funcionamento dos mecanismos de responsabilizao, j que, de fato, esses mecanismos de controle e scalizao so fortemente condicionados pela transparncia e pela visibilidade das aes do poder pblico. Noberto Bobbio, no por acaso, dene o regime democrtico como o governo do visvel, no qual nada deve permanecer escondido, pois no se pode controlar aquilo que no se conhece ou se mantm escondido. Em suas palavras, Como o governo poderia ser controlado se se mantivesse escondido? (Bobbio, 1992:87, apud Abrucio e Loureiro, 2005:84). Contudo, embora se agure como uma condio necessria, a transparncia dos atos pblicos no , por si s, suciente para assegurar a responsabilizao dos governantes e dos burocratas por seus atos e omisses no exerccio do poder pblico. Para tanto, necessrio haver, como se destacou anteriormente, mecanismos capazes de imputar sanes aos ocupantes de cargos pblicos, mesmo que indiretamente, por meio do Poder Judicirio. Com base na discusso precedente, optou-se no presente artigo por uma operacionalizao da accountability em duas dimenses distintas e complementares, a saber: (i) transparncia dos atos governamentais ou, nos casos analisados, a difuso da informao gerada com base nas avaliaes e (ii) ativao de mecanismos de responsabilizao poltica dos agentes pblicos. Com base nessa operacionalizao bidimensional do conceito de accountability, o estudo procurou vericar a divulgao e a visibilidade que as informaes procedentes dos sistemas de avaliao tm alcanado, bem como observar os grupos ou atores que tm se apropriado de tais informaes e investigar o impacto dessa apropriao sobre o curso de ao desses grupos ou atores. Por outro lado, procura-se examinar a efetivao e o aprimoramento dos mecanismos de prestao de contas e responsabilizao dos agentes pblicos que respondem pela poltica de educao bsica de So Paulo e pelo programa de DST/Aids do estado.

Rev. Adm. Pblica Rio de Janeiro 46(4):993-1016, jul./ago. 2012

Avaliao, informao e responsabilizao no setor pblico

1001

Emprega-se aqui uma perspectiva orientada pela teoria do agente-principal para anlise das relaes entre polticos, burocratas e cidados ou usurios. Com base na investigao de Przeworski (1998) e Przeworski e colaboradores (1999), entre outros, argumenta-se que a difuso de informaes decorrentes da avaliao de polticas e programas pblicos pode se constituir num importante mecanismo para minorar o problema da assimetria de informaes que permeia a relao de polticos e burocratas ou a de cidados e polticos. Contudo, a literatura analisada aparentemente no dedicou muita ateno a dois outros tipos de relaes que se percebem na gesto pblica, especialmente na gesto das polticas sociais em pases federativos, e que se mostraram de grande relevncia nos casos da poltica de educao bsica e do programa de DST/Aids do estado de So Paulo. Trata-se das relaes entre os cidados ou usurios desses servios e os burocratas responsveis por sua gesto e das relaes entre diferentes nveis da burocracia ou entre burocratas de diferentes esferas de governo. Enm, neste artigo procura-se examinar no apenas como as relaes entre cidados e polticos ou burocratas e polticos foram modicadas pela introduo dos sistemas de avaliao, mas tambm como o estabelecimento desses sistemas alterou as relaes entre os cidados e a burocracia responsvel pelas polticas avaliadas e a relao entre os diferentes nveis da burocracia ou entre burocratas de diferentes esferas governamentais envolvidos na poltica de educao bsica e no programa de DST/Aids no estado de So Paulo.

3. Caractersticas principais dos programas de avaliao analisados

Tanto o Saresp como o SMA foram concebidos com a nalidade de subsidiar o aprimoramento das polticas governamentais em curso, ou seja, so avaliaes essencialmente formativas. Como as avaliaes foram concebidas e postas em prtica com o propsito bsico de auxiliar a equipe do programa em sua tarefa de aprimor-lo e fortalec-lo, o pblico original dessas avaliaes so as prprias equipes da Secretaria de Educao e da Secretaria de Sade responsveis pela gesto das polticas de educao bsica e do programa de Aids e outras DST do estado de So Paulo. No quadro a seguir so sintetizadas as principais caractersticas de ambos os programas de avaliao.

Sobre este tpico consultar Manin et al. (1999) ou Przeworski at al. (1999). Apesar de a presente anlise focalizar autores que se baseiam na perspectiva principal-agente, tampouco outros autores que adotam diferentes abordagens tericas parecem dar destaque s formas de controle e scalizao que permeiam as relaes entre cidados e burocratas ou entre os diferentes nveis e esferas burocrticas. Talvez uma exceo digna de nota seja Michael Barzelay (2001).
 

Rev. Adm. Pblica Rio de Janeiro 46(4):993-1016, jul./ago. 2012

1002

Ricardo Ceneviva Marta Ferreira Santos Farah

Quadro

Caractersticas dos programas de avaliao analisados: Saresp SMA (DST/Aids)

Saresp Objetivo formativo: determinar qualidade e informar autoridades (SEE), educadores, pais de alunos e a sociedade em geral nico, de acesso restrito e difcil compreenso avaliao de diagnstico: mapear pontos fortes e fracos autoridades (SEE) e educadores (escolas) externa/interna gera informaes a respeito da qualidade da educao no estado para que a equipe da SEE possa melhor-la contexto e resultados diagnstico e tomada de deciso formais anual censitria O que funciona? O que precisa ser melhorado? Como pode ser melhorado? SMA DST/Aids formativo: determinar alinhamento com as metas nacionais; execuo de recursos e cumprimento de aes e metas programadas amplamente divulgado, didtico, de fcil leitura e compreenso realimentar o planejamento de metas e tomar decises sobre a descentralizao programas municipais, estaduais e nacional interna/externa gera informaes a respeito do cumprimento de metas e aes programadas e execuo financeira para monitoramento do MS recursos e resultados tomada de deciso formais semestral/anual censitria Quais as metas alcanadas e os resulatdos atingidos? Quanto custou?

Relatrio de divulgao Uso Pblico Quem faz/Quem avalia Principais caractersticas

Foco Objetivo da coleta de dados Medidas Frequncia da coleta de dados Tamanho da amostra Perguntas feitas
Fonte: Elaborado pelos autores.

Uma diferena relevante entre os sistemas de avaliao diz respeito forma de divulgao dos resultados. Os relatrios de apresentao de resultados e dados do programa de DST/Aids destacam-se pela ampla e quase irrestrita divulgao: podem, em geral, ser acessados pela internet e so bastante didticos, de leitura fcil e compreensveis a todos aqueles familiarizados com o vocabulrio da rea, o que facilita a apropriao das informaes e seu uso no apenas por gestores pblicos, mas tambm pelas OSC (Organizaes da Sociedade Civil) interessadas na gesto do programa. O relatrio geral do Saresp, por sua vez o nico a que os pais de alunos e a sociedade em geral tm acesso , limita-se a descrever os dados includos nos quadros, grcos ou tabelas com escassas ou nenhuma anlise e interpretao, o que diculta a apropriao desses dados pelas famlias dos alunos ou pelo cidado comum e seu uso para a cobrana das equipes escolares.

Na ocasio de realizao da pesquisa. Posteriormente, o Saresp sofreu alteraes substantivas quanto forma de divulgao dos resultados.


Rev. Adm. Pblica Rio de Janeiro 46(4):993-1016, jul./ago. 2012

Avaliao, informao e responsabilizao no setor pblico

1003

Um segundo ponto a ser considerado diz respeito ao agente avaliador, isto , a quem avalia. No caso do programa de DST/Aids, a presena de um agente externo se deu sobretudo na construo da metodologia de monitoramento e avaliao. O Banco Mundial, que apoia nanceiramente o programa de DST/Aids, exerceu um papel decisivo na incluso da avaliao como um dos elementos centrais do prprio programa. A participao do Banco continua a se fazer sentir por meio de uma avaliao externa do conjunto do programa de DST/Aids, o que inclui uma avaliao da avaliao. No entanto, a avaliao contnua do programa predominantemente interna, conduzida pela prpria equipe do programa. O SMA hoje coordenado pela Assessoria Tcnica de Monitoramento e Avaliao, rgo da coordenao do Programa Nacional (do Ministrio da Sade), responsvel por sua formulao e implementao, pelo treinamento da rede de avaliadores dos programas subnacionais, pela consolidao dos dados dos programas subnacionais e pela publicao dos relatrios. No Saresp, a avaliao externa. Anualmente, realizada uma licitao e contratada uma consultoria externa responsvel pela formulao das provas, pela correo dos testes de contedo (a redao e as perguntas dissertativas so corrigidas pelos prprios professores) e pela elaborao dos relatrios nais. Quanto ao foco dos sistemas de avaliao, ambos procuram aferir resultados. Contudo, enquanto o Saresp avalia o rendimento dos alunos e o contexto das escolas, isto , as caractersticas socioeconmicas do corpo discente e de suas famlias e os aspectos de gesto escolar que inuenciam este rendimento, o SMA do programa de DST/Aids avalia resultados e recursos (disponibilizados e executados) dos programas. No que se refere ao uso das informaes obtidas pelas avaliaes, tanto o Saresp como o SMA do Programa de DST/Aids adotam um enfoque centrado no uso da informao para o aprimoramento do programa (avaliao formativa). O Saresp reveste-se de um aspecto de avaliao de diagnstico que procura mapear os pontos fortes e fracos da educao no estado e, dessa forma, subsidiar a tomada de decises da Secretaria de Educao e de seus rgos centrais. J o SMA orientado para a identicao do cumprimento de metas e aes por parte dos programas locais e est inextricavelmente ligado descentralizao do programa de DST/Aids no Brasil e necessidade de aprimorar a capacidade de gesto e planejamento dos programas subnacionais, como ser discutido adiante. Discute-se, a seguir, como a adoo dos sistemas de avaliao afetou a transparncia e o controle da gesto do Programa Estadual de DST/Aids e da poltica de educao bsica do estado de So Paulo.

4. SMA do programa de DST/Aids do estado de So Paulo 4.1 Descentralizao e articulao entre atores
A Portaria no 2.313 de dezembro de 2002, publicada pelo Ministrio da Sade, traz o marco legal e administrativo que guiou o processo de descentralizao e desconcentrao do ProRev. Adm. Pblica Rio de Janeiro 46(4):993-1016, jul./ago. 2012

1004

Ricardo Ceneviva Marta Ferreira Santos Farah

grama Nacional de DST/Aids, a chamada Poltica de Incentivo para estados e municpios. As duas principais alteraes trazidas pela portaria foram a adequao do nanciamento dos programas municipais e estaduais ao procedimento padro do Sistema nico de Sade (SUS), o nanciamento fundo a fundo e a normatizao dos instrumentos de planejamento e programao de metas dos programas subnacionais por meio dos Planos de Aes e Metas (PAM). O nanciamento fundo a fundo estabelece repasses do Fundo Nacional de Sade (FNS) para uma conta especca do Programa Estadual (ou municipal) de DST/Aids dentro do Fundo Estadual (ou municipal) de Sade. Essa medida fortaleceu poltica e administrativamente os coordenadores do programa estadual, conferindo-lhes maior autonomia de gesto operacional dos programas dentro da estrutura da Secretaria de Sade (do estado ou municpio). A padronizao dos instrumentos de planejamento e programao de aes e metas visava aperfeioar os processos de gesto das polticas pblicas para HIV/Aids e outras DST e permitir o monitoramento e o acompanhamento sistematizados das aes de enfrentamento da epidemia nas trs instncias de governo. Essa nova metodologia de planejamento para as aes locais de combate Aids e s DST no apenas procurou aprimorar a gesto dos programas subnacionais e capacitar os gestores locais em planejamento focalizado em metas, mas tambm contribuiu para uma maior aproximao das Organizaes da Sociedade Civil (OSC) com as burocracias das Secretarias de Sade. A Portaria no 2.313 que instituiu os PAM traz uma diretriz que instrui os coordenadores dos programas locais a promoverem a participao das OSC no processo de planejamento anual e no estabelecimento de metas e aes para o programa, principalmente no que diz respeito aplicao de recursos para os projetos desenvolvidos em parceria com as OSC. Outra mudana institucional que afetou sobremaneira a relao entre as OSC e a burocracia do Programa Estadual foi a transferncia para a esfera estadual da responsabilidade pela seleo, pelo acompanhamento e pela avaliao dos projetos das OSC. De acordo com o modelo de nanciamento anterior, essa atribuio cabia ao Programa Nacional, o que muitas vezes gerava conitos entre os coordenadores locais e as OSC, pois, embora a atuao dessas organizaes fosse, via de regra, local, seus projetos eram nanciados e avaliados pela Coordenao Nacional, sendo esta tambm, por conseguinte, a esfera de governo qual elas prestavam contas do andamento de seus projetos e qual respondiam. Nesse sentido, a Portaria no 2.313 contribuiu para a aproximao entre as OSC e os programas subnacionais, sobretudo os programas estaduais. Assim, a descentralizao dos processos de seleo, do nanciamento e da avaliao dos projetos de parceria gerou um maior envolvimento das OSC na gesto que se traduziu tambm em maior scalizao e dos programas locais. A descentralizao do programa de HIV/Aids e outras DST d-se, ento, por meio da transferncia de poder de deciso aos gestores municipais e estaduais sobre trs reas bsicas

Vale relembrar que a Portaria no 2.313 que institui a Poltica de Incentivos estabelece que 10% do total de recursos repassados unidade federada devem ser destinados para o desenvolvimento de projetos em parceria das Secretarias Estaduais de Sade (SES) com as Organizaes da Sociedade Civil (OSC).


Rev. Adm. Pblica Rio de Janeiro 46(4):993-1016, jul./ago. 2012

Avaliao, informao e responsabilizao no setor pblico

1005

de gesto dos programas, a saber: seleo e avaliao de projetos das OSC; planejamento, programao e monitoramento das metas e prioridades dos programas; e, por m, gerenciamento dos recursos e controle dos gastos. A criao do SMA precisa ser entendida, portanto, nesse contexto, de descentralizao das responsabilidades e aes de enfrentamento da epidemia e da adequao do programa ao modelo institucional do SUS. Conforme explicitamente assinalado em seu documento de implantao, o SMA do programa de DST/Aids atende a trs objetivos bsicos: (i) gerar subsdios retroalimentao do processo de programao dos PAM e tomada de decises pelos gestores de sade federal, estaduais e municipais; (ii) acompanhar o cumprimento das pactuaes realizadas nas Comisses Intergestores Bipartites (CIB) como requisito para a qualicao de estados e municpios Poltica de Incentivo; e (iii) garantir a transparncia no uso dos recursos nanceiros e de vericao da capacidade de gasto dos gestores de sade, sempre associada qualidade da resposta local para o enfrentamento da epidemia (Ministrio da Sade, 2002). Para tanto, o SMA acompanha a evoluo de cinco eixos principais dos programas (nacional e locais): (1) metas programadas (PAM); (2) indicadores e ndice composto de DST; (3) cumprimento dos acordos para tornar disponveis insumos estratgicos (medicamentos para outras DST e Infeces Oportunistas e preservativos); (4) execuo dos recursos nanceiros (o que inclui o monitoramento dos recursos da Poltica de Incentivo repassados s organizaes da sociedade civil); e, nalmente, (5) acompanhamento dos projetos de parcerias com organizaes da sociedade civil.

4.2 SMA do programa de DST/Aids, transparncia e accountability

A instituio do SMA do programa de DST/Aids possibilitou s autoridades polticas da Secretaria de Sade um controle mais efetivo da burocracia responsvel pela gesto do programa de DST/Aids. Como observado, a implantao da Poltica de Incentivo e, particularmente, a introduo do nanciamento fundo a fundo fortaleceram os coordenadores do programa estadual, conferindo-lhes maior autonomia de gesto; por outro lado, a obrigatoriedade de apresentao dos resultados alcanados no ano ao Conselho Estadual de Sade (CES), onde so comparados com as aes e metas programadas no PAM, criou um mecanismo de controle dos resultados do programa. Percebem-se aqui duas das principais diretrizes que orientaram a reforma do Estado: a ampliao da exibilidade gerencial da burocracia e a criao de mecanismos de controle do desempenho da burocracia. Se essa questo for analisada a partir de uma perspectiva da teoria do agente-principal em que o representante poltico o secretrio da Sade, sobretudo assume o papel de principal e a burocracia do Programa Estadual, o de seus agentes, nota-se que a implantao do SMA reduziu signicativamente a assimetria de informaes que limitava um controle mais efetivo da burocracia. Nesse sentido, a instituio do SMA estabeleceu um mecanismo de responsabilizao da burocracia pelos resultados do programa de DST/Aids. No apenas porque as informaes obtidas por meio das avaliaes possibilitam ao secretrio da Sade
Rev. Adm. Pblica Rio de Janeiro 46(4):993-1016, jul./ago. 2012

1006

Ricardo Ceneviva Marta Ferreira Santos Farah

o principal cobrar a burocracia seus agentes por seu desempenho perante o programa, mas tambm porque o arranjo institucional no qual se insere o programa de DST/Aids o SUS por meio de seus conselhos gestores e comisses intergovernamentais e a atuao das OSC e demais associaes de usurios do programa constrangem a burocracia a prestar contas de seus resultados periodicamente ao rgo de controle e participao social, o CES. Adicionalmente, o SMA tambm se revelou uma ferramenta de controle bastante valiosa coordenao do Programa Nacional a burocracia do Ministrio da Sade , permitindo-lhe scalizar e monitorar o desempenho das burocracias dos programas subnacionais, sobretudo aps a descentralizao e a desconcentrao do programa de DST/Aids promovidas pela Poltica de Incentivo. Outro ponto que merece considerao refere-se s relaes entre cidados e polticos e entre cidados e burocratas. Ou, mais especicamente, refere-se relao entre as OSC e associaes de pessoas portadoras de HIV/Aids e os agentes pblicos responsveis pela gesto do programa, sejam eles autoridades polticas ou burocratas. Grande parte dos relatrios e dos dados do SMA est disponvel pela internet a qualquer cidado que quiser consult-los. No stio do Programa Nacional, por exemplo, podem ser encontrados balanos do Plano de Aes e Metas para todos os anos, com informaes sobre os resultados (programados e atingidos) nos cinco eixos principais do programa. Alm de integrar as informaes globais do Programa Nacional, o SMA permite tambm o acompanhamento em nvel local (dos municpios e estados), possibilitando s OSC ou s associaes de pessoas vivendo com HIV/Aids cadastradas no programa a emisso de relatrios com o resumo das estimativas dos indicadores tanto para o Programa Nacional como tambm para os programas subnacionais. Nota-se assim que a instituio do SMA do Programa Estadual de DST/Aids possibilitou s OSC e s associaes de usurios fazer um acompanhamento sistemtico do desempenho das burocracias encarregadas da conduo da poltica de Aids e outras DST no estado. Finalmente, cabe destacar que a implantao do SMA, aliada introduo da Poltica de Incentivo, trouxe uma mudana qualitativa no tipo de controle social posto em prtica pelas OSC e pelas associaes de pessoas vivendo com HIV/Aids. Antes da adoo dessas duas medidas, vericava-se um controle social ad hoc, isto , o controle social caracterizava-se pelo ativismo poltico de grupos organizados em funo de questes especcas e pontuais da poltica de Aids em So Paulo e no Brasil e, mais importante, a scalizao dava-se ao largo das instituies de representao e controle social, os CES. A vocalizao das demandas das OSC era exercida diretamente sobre as autoridades polticas e as burocracias das secretarias estaduais de Sade e do Ministrio da Sade. Aps a implantao da Poltica de Incentivo e do SMA, o percurso para a elaborao e aprovao dos PAM exige que, depois de elaborados, eles sejam apresentados e submetidos aos conselhos (estaduais ou municipais) de sade, onde tambm devem ser discutidos e aprovados, para, ento, serem submetidos coordenao nacional do programa que, nalmente, o sanciona. Esse uxo de aprovao trouxe a atuao das OSC para dentro das arenas institucionalizadas de controle e participao, os conselhos de sade dos estados e municpios.
Rev. Adm. Pblica Rio de Janeiro 46(4):993-1016, jul./ago. 2012

Avaliao, informao e responsabilizao no setor pblico

1007

A partir da instituio dessas duas medidas, as OSC e demais associaes de usurios do Programa passaram a participar ativamente das reunies do CES, pois perceberam que esse havia se tornado uma instncia decisiva para a gesto e, principalmente, para a scalizao do programa. Ademais, a obrigatoriedade de apresentao das informaes do SMA referentes aos resultados alcanados no ano aos conselhos (nacional, estaduais e municipais) de sade, onde so cotejados com as aes e metas programadas, criou um mecanismo de controle dos resultados do programa. Ou seja, o arranjo institucional no qual se insere o SMA, assim como a atuao dos atores interessados na poltica de combate Aids no Brasil tm contribudo para constranger a burocracia da Secretaria Estadual de Sade (SES) e, mais especicamente, a coordenao do Programa Estadual de DST/Aids a manterem-se responsivas s demandas e s cobranas da sociedade civil organizada. Com relao responsabilizao das autoridades polticas, importante salientar que esta institucionalizao do controle social passou a assegurar um controle mais efetivo de aes das autoridades da rea de sade com relao poltica de combate Aids e a outras DST no estado de So Paulo. No modelo anterior, o controle e a participao social, embora muito presentes, no pareciam garantir a responsabilizao das autoridades polticas por suas aes ou omisses, j que o ativismo poltico e o controle ad hoc tm uma capacidade de sano (legal ou simblica) bastante limitada. O CES, por outro lado, uma instncia explicitamente concebida para controlar a atuao das autoridades polticas (e burocratas) e, mesmo no dispondo do poder de punir diretamente os agentes pblicos, o Decreto federal no 1.615/95 que trata do Sistema Nacional de Auditoria (SNA) faculta-lhe o acionamento de rgos federais ou estaduais de auditoria (p. ex., Tribunais de Contas) e, mais importante, possibilita-lhe tambm o recurso ao Ministrio Pblico. Ambos os Tribunais de Contas ou o Ministrio Pblico podem atuar, nesse caso, como agentes de sano dos Conselhos de Sade. Assim, as mudanas institucionais trazidas pela Poltica de Incentivo e pela implantao do SMA promoveram uma ruptura na forma em que se dava o controle social. Se antes se vericava um controle social ad hoc marcado pelo ativismo poltico das OSC pautado por questes pontuais e especcas da poltica de combate Aids e s DST, a partir da introduo das medidas acima destacadas testemunhou-se uma institucionalizao do controle social. As OSC passaram a atuar ativamente dentro do CES scalizando no apenas matrias e assuntos mais especcos e urgentes, como a distribuio de medicamentos e preservativos, mas tambm todo o processo de programao e execuo dos planos anuais.10 A implantao do SMA aliada descentralizao promovida pela Poltica de Incentivo parece ter contribudo para proporcionar uma ampliao da responsabilizao dos agentes pblicos representan-

Vale observar que a institucionalizao do controle social, que traz a atuao das OSC para dentro dos Conselhos de Sade, no signicou, em absoluto, um abandono do ativismo poltico das ONGs e de sua estratgia de mobilizao e presso junto s burocracias das Secretarias de Sade ou do Ministrio da Sade, mas, ao contrrio, visto pelas prprias OSC e associaes de usurios apenas como mais um mecanismo muito importante, com certeza de scalizao da burocracia e dos decisores polticos.
10

Rev. Adm. Pblica Rio de Janeiro 46(4):993-1016, jul./ago. 2012

1008

Ricardo Ceneviva Marta Ferreira Santos Farah

tes polticos ou burocratas por suas aes ou omisses relativas conduo da poltica de combate Aids no estado de So Paulo. Em relao ao objetivo secundrio deste artigo vericar se os sistemas de avaliao esto fornecendo elementos e informaes para o desenho de novas intervenes ou para o aprimoramento das polticas e dos programas em curso, isto , se tm sido utilizados como uma ferramenta de gesto e planejamento das polticas , a pesquisa revelou que, para a coordenao nacional do programa de DST/Aids rgo do Ministrio de Sade , o sistema de avaliao tem se mostrado um importante instrumento para monitorar o alinhamento das metas e aes dos programas subnacionais a seu plano estratgico. Como j assinalado, a implantao do SMA do programa de Aids e outras DST est vinculada descentralizao e desconcentrao do Programa Nacional. Nesse sentido, o SMA agura-se uma ferramenta de gesto valiosa para a coordenao nacional do programa, sobretudo na medida em que lhe permite acompanhar a execuo das aes desenvolvidas localmente, seja com relao aos resultados alcanados, seja em funo da conformidade desses resultados com as prioridades estabelecidas no plano nacional. Para os programas subnacionais, por outro lado, o SMA tem sido instrumento pouco til na gesto dos programas, mas muito importante para capacitar os gestores locais em planejamento focalizado em metas e aes. Segundo se vericou, o SMA no percebido como um instrumento de gesto proveitoso pelos gestores locais. Na viso desses, o sistema de avaliao ainda no est apto a captar corretamente os processos e produtos intermedirios, crticos para o sucesso das aes e metas planejadas localmente, embora que evidente na anlise ainda que no seja admitido pelos prprios gestores locais que o SMA tem funcionado como uma ferramenta muito til para capacitar esses gestores em planejamento focalizado em metas e aes, na razo que lhes permite cotejar sistematicamente as aes e as metas planejadas com os resultados alcanados (ou no) ao longo do perodo avaliado, o que, por sua vez, no apenas explicita os pontos fortes e fracos do desempenho dos programas, mas tambm funciona como um guia para o planejamento do ano subsequente.

5. O Sistema de Avaliao de Rendimento Escolar do Estado de So Paulo (Saresp) 5.1 Avaliao da qualidade do ensino e fatores contextuais
A Secretaria Estadual de Educao (SEE) criou e implantou o Saresp em 1996. A implantao do sistema de avaliao da rede estadual insere-se num quadro mais amplo de iniciativas que visavam reestruturar o papel do Estado, principalmente em relao a suas funes e atuao. Esse movimento de reformas, no campo educativo, possui dois grandes eixos: a descentralizao da gesto da rede de ensino e a implantao de sistemas de avaliao das redes escolares (cf. Castro e Carnoy, 1997).
Rev. Adm. Pblica Rio de Janeiro 46(4):993-1016, jul./ago. 2012

Avaliao, informao e responsabilizao no setor pblico

1009

Com base na anlise do Documento de Implantao do Sistema de Avaliao de Rendimento Escolar do Estado de So Paulo (SEE, s.d.), possvel identicar dois objetivos bsicos do Saresp. Em primeiro lugar, a implantao do sistema de avaliao visa ampliar o conhecimento do perl dos alunos da rede pblica de educao e fornecer aos professores da rede descries dos padres de desempenho alcanados pelo conjunto de alunos no com o objetivo de avaliar o aluno, mas com o objetivo de identicar o que o aluno capaz de fazer nos distintos momentos de sua trajetria escolar (procincia); com a nalidade de ponderar a qualidade e a equidade do ensino ministrado e, assim, subsidiar o trabalho a ser desenvolvido em sala de aula. Em segundo lugar, o levantamento de dados realizado pelo Saresp que no se limita ao desempenho escolar busca vericar os fatores contextuais e escolares que incidem na qualidade do ensino bsico. Nesse sentido, instrumento central para o aprimoramento da gesto do sistema educacional, na medida em que identica os pontos crticos do ensino e possibilita SEE, por meio de seus rgos centrais e das Diretorias de Ensino, apoiar as escolas e educadores com recursos, servios de orientao e capacitao. Por m, o documento ordenador da implantao do sistema de avaliao inclui entre os objetivos da avaliao informar a sociedade e a comunidade educacional sobre o desempenho do sistema de ensino (SEE, s.d.:6-7). A implantao do Saresp marca, seguramente, uma ruptura na forma de controle dos estabelecimentos de ensino pela SEE. O Saresp modicou sobremaneira o controle das escolas e, particularmente, o monitoramento da atuao de seus professores e diretores , que antes era exercido sobre o processo e, a partir de ento, d-se por mecanismos de aferio do desempenho escolar. A partir da implantao do Saresp, a capacidade dos educadores de atuar de maneira pouco responsiva com relao Secretaria foi afetada pelos limites estipulados, previamente, mediante a adoo de Parmetros Curriculares e, posteriormente, por meio de avaliaes de rendimento escolar. Embora a SEE no reconhea essa funo de controle do Saresp, o advento do sistema de avaliao escolar estabelece um uxo de informaes entre a SEE, as diretorias de ensino e as unidades escolares que permite Secretaria e a seus rgos centrais identicar os pontos fortes e os pontos fracos no desempenho dos estabelecimentos de ensino do estado, o que atribui ao sistema de avaliao carter de um mecanismo de controle e monitoramento das unidades escolares, de seus professores e de suas prticas pedaggicas. Se, antes, os estabelecimentos de ensino eram monitorados mediante a observncia a priori e passo a passo de normas e procedimentos, aps a instituio do Saresp, criado um controle a posteriori do rendimento das escolas. Ou seja, enquanto no modelo prvio as escolas seus professores e diretores eram julgadas to somente por seu respeito s regras e pelo que faziam constar nos relatrios, aps a introduo do Saresp, embora continuem existindo controles administrativos, estabelecida uma nova lgica de monitoramento das escolas baseada no rendimento das unidades escolares nos testes de avaliao.

Rev. Adm. Pblica Rio de Janeiro 46(4):993-1016, jul./ago. 2012

1010

Ricardo Ceneviva Marta Ferreira Santos Farah

5.2 Redenio de mecanismos de controle internos ao sistema e limitado controle social

Quando se examina essa questo da perspectiva da teoria agente-principal, nota-se que a implantao do Saresp reduziu consideravelmente a assimetria de informaes entre o principal (autoridade poltica) e seus agentes (professores e diretores), pois dotou o principal o secretrio de Educao e seu gabinete de informaes detalhadas sobre as consequncias das aes de seus agentes os educadores , o que contribuiu para a adoo de uma scalizao mais efetiva do desempenho dos estabelecimentos de ensino da rede pblica estadual. No obstante no se tenha estabelecido um sistema de controle por resultados stricto sensu da burocracia j que as avaliaes no tm consequncias diretas para os indivduos ou instituies , as informaes dos testes de avaliao tm subsidiado a Secretaria e seus rgos centrais na tomada de deciso a respeito das polticas e programas para a educao bsica no estado de So Paulo. As relaes entre os cidados e as autoridades polticas e entre os cidados e a burocracia escolar, no entanto, parecem ter sido alteradas muito marginalmente. Como j observado, embora a partir da adoo do Saresp se estabelea um importante uxo de informaes entre as vrias instncias de ensino escolas, diretorias de ensino e a prpria SEE que possibilita a identicao dos pontos crticos da educao e a reorientao das propostas pedaggicas no estado, no se logram os mesmos sucessos com relao participao da comunidade alunos e, sobretudo, seus pais na gesto escolar. Mais especicamente, no se percebe sequer uma preocupao de dirigentes e prossionais das escolas com sua responsabilidade na prestao de contas a seus usurios mais prximos (os alunos e seus pais). As formas de divulgao dos resultados dos testes do Saresp desenvolvidas at o presente tm se mostrado claramente insucientes para informar as famlias dos alunos (e o pblico em geral) acerca do desempenho das escolas de seus lhos. Os familiares, bem como o conjunto da sociedade, no tm sido capazes de atribuir signicado aos dados apresentados pelos relatrios. Consequentemente, alunos, seus familiares ou mesmo a sociedade como um todo no tm utilizado os resultados e as informaes das avaliaes para cobrar de professores, diretores ou demais agentes do poder pblico a melhoria na qualidade do ensino no estado de So Paulo. O Relatrio Geral do Saresp, publicado pela SEE, no permite comparaes entre o rendimento de diferentes unidades escolares, entre as Diretorias de Ensino, ou mesmo entre as regies do estado de So Paulo. Segundo a metodologia de divulgao dos dados do Saresp adotada pela SEE, as escolas sejam elas da rede estadual, municipal ou privada tm acesso aos dados de seus alunos, aos dados da rede qual esto integradas e aos dados do universo das escolas avaliadas no estado. Mediante tal processo de divulgao, os estabelecimentos de ensino podem se posicionar com relao rede qual esto integrados e com relao ao universo das escolas do estado de So Paulo. De acordo com uma funcionria da FDE, rgo responsvel pela divulgao dos resultados, essa estratgia de divulgao foi uma escolha pedaggica que visava coibir a competio dentro do sistema
Rev. Adm. Pblica Rio de Janeiro 46(4):993-1016, jul./ago. 2012

Avaliao, informao e responsabilizao no setor pblico

1011

pblico de educao.11 Contudo, segundo Bitar e colaboradores (1998:19), esse procedimento objetiva tambm evitar que as escolas se sintam ameaadas pela avaliao. As famlias e a populao em geral so informadas acerca dos resultados das avaliaes escolares por meio desse mesmo Relatrio Geral distribudo a todas as escolas da rede que se limita a descrever os dados includos nos quadros, grcos ou tabelas, com escassas ou nenhuma anlise e interpretao, supondo que eles sejam autoexplicativos. O potencial do Saresp como um instrumento de ampliao do controle social sobre as escolas tem sido bastante limitado em decorrncia das formas de divulgao dos resultados das aferies. Ou seja, o dcit de responsabilizao de representantes polticos e da burocracia educacional pelos resultados das avaliaes parece, nesse caso, estar relacionado com o escasso acesso informao por parte de pais e familiares de alunos acerca dos resultados das escolas do estado. Novamente, quando se observa este ponto da perspectiva da teoria da agncia, onde os cidados desempenham o papel de principal e as autoridades polticas (e os educadores), o de seus agentes, percebe-se que a implantao do Saresp pouco contribuiu para a reduo da assimetria de informaes que d margem atuao no representativa desses agentes. Vale repetir a esse respeito o raciocnio desenvolvido nas sees iniciais deste artigo: para scalizar e controlar as aes governamentais os cidados precisam, necessariamente, ter acesso informao. O controle dos polticos e burocratas, para alm dos perodos de eleio, encontra-se, nesse sentido, fortemente vinculado visibilidade e divulgao dos atos do poder pblico. Enm, a implantao do Saresp, se observada da tica do controle democrtico, tem se mostrado, por um lado, um importante recurso das autoridades educacionais do estado no monitoramento do rendimento dos estabelecimentos de ensino, de seus diretores, professores e suas prticas pedaggicas; por outro lado, entretanto, no que se refere ao controle dos agentes pblicos governantes ou burocratas , as mudanas trazidas tm sido pouco expressivas. O escasso acesso dos cidados (pais e familiares de alunos, em especial) s informaes dos testes de avaliao no tem permitido um acompanhamento pela sociedade das informaes relativas qualidade do ensino pblico. Diferentemente do que se verica no caso do programa de DST/Aids, aqui os atores da sociedade civil alunos e seus familiares no tm sido capazes de se apropriar dos resultados das avaliaes para cobrar os agentes pblicos responsveis pela conduo das polticas e dos programas educacionais no estado. J com relao ao objetivo secundrio do artigo, pode-se armar que a implantao do Saresp, diferentemente do que foi observado para o SMA do programa de DST/Aids, para o caso de governos subnacionais, pe em prtica um importante uxo de informaes entre a SEE, as Diretorias de Ensino e as unidades escolares que passa a orientar a gesto de toda a poltica educacional do estado. Torna vivel, por exemplo, o apoio individualizado s escolas com recursos, servios e capacitao direcionados s carncias detectadas nas avaliaes. Outro ponto relevante que esse intercmbio de informaes entre escolas, Diretorias de Ensino e a Secretaria subsidia uma tomada de decises mais bem informada por parte dos

11

Entrevista concedida aos autores.

Rev. Adm. Pblica Rio de Janeiro 46(4):993-1016, jul./ago. 2012

1012

Ricardo Ceneviva Marta Ferreira Santos Farah

rgos da administrao central e, assim, agrega mais legitimidade s medidas propostas e implementadas pela Secretaria, conforme relatado pelos supervisores de ensino entrevistados. Retomando a questo bsica deste trabalho, ento, cabe notar que se o Saresp, por um lado, vem-se mostrando um instrumento efetivo de orientao das prticas pedaggicas das instncias de ensino do estado nominalmente, das escolas e das Diretorias de Ensino , por outro lado, quando observado da perspectiva do controle democrtico, seus resultados podem ser considerados bastante insatisfatrios. No obstante tenha aumentado o controle que as autoridades do estado exercem sobre a burocracia dos estabelecimentos educacionais professores e diretores, particularmente , no que concerne s relaes entre cidados e autoridades educacionais ou mesmo entre os cidados (pais de alunos especialmente) e professores ou diretores, as mudanas trazidas com a implantao deste sistema de avaliao so de pouca importncia.

6. Consideraes nais
A hiptese de trabalho aqui proposta que a responsabilizao dos agentes pblicos est diretamente relacionada no apenas com caractersticas prprias do sistema de avaliao implementado, como as formas de apresentao e de divulgao dos dados das avaliaes, mas tambm com a atuao dos atores interessados (stakeholders) mostrou-se vlida. Os resultados indicam, porm, que a atuao dos atores interessados , em grande parte, ainda que no exclusivamente, uma funo da incorporao de regras e procedimentos de scalizao via participao social. Esses parecem ser os fatores preponderantes a constranger os agentes pblicos tanto a prestar contas de suas aes como tambm a se responsabilizarem por essas aes (ou omisses) na conduo das polticas e dos programas avaliados. No Programa Estadual de DST/Aids, a institucionalizao do controle social e a pluralidade de atores interessados envolvidos na gesto do programa e na formulao e implantao do SMA tm assegurado no somente a publicizao dos relatrios e dos dados gerados a partir do Sistema de Monitoramento e Avaliao do Programa, mas tambm a responsabilizao dos gestores do programa por seus resultados. J no caso do Saresp, que foi concebido e implantado de maneira bastante insulada pela burocracia da SEE, no se verica o mesmo grau de visibilidade das aes governamentais e dos resultados dos testes de avaliao, o que tem impossibilitado o uso dessas informaes para a prestao de contas e para cobrana das equipes escolares da rede pblica de ensino bsico. A obrigatoriedade de apresentao das informaes do SMA ao CES, onde so cotejadas as aes e metas programadas, assegurou o estabelecimento de um controle dos resultados do programa de DST/Aids e serviu tambm para aumentar o controle dos agentes pblicos pelos cidados e usurios do programa. Numa palavra, a instituio do SMA em boa parte, graas ao desenho institucional no qual se insere garantiu e aperfeioou a scalizao via participao social.
Rev. Adm. Pblica Rio de Janeiro 46(4):993-1016, jul./ago. 2012

Avaliao, informao e responsabilizao no setor pblico

1013

No caso do Saresp, por outro lado, embora a implantao do sistema de avaliao represente indubitavelmente um aprimoramento no controle das equipes escolares por parte da SEE e um instrumento de reviso da poltica por parte da Secretaria de Educao do Estado, a restrio do acesso s informaes dos testes de avaliao limita o papel do Saresp a mera ferramenta gerencial muito importante, com certeza da poltica educacional paulista, sem qualquer consequncia, porm, do ponto de vista do acompanhamento pela sociedade do desempenho do sistema educacional e do engajamento da populao na cobrana da qualidade da educao bsica no estado. Numa palavra, o Saresp restringe-se a instrumento de controle gerencial. Essa diferenciao baseada na scalizao via participao social possibilita a construo de uma analogia com as categorias de controle parlamentar da administrao pblica formuladas por McCubbins e Schwartz (1984). Segundo o modelo proposto pelos autores, h duas formas bsicas de controle parlamentar. A primeira, denominada Patrulha de Polcia, similar s patrulhas de polcia genunas, ou seja, comparativamente, mais centralizada, ativa e direta. Nessa forma de controle, o Congresso, por iniciativa prpria, seleciona e scaliza aleatoriamente programas e agncias governamentais, buscando no s identicar e punir eventuais violaes legais ou administrativas, mas sobretudo desencoraj-las e coibi-las. A segunda categoria de controle parlamentar, denominada Alarmes de Incndio em analogia aos alarmes reais , comparativamente menos centralizada e no envolve tantas atividades diretas e diligncias de scalizao; ao contrrio, em vez de selecionar amostras de decises e medidas governamentais, o Congresso estabelece uma srie de regras e procedimentos que possibilita aos cidados, aos grupos de interesse e mdia scalizarem (muitas vezes, prospectivamente) a atuao do governo e das agncias pblicas, e interfere apenas quando algum alarme acionado. Ou seja, quando detectada uma eventual falha ou violao, o Congresso age para corrigi-la ou sancion-la. Ainda que o presente artigo no trate do controle parlamentar, cabe observar que, tal como no controle via Alarmes de Incndio de McCubbins e Schwartz, o controle do programa de DST/Aids apoia-se fundamentalmente na scalizao via participao social. Assim, por exemplo, embora a avaliao do programa de DST/Aids seja uma avaliao interna, pois cabe aos gestores locais consolidar e informar os dados referentes aos programas de seu estado ou municpio ao sistema, as coordenaes nacional e estadual do programa valem-se, no exclusivamente, mas em grande medida, da scalizao das OSC e das associaes de usurios do programa para assegurarem a dedignidade dos dados informados. J no caso do Saresp, tal como nas Patrulhas de Polcia, a scalizao extremamente centralizada na SEE e apoia-se largamente nas atividades diretas e na scalizao dos rgos da administrao central da Secretaria, cuja atuao fundamentalmente retrospectiva e limita-se aplicao dos mecanismos de aferio do desempenho escolar. O Saresp representa, certamente, um aperfeioamento no controle das equipes escolares; porm, quando comparado ao sistema de avaliao do programa de DST/Aids, que foi capaz de incorporar mecanismos de scalizao via participao social e aproximar os usurios das burocracias locais, mostra-se um instrumento de controle menos eciente, pois, como assiRev. Adm. Pblica Rio de Janeiro 46(4):993-1016, jul./ago. 2012

1014

Ricardo Ceneviva Marta Ferreira Santos Farah

nalado, dada a ausncia de consequncias mais fortes das avaliaes (para os indivduos ou para as instituies), no se percebe sequer uma preocupao dos professores ou dirigentes escolares com sua responsabilidade na prestao de contas a seus usurios mais prximos: os alunos e seus familiares Finalmente, vale assinalar, j a ttulo de concluso, que o xito da avaliao de polticas pblicas como um mecanismo de controle democrtico passa, necessariamente, por duas condies: a primeira a transparncia dos atos do poder pblico. Como j enfatizado, a transparncia e a visibilidade das aes governamentais so peas-chave para a accountability de maneira geral, porm sem dedignidade e clareza das informaes no h possibilidade de apropriao pelos cidados dos resultados das avaliaes de forma a poderem cobrar os agentes pblicos. A segunda refere-se incorporao de regras e procedimentos de scalizao via participao social. A formulao e a implementao desse tipo de controle no podem se dar de maneira insulada pela burocracia; ao contrrio, devem ser informadas e scalizadas pelas demandas da populao e pela sinalizao de prioridades e comprometimento dos governantes, poder-se-ia acrescentar , pois, de outro modo, a avaliao ser, quando muito, uma ferramenta muito importante, verdade de gesto da poltica ou do programa avaliado.

Referncias
ABRUCIO, Luiz F.; LOUREIRO, Maria R. Finanas pblicas, democracia e accountability. In: BIDERMAN, Ciro; ARVATE, Paulo (Org.). Economia do setor pblico no Brasil. Rio de Janeiro: Elsevier, 2005. p. 75-102. BANCO MUNDIAL. O Estado num mundo em transformao. Relatrio sobre o desenvolvimento mundial. Washington, DC: World Bank, 1997. BARZELAY, Michael. The new public management: improving research and policy dialogue. University of California Press, 2001. (Wildavsky Forum Series, 3). BITAR, Hlia A. de F. et al. O sistema de avaliao de rendimento escolar de So Paulo: implantao e continuidade. Srie Ideias, So Paulo, n. 30, p. 9-20, 1998. BOBBIO, Noberto. O futuro da democracia: uma defesa das regras do jogo. Rio de Janeiro: Paz e Terra, 1992. BRESSER-PERREIRA, Luiz C. Da administrao pblica burocrtica gerencial. In: BRESSER-PEREIRA, Luiz C.; SPINK, Peter (Org.). Reforma do Estado e administrao pblica gerencial. Rio de Janeiro: Editora Fundao Getulio Vargas, 1998. p. 237-270. CAIDEN, Gerald E.; CAIDEN, Naomi. Enfoques y lineamiento, la medicin e la evaluacin del desempeo en el sector pblico. Revista do Servio Pblico, ano 52, n. 1, p. 25-55, 2001.
Rev. Adm. Pblica Rio de Janeiro 46(4):993-1016, jul./ago. 2012

Avaliao, informao e responsabilizao no setor pblico

1015

CASTRO, Cludio de M.; CARNOY, Martin. Como anda a reforma da educao na Amrica Latina? Rio de Janeiro: Fundao Getulio Vargas, 1997. CHEN, Huey-Tsyh. A comprehensive typology for program evaluation. Evaluation Practice, v. 17, n. 2, p. 121-130, 1996. CLAD. La responsabilizacion en la nueva gestion pblica latinoamericana. Buenos Aires: Clad-BID, 2000. COHEN, Ernesto; FRANCO, Rolando. Evaluacin de proyectos sociales. Mxico: Siglo XXI, 1992. FARIA, Carlos Aurlio Pimenta de. A poltica da avaliao de polticas pblicas. In: ENCONTRO ANUAL DA ANPOCS, XXVIII, 2004, Caxambu. Anais... 2004. FEREJOHN, John. Accountability and authority: toward a theory of political accountability. In: PRZEWORSKI, Adam; STOKES, Susan C.; MANIN, Bernard (Ed.). Democracy, accountability and representation. Cambridge: Cambridge University Press, 1999. (Cambridge Studies in the Theory of Democracy). p. 131-153. LIMONGI, Fernando. Institucionalizao poltica. In: MICELI, Sergio (Org.). O que ler na cincia social brasileira. So Paulo: Anpocs/Sumar, 1999. v. 3, p. 101-156. MAINWARING, Scott; WELMA, Christopher (Ed.). Democratic accountability in Latin America. Oxford: Oxford University Press, 2003. (Oxford Studies in Democratization). MANIN, Bernard et al. Elections and representation. In: PRZEWORSKI, Adam; SOTOKES, Susan C.; MANIN, Bernard (Ed.). Democracy, accountability and representation. Cambridge: Cambridge University Press, 1999. (Cambridge Studies in the Theory of Democracy). MARAVALL, Jos M. Accountability and manipulation. In: PRZEWORSKI, Adam; STOKES, Susan C.; MANIN, Bernard (Ed.). Democracy, accountability and representation. Cambridge: Cambridge University Press, 1999. (Cambridge Studies in the Theory of Democracy). p. 154-196. MCCUBBINS, Mathew D.; SCHWARTZ, Thomas. Congressional oversight overlooked: police patrols versus re alarms. American Journal of Political Science, v. 28, n. 1, p. 165-179, 1984. Ministrio da Sade. Coordenao Nacional de DST/Aids. Sistema de Informaes dos Centros de Testagem e Aconselhamento: manual de utilizao. Braslia: Ministrio da Sade; 2002. ODONNELL, Guillermo. Accountability horizontal e as novas poliarquias. Lua Nova, So Paulo, n. 44, p. 27-54, 1998. OECD. Organization for Economic Co-operation and Development. Best Practices guidelines for evaluation. Puma Policy Brief, n. 5, 1998. OSPINA BOZZI, Sonia. Evaluacin de la gestin pblica: conceptos y aplicaciones en el caso latinoamericano. Revista do Servio Pblico, ano 52, n. 1, p. 25-54, jan./mar. 2001. PRZEWORSKI, Adam. Sobre o desenho do Estado: uma perspectiva agent x principal. In: BRESSERPEREIRA, Luiz C.; SPINK, Peter (Org.). Reforma do Estado e administrao pblica gerencial. Rio de Janeiro: Editora Fundao Getulio Vargas, 1998. p. 39-75.
Rev. Adm. Pblica Rio de Janeiro 46(4):993-1016, jul./ago. 2012

1016

Ricardo Ceneviva Marta Ferreira Santos Farah

PRZEWORSKI, Adam; STOKES, Susan C.; MANIN, Bernard (Ed.). Democracy, accountability and representation. Cambridge: Cambridge University Press, 1999. (Cambridge Studies in the Theory of Democracy). SCHNEIDER, Ben R.; DONER, Richard. The new institutional economics, business associations, and development. Brazilian Journal of Political Economy, v. 20, n. 3, p. 39-62, Jul./Sept. 2000. SCRIVEN, Michael. The methodology of evaluation. In: STAKE, Robert E. (Ed.). Curriculum evaluation. Chicago: Rand Mcnally, 1967. (American Educational Research Association Monograph Series on Evaluation, no 1, p. 39-89). SEE. Secretaria de Estado da Educao de So Paulo. Documento de implantao do Saresp. s.d. SHAVELSON, Richard; TOWNES, Lisa (Ed.). Scientic research in education. Washington, DC: National Academy Press, 2002. STOKES, Susan. What do policy switches tell us about democracy? In: PRZEWORSKI, Adam; STOKES, Susan C.; MANIN, Bernard (Ed.). Democracy, accountability and representation. Cambridge: Cambridge University Press, 1999. (Cambridge Studies in the Theory of Democracy). p. 98-130. WEISS, Carol H. How can theory-based evaluation make greater headway? Evaluation Review, v. 21, n. 4, p. 501-524, 1997. YIN, Robert K. Estudo de caso: planejamento e mtodos. Porto Alegre: Bookman, 2005.

Ricardo Ceneviva pesquisador do Centro Brasileiro de Anlise e Planejamento (Cebrap). E-mail: ceneviva@usp.br. Marta Ferreira Santos Farah coordenadora do Curso de Mestrado e Doutorado em Administrao Pblica e Governo da Escola de Administrao de Empresas da Fundao Getulio Vargas (FGV-Eaesp). E-mail: marta.farah@fgv.br.

Rev. Adm. Pblica Rio de Janeiro 46(4):993-1016, jul./ago. 2012