 AVALIAÇÃO DE POLÍTICAS,

PROGRAMAS E PROJETOS
SOCIAIS
1. O que é avaliação? Qual é a
“razão de ser da avaliação?

HISTÓRICO

1
HISTÓRICO

 Pesquisa sistemática de avaliação é uma

atividade relativamente moderna
 Aplicação coincide com o crescimento e o
refinamento de métodos e com mudanças
ideológicas, nas políticas, demográficas do
século passado
 Crescimento e consolidação das ciências
sociais nas universidades e suporte
financeiro às pesquisas
 Inicialmente em educação (redução do
analfabetismo; treinamento) e saúde
(redução da mortalidade)

2
PÓS GUERRA

 Muitos programas criados para satisfazer

necessidades de desenvolvimento urbano;
educação tecnológica; capacitação
profissional; prevenção em saúde
 Programas internacionais: planejamento
familiar; saúde e nutrição;
desenvolvimento rural
 Gastos sociais eram acompanhados de
demandas por “conhecimento dos
resultados”
3
ANOS 1930

 Sociologia: estudos sobre água

fervida para consumo; New Deal
 Psicologia: pesquisa-ação; lideranças
políticas democráticas e autoritárias
 Pesquisa social cresce durante a II
Guerra: monitoramento da moral dos
soldados, da população (EUA e
Inglaterra)

4
Final dos anos 1950
 Pesquisa de avaliação de programas era uma
ação comum e reconhecida
 Cientistas sociais envolvidos em avaliar
programas de prevenção à delinqüência juvenil;
de tratamentos psicoterapêuticos; de habitação
popular; de educação; de organização de
comunidades
 Nos EUA, na Europa, noutros países
desenvolvidos e em desenvolvimento
 Planejamento familiar na Ásia; nutrição e saúde
na América Latina; desenvolvimento rural na
África. Já incluíam componentes de avaliação

5
ANOS 1960

 Aumentou muito o número de artigos

científicos e livros sobre avaliação:
 HAYES (1959): avaliação em países em
desenvolvimento
 SUCHMAN (1967): revisão de métodos
 CAMPBELL (1969): experimentos em pesquisa
social
 Nos EUA, impulso do interesse decorrente
da “guerra contra pobreza” dos governos
Kennedy e Johnson

6
ANOS 1970
 Pesquisa de avaliação emergiu como uma área
de especialidade distinta nas ciências sociais
 Muitos livros surgiram:
 WEISS (1972): métodos
 BERNSTEIN, FREEMAN (1975): qualidade
dos métodos
 RIECKEN, BORUCH (1974): restrições na
pesquisa
 A Revista Científica Evaluation Review surge
em 1976
 Duas sociedades profissionais: Evaluation
Reseach Society e Evaluation Network
7
ANOS 1980
 “Avaliação se tornou a mais viva fronteira
para as ciências sociais” (Cronbach, 1980)
 Desenvolvimento só foi possível por causa
dos avanços nos métodos de pesquisa e na
estatística aplicados aos estudos de
problemas sociais, dos processos sociais e
das relações interpessoais
 Por outro lado, a necessidade de métodos
sofisticados para a avaliação de programas
sociais estimulou as inovações
metodológicas

8
ANOS 1980 (cont.)
 Duas grandes contribuições:
 A melhoria no processo de coleta
sistemática de dados proporcionou o
refinamento dos modelos e dos
procedimentos de amostragem e
 O desenvolvimento dos computadores
tornou possível analisar grande número de
variáveis por meio de estatísticas
multivariadas
 Esta relação próxima entre mudança
tecnológica e desenvolvimento de técnicas
em pesquisa social continua até hoje
9
ANOS 1980 (cont.)
 Mudança importante:
 no início, avaliação era área de interesse dos
pesquisadores.
 Depois passou a despertar interesse nos
tomadores de decisão política, nos
planejadores e nos administradores que
passaram a usar os resultados das pesquisas
 O público em geral passou a se interessar
 Os usuários dos programas
 Tornou-se componente político no complexo
mosaico de onde saem as decisões políticas, o
desenho e a implementação de programas

10
ANOS 1990
 “Avaliação se tornou a mais viva fronteira
para as ciências sociais” (Cronbach, 1980)
 Período de conservadorismo fiscal;
descrença nas políticas sociais
 Consenso de Washington: Estado mínimo;
crítica ao Estado do bem-estar;
privatizações
 Globalização; fim do “socialismo real”
 Tudo isso somente fortaleceu a necessidade
avaliação!
 “Avaliação está se tornando internacional”
(Chelimsky, Shadish, 1997)

11
Políticas sociais e
administração pública
 Pesquisa em avaliação deve ser vista como
parte integrante da política social e da
administração pública
 Emergência de programas governamentais
 Complexidade do governo federal
 Dá-se o surgimento de especialistas em
políticas e em administração públicas:
 Economistas, administradores, cientistas
políticos, assistentes sociais etc.
 As universidades respondem: grupos de
pesquisa; programas de graduação e pós-
graduação. Novos profissionais
12
Ação Pública
“Na verdade, a ação pública é caracterizada por
incoerências, ambigüidades e incertezas em todos os
estágios e em todos os momentos. Qualquer política
pública é em grande parte um esforço de coordenação
de forças centrífugas que operam no interior da
própria máquina estatal e na sociedade. A formulação
de políticas é com muita freqüência marcada pelo fato
de que os decisores não sabem exatamente o que eles
querem, nem o resultado possível das políticas
formuladas, bem como pelo fato de que as políticas
adotadas são o resultado de um processo de
negociação no qual o desenho original de um
programa é substancialmente modificado” (Jobert,
Muller, 1987 apud Arretche, 1998, p.30).

13
O QUE É AVALIAÇÃO?
“Avaliação é o processo sistemático de
coletar e analisar dados para determinar se e
em que grau os objetivos têm sido ou estão
sendo alcançados e para tomar decisões”
(Boulmetis e Dutwin)

14
O QUE É AVALIAÇÃO?
 “Avaliação de programas é o uso de
procedimentos de pesquisa social para investigar
a efetividade de programas de intervenção
social. Mais especificamente, pesquisadores em
avaliação (avaliadores) usam métodos de
pesquisa social para estudar, analisar e ajudar a
melhorar programas sociais em todos os
importantes aspectos, incluindo o diagnóstico de
problemas sociais que eles focalizam, sua
conceituação e desenho, sua implementação e
gestão, seus resultados (outcomes) e sua
eficiência (Rossi, Freeman e Lipsey).

15
QUAL A “RAZÃO DE SER” DA
AVALIAÇÃO?
 Contribuir indiretamente para as melhorias
sociais.
 Entende-se por melhorias sociais, a
redução ou a prevenção de problemas
sociais, o aprimoramento das condições
sociais e o alívio do sofrimento humano.
 A contribuição é indireta porque ela fornece
informações que podem ser usadas em
deliberações democráticas e ações
administrativas.
16
EFICIÊNCIA, EFICÁCIA E
EFETIVIDADE
 Eficiência é o grau no qual um
programa ou projeto tem sido
produtivo em relação aos seus
recursos;
 Eficácia é o grau no qual as metas
têm sido alcançada;
 Efetividade é o grau no qual um
programa ou projeto resultou em
mudanças.
17
AVALIAÇÃO: FORMATIVA E
SOMATIVA
 Avaliação com o foco em examinar e
mudar processos enquanto eles estão
acontecendo são chamadas de
avaliação formativa;
 Aquelas que focalizam em relatar o
que ocorreu no final do ciclo do
programa são chamadas de avaliação
somativa.

18
 “Avaliação formativa é, no sentido geral,
melhor desenhada como avaliação
somativa em uma versão preliminar, com
atenção particular para componentes ou
dimensões, ao invés de uma abordagem
holística (porque esta facilita
aprimoramento); e oferecida direta para o
gestor do programa ou técnicos em vez de
entregar para os tomadores de decisão
externos”. Ela deve ser contrastada com
uma avaliação somativa “intermediária”, na
qual a continuação é freqüentemente
dependente. (Michael Scriven).

19
MONITORAMENTO
 “É a documentação sistemática do
desempenho de aspectos do programa
que são indicativos se o programa está
funcionando como pretendido ou de
acordo com algum padrão apropriado”
(Rossi, Freeman e Lipsey).

20
MONITORAMENTO
 É o acompanhamento do programa
para saber até que ponto ele está se
desenvolvendo de acordo com o seu
desenho ou seu plano de ação e se está
sendo dirigido para a população-alvo
(Boulmetis e Dutwin).

21