NDICE DE DESENVOLVIMENTO DA EDUCAO DE SO PAULO IDESP

bases metodolgicas J OS F RANCISCO S OARES

Resumo: Os sistemas educacionais de ensino bsico brasileiros tm sido analisados pelos resultados do aprendizado de seus alunos. Este artigo apresenta as bases metodolgicas, introduzidas pela Secretaria de Estado da Educao de So Paulo, para a produo do ndice de Desenvolvimento da Educao de So Paulo Idesp. Este indicador, que ser usado para monitoramento das escolas paulistas, alm de ser uma sntese da qualidade da escola, capta tambm a equidade das estratgias educacionais usadas. Palavras-chave: Idesp. Educao. Qualidade. Equidade.

IDESP DEVELOPMENT OF EDUCATiON INDEX OF SAO PAULO: METHODOLOGiCAL BASES

Abstract: The systems of basic education in Brazil are now analyzed by the learning results of its students. This paper presents the methodological bases of Idesp Development of Education Index of Sao Paulo. This index, developed as tool for monitoring the schools, is at the same time a school quality synthesis and a measure of the equity of its educational practices. Key words: Idesp. Education. Quality. Equity.

m 2008, a Secretaria de Estado da Educao de So Paulo tomou decises de grande impacto para o sistema estadual paulista de ensino bsico. Primeiramente, adotou a escala de medida usada nacionalmente para apresentar os resultados do Sistema de Avaliao da Aprendizagem de So Paulo Saresp. Isso tornou os dados do sistema comparveis com aqueles gerados no mbito nacional e nos outros Estados, dando-lhes maior credibilidade e visibilidade. Em seguida, definiu nova forma de divulgao dos resultados, mais relevante pedagogicamente, e, finalmente, criou um novo indicador para o monitoramento de suas escolas. O objetivo deste artigo mostrar as bases metodolgicas dessas decises, fundamentadas na ideia de que a educao escolar a dimenso da educao que ocorre no mbito da escola deve ser estudada, principalmente, pela sua contribuio para o atendimento dos direitos educacionais dos alunos. Entre estes, destacam-se o direito ao acesso escola, permanncia nesta e ao aprendizado.
So Paulo Perspec., So Paulo, v. 23, n. 1, p. 29-41, jan./jun. 2009

30

Jos FRANCisCo SoARes

No Brasil, e especialmente em So Paulo, o acesso ao ensino fundamental est praticamente universalizado. No entanto, sua ausncia em pocas anteriores teve como consequncia o analfabetismo, tema h muito presente nas anlises educacionais brasileiras, como mostra o clssico artigo de Loureno Filho (1965). O fluxo pode ser caracterizado pela repetncia, que, como mostrou Srgio Costa Ribeiro ao cunhar o termo pedagogia da repetncia, um dos flagelos da educao pblica brasileira. Outra dimenso do fluxo, captada pela permanncia do aluno na escola e pela concluso das etapas em que o ensino se organiza, usualmente medida pelo nmero de anos completos de estudo. Como esse indicador pode ser calculado com dados coletados pelo Censo Demogrfico e, anualmente, pela Pesquisa Nacional por Amostra de Domiclios PNAD, existem sries histricas confiveis para estudos sobre fluxo. Um exemplo o artigo de Barros, Henriques e Mendona (2002), que analisou tendncias histricas do sistema educacional brasileiro usando informaes relativas escolaridade mdia da populao do pas. No entanto, os indicadores de qualidade da educao elaborados com base nos anos de estudo so limitados. Duas pessoas com a mesma escolaridade, ao frequentarem escolas diferentes, podem adquirir capacidades cognitivas muito distintas e assim ter insero social tambm distinta. A partir da organizao do Sistema Nacional de Avaliao da Educao Bsica Saeb e da construo de escalas de medidas em 1995, o Brasil passou a dispor de dados que informam sobre o desempenho dos alunos. Com a introduo da Prova Brasil em 2005, foram testados os alunos das escolas pblicas com mais de 20 alunos na srie. Como consequncia de todos esses fatos, hoje se pode estudar a educao bsica brasileira por meio dos resultados de aprendizado de seus alunos. Essa maneira de considerar a educao est completamente consolidada seja nos movimentos da sociedade civil que acompanham o desenvolvimento da educao, como o Compromisso Todos pela Educao, seja por atos do governo federal, que ao criar o Plano de Desenvolvimento da Educao PDE, por meio do Decreto n. 6.094, de 24 de abril de 2007, afirmou que a iniciativa visa estabelecer como foco
So Paulo Perspec., So Paulo, v. 23, n. 1, p. 29-41, jan./jun. 2009

a aprendizagem, apontando resultados concretos a atingir. Esta tambm a forma de atuar de muitos outros pases, principalmente aqueles que participam do Program for International Student Assessment Pisa, programa de avaliao estudantil internacional, cujo objetivo monitorar os resultados dos sistemas educacionais em termos do aprendizado de seu alunado.1 A Secretaria de Estado da Educao de So Paulo, alm de adotar o monitoramento de resultados do aprendizado, inovou ao incorporar polticas educacionais orientadas equidade, assegurando que os avanos educacionais obtidos no ficassem restritos a alguns grupos de alunos. Importante ressaltar que eleger os resultados da aprendizagem dos alunos como forma privilegiada de anlise da realidade educacional no postura consensual no debate educacional brasileiro. Os insumos e as condies de trabalho dos professores tm sido tomados como as questes centrais. Sem rejeitar essas dificuldades, este texto assume que as questes devem ser tratadas dentro do novo marco terico: o direito de aprendizagem de crianas e jovens.

MEDIDA DA COmPETNCIA
O uso de uma medida de resultados necessrio somente quando se pretende acompanhar todos os alunos de uma escola ou sistema e, portanto, o nmero de alunos envolvidos impede a considerao individual. Todo aluno tem o direito de ser avaliado por seus professores durante as atividades de ensino de forma que suas eventuais necessidades educacionais sejam conhecidas e possam ser atendidas. Ou seja, os sistemas de medida do aprendizado dos alunos por estruturas externas s escolas no substituem as avaliaes feitas pelos professores como parte das estratgias de implementao de seu projeto pedaggico. Ainda no consensual qual aprendizado deve ser medido. O Saeb mede as competncias de leitura e matemtica. O ensino mdio tambm avaliado por meio do Exame Nacional de Ensino Mdio Enem e dos vestibulares, exames com especificaes muito diferentes da utilizada no Saeb. Alm desses exames nacionais, o Brasil participa regularmente do Pisa,

NdiCe de deseNVoLViMeNto dA EdUCAo de So PAULo IDESP...

31

que testa alunos de 15 anos nas competncias cientfica, leitora e matemtica. Para a produo das medidas das competncias preciso primeiramente definir a competncia de interesse e a partir dela produzir itens que verifiquem o seu domnio nas suas vrias expresses. H duas escolas de pensamento a este respeito, conforme se opte mais ou menos por uma abordagem centrada em competncias. O Pisa, conforme seus relatrios tcnicos (OECD, 2005), descreve em geral o domnio de interesse, de forma suficientemente clara para orientar a produo de itens. Depois de anlise minuciosa dos itens considerados adequados, estes so reanalisados por um processo denominado skill audit, em que as habilidades necessrias para sua soluo so explicitadas e registradas. Assim sendo, os documentos do Pisa que descrevem as competncias no so organizados como detalhamento de habilidades. No entanto, os itens includos no teste so classificados em trs grandes categorias: tpicos de contedo, situao de uso e processos cognitivos necessrios para a sua soluo. A tradio do Saeb, adotada tambm por todos os sistemas estaduais, inclusive pelo Saresp, exatamente a oposta. Refletindo a abordagem mais curricular destes exames, as habilidades e contedos que descrevem as competncias a serem medidas so listadas a priori. A descrio das habilidades tambm usada como comando para construo de itens, sendo usual a recomendao que cada item contemple apenas uma habilidade. Construdo e aplicado o teste, a medida da competncia, que recebe o nome tcnico de proficincia, obtida com o uso de modelos da Teoria da Resposta ao Item TRI. Uma funo matemtica, denominada curva de caracterstica do item, mostra como a probabilidade de acerto do item se associa proficincia do examinando e dificuldade do item. Assim, a probabilidade de um acerto de um item aumenta com a proficincia do examinando e cai de acordo com a dificuldade do item. Em provas de mltipla escolha, o modelo logstico de trs parmetros da TRI usualmente preferido. Esse modelo tem um parmetro (b) para representar a dificuldade, outro (a) que capta o poder de discrimi-

nao e um terceiro (c) que representa a taxa de acerto casual do item. O modelo de dois parmetros geralmente usado com itens de respostas construdas curtas, corrigidas apenas como acerto e erro, situa o onde no h acerto casual. Finalmente, modelos de crdito parcial so usados para questes abertas e redaes. A Figura 1 mostra a curva do modelo de trs parmetros para um item que tem nvel de dificuldade b = 0,114, discriminao a = 0,796, e acerto casual baixo de c = 0,088. Essa funo matemtica representa a relao entre os dados empricos, i.e., as respostas ao item, e qualidades no observadas, as proficincias latentes. O parmetro de dificuldade b, representado pela linha vertical da Figura 1, caminha na curva de caracterstica para a direita ou esquerda, conforme o nvel de dificuldade cresce ou diminui. O parmetro da discriminao do item a, representado pela linha tangente curva, altera a inclinao da curva caracterstica, captando o poder de discriminao do item. O parmetro do acerto casual do item c, representado pela linha horizontal na base do grfico, representa a probabilidade de um acerto por pessoas sem nenhuma proficincia na matria medida pela prova. Os crculos na Figura representam os dados empricos, e o tamanho de cada um deles representa a frequncia relativa observada em cada ponto. O uso da TRI exige que o teste mea apenas uma competncia, hiptese de unidimensionalidade, que precisa ser verificada. Quando isso ocorre pode-se estudar a competncia por meio de uma nica medida-sntese, sem necessidade de considerar qual foi a resposta dada a cada um dos itens do teste. Um ajuste dos dados ao modelo, adequado para as situaes reais, requer que o princpio da unidimensionalidade se aplique pelo menos aproximadamente. Uma implementao prtica dessa recomendao exige que a matriz de correlao entre os itens revele um fator dominante que responda por pelo menos 20% da varincia total, e seja substancialmente maior que o segundo fator. Nessas circunstncias vivel atribuir um nico escore de proficincia a cada examinando. Esse fator dominante ou trao latente representa a proficincia medida pela prova.
So Paulo Perspec., So Paulo, v. 23, n. 1, p. 29-41, jan./jun. 2009

32

Jos FRANCisCo SoARes

Figura 1 Curva Caracterstica de um Item no Modelo de Trs Parmetros da TRI

1,0 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0,0 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6

O pressuposto adicional da independncia local implica que cada item pode ser tratado como um evento independente. Isso requer que as respostas aos itens do teste sejam independentes do ponto de vista estatstico, depois de considerada a proficincia de cada examinando. Ou seja, o uso da TRI assume que a resposta a qualquer item do teste no deve determinar ou influir na resposta a qualquer outro item. Nestas condies, denominadas independncia local, a probabilidade de obter qualquer conjunto de respostas de item se d pelo produto das probabilidades individuais dos itens. Isso permite a utilizao do princpio da mxima verossimilhana para estimar a proficincia dos examinandos. Quando pode ser demonstrado que as respostas dos examinandos se ajustam ao modelo de resposta, os parmetros de cada item no dependem dos examinandos avaliados em determinada ocasio, e tambm que as estimativas das proficincias no dependem dos itens aplicados em determinada ocasio. Da mesma forma, os procedimentos da verossimilhana acomodam bem a substituio, a eliminao e o acrscimo dos itens, assim como tambm toleram bem a ausncia de respostas em itens que no foram resolvidos pelos alunos ou que no lhes foram
So Paulo Perspec., So Paulo, v. 23, n. 1, p. 29-41, jan./jun. 2009

apresentados. Finalmente, a TRI permite que testes diferentes aplicados a grupos distintos de alunos sejam organizados de forma que possam produzir proficin cias comparveis. Isso permite que os resultados de testes de anos diferentes possam ser confrontados. Todos estes fatos explicam o amplo uso da TRI em processos de avaliao educacional, apesar das fortes hipteses exigidas. Outros detalhes da TRI podem ser encontrados em Hambleton, Swaminathan, e Rogers (1991).

INTERPRETAO DA ESCALA DE MEDIDA

Na situao hipottica em que um teste foi construdo com tantos itens quanto necessrio para captar toda a diversidade de tarefas requeridas para o domnio completo da competncia considerada, e este foi aplicado a elevado nmero de alunos com todos os nveis na respectiva competncia, diz-se que as proficincias desses alunos definem uma escala de medida da competncia. Usualmente a escala um continuum, mas por opes metodolgicas varia usual mente entre -3 e 3, limites que podem ser transformados em quaisquer outros valores julgados mais convenientes.

NdiCe de deseNVoLViMeNto dA EdUCAo de So PAULo IDESP...

33

Uma escala s til para finalidade de diagnstico ou de ao pedaggica se os seus diferentes pontos tiverem uma interpretao pedaggica. A interpretao comea com a construo de um mapa de itens, que consiste em associar cada item do teste a um ponto da escala utilizada para medir as proficincias dos alunos. Como mostrado pela curva de caracterstica, a relao entre um item e a escala probabilstica e, portanto, aquele pode ser localizado em pontos diversos desta. Frequentemente toma-se como ponto de locao a proficincia em que a probabilidade de acertar o item seja de 65%. A Figura 2 expressa graficamente de um mapa de itens, mostrando que tanto os alunos quanto os itens esto referenciados a pontos da escala. Construdo o mapa de itens, a interpretao pedaggica considera que alunos com proficincia em um dado valor so capazes de fazer tarefas implcitas nos itens localizados em valores menores. Existem vrias nuances para a aplicao desse princpio. A referncia clssica o artigo de Beaton e Allen (1992). Os detalhes podem ser encontrados nas vrias interpretaes publicadas da escala do Saeb, principalmente em Fontanive, Elliot e Klein (2007). Os materiais de divulgao do Saresp tambm apresentam a interpretao da escala do Saeb com itens que foram utilizados nesse exame. Essa interpretao, embora fundamental para orientar intervenes pedaggicas, no explicita se as proficincias obtidas pelo grupo de alunos analisados

so ou no adequadas, considerando a trajetria escolar dos alunos testados. Isso exige a produo de outra interpretao, usualmente apresentada por meio da escolha de nveis, ou seja, da diviso da escala de medida em intervalos aos quais so atribudos significados pedaggicos e normativos. H muita diversidade de opinio sobre o nmero e denominao dos nveis que devem ser usados. Neste texto, foram escolhidos quatro nveis com as seguintes denominaes: Abaixo do Bsico, Bsico, Proficiente e Avanado. Essas etiquetas escolhidas para os nveis tm um claro significado normativo. O aluno classificado no nvel Proficiente demonstra dominar os contedos e habilidades esperados para o seu estgio escolar. Os do nvel Avanado dominam a competncia de forma especialmente completa, ultrapassando o esperado para o seu estgio escolar. O nvel Bsico congrega os alunos que demonstram domnio apenas parcial da competncia. Finalmente, os alunos do nvel Abaixo do Bsico mostram domnio rudimentar da competncia medida. Na literatura, nomes alternativos, mas equivalentes, so frequentemente utilizados. A opo por quatro nveis reflete a necessidade de orientar a organizao de atividades a serem oferecidas aos alunos aps a anlise dos dados obtidos em uma avaliao. O uso de nveis permite dar s medidas das proficincias dos alunos uma utilidade pedaggica e no apenas gerencial. Os alunos que esto

Figura 2 Mapa de Itens

Item 17 Itens

Item 04

Item 31

Alunos Aluno 1 Aluno 25 Aluno 13

Proficincia

Fonte: Pesquisa do autor.

So Paulo Perspec., So Paulo, v. 23, n. 1, p. 29-41, jan./jun. 2009

34

Jos FRANCisCo SoARes

no nvel Abaixo do Bsico precisam de acompanhamento imediato para que a situao em que se encontram no se cristalize. Aos alunos no nvel Proficiente devem ser oferecidas atividades de desafio como olimpadas, que favorecem a criao de um grupo com desempenho avanado. As atividades adequadas aos alunos do nvel Bsico exigem anlise mais detalhada de sua situao que considere o nvel de ensino e as preferncias individuais dos alunos. Alguns esto neste nvel por entenderem que, em relao competncia, no precisam de desempenho melhor. No entanto, na maioria das vezes, precisam aprimorar seu desempenho, merecendo atividades de consolidao. O problema que se coloca, entretanto, a escolha de pontos de corte na escala de proficincia que definem exatamente a localizao dos nveis. A forma escolhida para o Saresp apresentada em seguida.

tero competncias diversas em nveis mais ou menos altos; todos tero, entretanto, domnio das competncias que permitam sua atuao como cidados.

DISTRIBUIO DE REFERNCIA2
A distribuio de referncia a ser utilizada na definio dos nveis foi escolhida por meio da comparao do desempenho dos alunos brasileiros com o dos alunos de um grupo de pases participantes do Pisa. O Pisa organizado pela Organizao para Cooperao e Desenvolvimento Econmico OCDE e dele participam os pases-membros dessa organizao e tambm pases convidados, como o Brasil. Assim, a escolha de pases cujos alunos comporiam o grupo de referncia para os estudantes brasileiros comporta vrias solues. A comparao dos resultados dos brasileiros apenas com os dos alunos de pases pequenos, ricos e homogneos socioculturalmente no til. Em contrapartida, considerar todos os pases da OCDE implica incluir aqueles com desempenho baixo. Diante disso, neste texto optou-se por usar, como referncia, a mdia do comportamento dos alunos dos seguintes pases: Austrlia, ustria, Blgica, Canad, Sua, Alemanha, Dinamarca, Espanha, Finlndia, Frana, Inglaterra, Irlanda, Islndia, Itlia, Japo, Coria, Luxemburgo, Holanda, Noruega, Nova Zelndia, Polnia, Portugal, Sucia e Estados Unidos. Esse grupo de alunos ser denominado grupo OCDE de alunos. O uso da mdia de vrios pases soluo similar adotada nos relatrios oficiais sobre os resultados do Pisa. Para a construo da distribuio ideal utilizou-se o Pisa de 2000 para leitura e o de 2003 para matemtica. Considerando cada uma dessas situaes, calculou-se, para cada percentil das proficincias, a distncia em desvios-padro dos alunos brasileiros e o mesmo percentil para os alunos do grupo OCDE. A seguir, aumentaram-se os percentis da distribuio dos resultados do Saeb no mesmo nmero de desvios-padro correspondentes diferena anteriormente observada. Esse processo equivale a definir como ideal a distribuio de proficincias que seria obtida caso os alunos dos pases da OCDE fizessem o teste do Saeb.

CONSTRUO DOS NVEIS

H expressiva produo a partir da proposta de Angoff (1971) para a escolha de nveis de aprendizado em avaliaes educacionais de larga escala. Todos os mtodos recomendam que a escolha dos pontos de corte utilize, concomitantemente, o mapa de itens e consideraes substantivas sobre o significado pedaggico de cada item e a organizao do ensino. Embora os dados para este tipo de pesquisa estejam disponveis, ainda no se organizou no Brasil um esforo de interpretao da escala do Saeb como recomendado por essa literatura, sintetizada por Cizek (2001). Diante disso, os nveis do Saresp foram estabelecidos de forma emprica e comparativa. Escolheu-se uma distribuio de referncia para as proficincias dos alunos e, a partir dessa distribuio, fizeram-se os cortes que definiram os nveis. A adoo de uma distribuio de referncia traz implicitamente o reconhecimento de que as proficincias dos alunos de um sistema educacional assumiro valores diversos. No entanto, a variao das proficincias deve se limitar a valores compatveis com as necessidades de participao social dos alunos. Ou seja, no se pretende, quando se monitora a competncia cognitiva de alunos, produzir a igualdade, mas dar a todos a possibilidade de insero em diferentes formatos. Pessoas distintas
So Paulo Perspec., So Paulo, v. 23, n. 1, p. 29-41, jan./jun. 2009

NdiCe de deseNVoLViMeNto dA EdUCAo de So PAULo IDESP...

35

A Tabela 1 mostra a organizao dos clculos necessrios e explicita os detalhes dessa metodologia. A primeira coluna apresenta simplesmente uma lista de percentis. Para a construo da distribuio de referncia foram utilizados todos os percentis e no apenas os apresentados na tabela. A segunda e terceira colunas mostram o valor em pontos do Pisa de cada percentil da distribuio de notas dos alunos brasileiros e dos alunos OCDE. Por exemplo, o percentil de ordem 30 para os brasileiros 307. Isso significa que 30% dos estudantes avaliados pelo Pisa tiveram nota abaixo de 307. Enquanto isso, o mesmo percentil para os alunos OCDE 465. Os percentis dos brasileiros so inferiores aos dos alunos OCDE, fato bastante conhecido. Na quarta e quinta colunas registra-se essa diferena, primeiro em termos absolutos e depois em termos de desvios-padro da distribuio dos alunos brasileiros no Pisa. Ou seja, a ltima coluna exibe o nmero de desvios-padro a aumentar em cada percentil da nota dos alunos brasileiros para que sua distribuio seja igual dos estudantes do grupo OCDE. Finalmente, para obter a distribuio de referncia, aplicaram-se os valores definidos na ltima coluna da Tabela 1 s notas dos alunos no Saeb. A Tabela 2 apresenta os resultados dessa operao para os alunos da oitava srie no teste de matemtica. Nessa tabela, os valores da ltima coluna so os percentis da distribuio ideal, ou seja, a distribuio que seria observada caso os alunos do grupo de referncia fizessem o teste do Saeb. O Grfico 1 mostra os resultados dessa operao. evidente o deslocamento em direo a valores maiores arbitrados no processo de escolha da distribuio ideal. Obtida a distribuio de referncia, os nveis para o Saresp foram estabelecidos conforme descrito a seguir . O ponto de corte que define o nvel Proficiente foi fixado no mesmo valor escolhido pelo movimento Todos pela Educao para seu indicador, ponto acima do qual deveriam estar 70% dos alunos no momento em que a educao brasileira pudesse ser considerada de qualidade. Embora a escolha tenha utilizado a experincia dos membros da comisso e as interpretaes j feitas pela escala do Saeb, os pon-

Tabela 1 Diferenas entre o Desempenho dos Alunos Brasileiros e Alunos OCDE no Pisa 2003 em Matemtica Brasil e Pases Selecionados 2003
Diferena entre Alunos OCDE e Brasileiros Nos Absolutos 138 151 158 160 157 145 131 DesviosPadro 1,35 1,47 1,54 1,57 1,53 1,41 1,29

Pontuao no Pisa Percentil Alunos Brasileiros 5 15 30 50 75 90 95

Fonte: OECD (2005).

Alunos OCDE 361 417 465 514 576 626 654

223 266 307 354 419 481 523

Tabela 2 Construo da Distribuio de Referncia na Mtrica do Saeb para Alunos da 8 Srie do Ensino Fundamental Matemtica Brasil 2003
Valor dos Percentis Distribuio Atual 170 192 223 242 278 316 341 Distribuio Ideal 238 266 300 320 355 387 405

Percentil 5 15 30 50 75 90 95
Fonte: MEC. Inep.

tos obtidos so muito prximos do percentil 70 da distribuio de referncia. A definio de apenas um ponto de corte pode ensejar atitudes pouco razoveis. Por exemplo, os alunos que estiverem muito abaixo desse ponto no recebero ateno nas suas escolas, pois dificilmente alcanaro o nvel desejado em prazos curtos. Em compensao, todas as escolas devem ter excelncia acadmica, o que implica que alguns de seus alunos
So Paulo Perspec., So Paulo, v. 23, n. 1, p. 29-41, jan./jun. 2009

36

Jos FRANCisCo SoARes

Grfico 1 Comparao entre o Desempenho Ideal e o Desempenho dos Alunos da 8 Srie do Ensino Fundamental que Fizeram o Teste de Matemtica Saeb Brasil 2003
Desempenho Ideal
6,000 5,000 4,000 3,000 2,000 1,000 0 100.00 200.00 300.00 Proficincia 400.00 500.00 Frequncia

tenham desempenho alm do esperado. Diante dessas consideraes, usuais em muitos outros sistemas de avaliao no mundo, optou-se por criar para o Saresp mais dois pontos de corte. Estes foram escolhidos de forma ad hoc, de modo a colocar 25% dos alunos no nvel avanado e 25% nvel bsico. Assim, os pontos de corte correspondem queles que definem, na distribuio de referncia, intervalos com frequncia de alunos de 5%, 25%, 45% e 25%. Depois de todas estas consideraes, os pontos de corte adotados em So Paulo foram definidos conforme o Quadro 1.

O IDESP
O conhecimento do porcentual de alunos em cada um dos quatro nveis suficiente para a anlise do desempenho dos estudantes de uma escola e para identificar a necessidade de intervenes pedaggicas de recuperao ou de desafio intelectual. No entanto, para a viso geral de todas as escolas de um sistema necessria a introduo de um indicador-sntese. O ndice de Desenvolvimento da Educao Bsica Ideb, introduzido pelo MEC/Inep, cumpriu essa funo e, rapidamente, tornou-se a principal forma de anlise das polticas educacionais brasileiras para

Desempenho Saeb
Frequncia 6,000 5,000 4,000 3,000 2,000 1,000 0 100.00 200.00 300.00 Proficincia 400.00 500.00

Fonte: MEC.Inep.

Quadro 1 Nveis do Sistema de Avaliao da Aprendizagem de So Paulo Saresp de Desempenho para Leitura e para Matemtica, por Srie Estado de So Paulo 2008
Desempenho para Leitura Nvel do Saresp 4 Srie EF Abaixo do bsico Bsico Adequado Avanado < 150 Entre 150 e 200 Entre 200 e 250 Acima de 250 8 Srie EF < 200 3 Ano EM < 250 4 Srie EF < 175 Entre 175 e 225 Entre 225 e 275 Acima de 275 8 Srie EF < 225 Entre 225 e 300 Entre 300 e 350 Acima de 350 3 Ano EM < 275 Entre 275 e 350 Entre 350 e 400 Acima de 400 Desempenho para Matemtica

Entre 200 e 275 Entre 250 e 300 Entre 275 e 325 Entre 300 e 375 Acima de 325 Acima de 375

Fonte: Secretaria de Estado da Educao. So Paulo Perspec., So Paulo, v. 23, n. 1, p. 29-41, jan./jun. 2009

NdiCe de deseNVoLViMeNto dA EdUCAo de So PAULo IDESP...

37

o ensino bsico. A divulgao de metas educacionais para cada sistema e cada escola pblica do pas basea das no Ideb mudou a maneira como os dados das avaliaes nacionais passaram a ser usados. A partir desta iniciativa, os resultados das avaliaes tiveram nova visibilidade e importncia ampliada. O Ideb o produto de dois indicadores. O primeiro reflete o desempenho mdio dos alunos na Prova Brasil em um nmero entre 0 e 10 e o segundo, expresso por um nmero entre 0 e 1, capta a eficincia com que um sistema ou uma escola consegue diplomar seus alunos em cada uma das etapas do ensino fundamental. Assim sendo, o Ideb calculado separadamente para os anos iniciais e anos finais do ensino fundamental. Ao compor um indicador atravs do produto de duas quantidades, o Ideb assume que, em um bom sistema educacional ou escola, uma alta porcentagem dos alunos termina as diferentes etapas do ensino fundamental apresentando, no momento do trmino, um desempenho cognitivo considerado adequado. O valor do Ideb aumenta quando um ou os dois indicadores que o compem aumentam. A melhoria do primeiro termo, que descreve o desempenho, ocorre sempre que h aumento da nota mdia dos alunos de um sistema ou de uma escola. Uma mesma mdia, entretanto, pode ser obtida com valores muito diferentes para os porcentuais nos diferentes nveis de desempenho. Muitos desses perfis so claramente pouco equitativos pois, para obter mdias de desempenho maiores, deixam para trs alunos com desempenho baixo. A Tabela 3 mostra esta fragilidade do Ideb. Foram selecionadas escolas com nota mdia em leitura variando de 199 a 201. Como se pode observar, esse valor mdio compatvel com perfis pedagogicamente muito diferentes nos nveis. O Idesp foi construdo, por um lado, para manter a ideia bsica de agregao dos indicadores de fluxo e desempenho e, por outro lado, para incorporar a dimenso de equidade no indicador de desempenho, ausente no Ideb. Isso foi feito mudando-se a maneira de clculo do primeiro fator, passando-se a utilizar um indicador baseado nos porcentuais de alunos nos diferentes nveis.

Tabela 3 Distribuio dos Alunos das Escolas com a Mesma Mdia de Procincia, por Nvel Brasil 2003
Nvel (%) Procincia Abaixo do Mdia Bsico Prociente Avanado Bsico 199,90 199,28 199,26 200,04 200,39 200,64 199,62 9,1 18,8 16,7 4,3 2,9 13,3 9,4 45,5 30,4 32,3 48,6 44,1 30,0 34,4 45,5 39,1 35,4 37,1 47,1 38,9 40,6 0,0 11,6 15,6 10,0 5,9 17,8 15,6

Escola 1 2 3 4 5 6 7

Fonte: MEC, Inep,

O indicador de desempenho usado no Idesp parte da defasagem mdia dos alunos da escola em relao ao nvel avanado. Para isso, os alunos classificados nos nveis Abaixo do Bsico, Bsico, Proficiente e Avanado recebem, respectivamente, trs, duas, uma e nenhuma defasagem. A defasagem do sistema ou escola definida como a mdia ponderada das defasagens de cada nvel, tomando-se como peso a porcentagem de alunos em cada nvel. Para que a defasagem, como definida anteriormente, fosse similar ao indicador de desempenho usado no Ideb foi necessrio transform-la em um indicador que assume valores entre 0 e 10, sendo atribudo pior escola o valor 0 e melhor, escola o valor 10. Isso obtido pela aplicao da seguinte frmula: Indicador = (1 - (Defasagem/3))*10 Alguns exemplos apresentados na Tabela 4 ilustram melhor essas definies. A primeira linha representa uma escola hipottica que tem todos os seus alunos com proficincia abaixo do bsico. Sua defasagem igual a 3 e seu indicador de desempenho, igual a 0. No outro extremo, a quarta linha representa uma escola hipottica que tem todos os seus alunos com proficincia avanada. Sua defasagem igual a 0 e seu indicador, igual a 10.
So Paulo Perspec., So Paulo, v. 23, n. 1, p. 29-41, jan./jun. 2009

38

Jos FRANCisCo SoARes

Tabela 4 Construo do Indicador Sntese do Desempenho de cada Escola Brasil 2003

Nvel (%) Distribuio Abaixo do Bsico (n*3) 100 56 5 0 Bsico (n*2) 0 33 25 0 Prociente (n*1) 0 10 45 0 Avanado (n*0) 0 1 25 100 Defasagem Indicador

Limite inferior Escolas pblicas Brasil Referncia Limite Superior

Fonte: MEC. Inep.

3 0,81 1,1 0

0 1,9 6,3 10,0

A segunda linha representa a escola pblica brasileira tpica em matemtica na quarta srie. Sua defasagem e indicador de qualidade so definidos por: D = (56*3 + 33*2 + 10*1 + 1*0) /100 = 2,44. I = (1 - (2,44/3))*10 = 1, 90 A terceira linha da tabela representa uma escola hipottica com os porcentuais de alunos nos diferentes nveis equivalentes distribuio de referncia usada para a construo dos nveis. Sua defasagem e indicador de qualidade so definidos por: D = (5*3 + 25*2 + 45*1 + 25*0) /100 = 1,10. I = (1 - (1,10/3))*10 = 6,30 O indicador de desempenho ser maior que esse valor apenas se os alunos se concentrarem mais nos nveis Proficiente e Avanado do que na distribuio de referncia. Isso possvel, mas ocorre em poucas escolas. Assim sendo, atingir o valor 6 neste indicador pode ser considerado como uma meta adequada para um sistema educacional. O uso da defasagem da escola como medida de seu desempenho assume que os desempenhos dos alunos pertencentes a um mesmo nvel so equivalentes. Para aqueles no nvel Abaixo do Bsico interessa uma melhoria que os leve a outro patamar. Em contrapartida, aprimoramentos para os que j esto no nvel Avanado no so captados. Melhorias que apenas mudam o desempenho de um aluno, mantendo-o dentro do mesmo nvel, no so consideradas relevantes. Esta caracterstica impede a excluso de alunos mais fracos como estratgia para o aumento do indicador de desemSo Paulo Perspec., So Paulo, v. 23, n. 1, p. 29-41, jan./jun. 2009

penho e tambm a considerao de melhorias que no tm impacto significativo, j que os alunos se mantm no mesmo patamar de aprendizagem. Assim sendo, o Idesp considera que h melhoria no desempenho da escola apenas quando pelo menos um de seus alunos muda de nvel. O indicador de fluxo usado no Idesp o mesmo do Ideb. Essa medida obtida para cada etapa do ensino fundamental pela combinao das taxas de aprovao apuradas no Censo Escolar em cada uma das sries. Importante ressaltar que, ao fim de cada ano letivo, os alunos da escola so classificados em trs grupos: os aprovados para o ano seguinte, os reprovados e os que abandonaram a escola. Assim, a taxa de aprovao reflete tambm o abandono. Ao se priorizar a taxa de aprovao para a construo da medida de fluxo assume-se que a boa escola consegue tambm manter seus alunos. Por motivos tcnicos que ultrapassam o escopo deste texto, usa-se, como indicador do fluxo, a mdia harmnica das taxas de aprovao, i.e., o inverso da mdia aritmtica dos inversos. Assim, uma escola com as taxas de aprovao nas diferentes sries conforme a Tabela 5 teria como medida de seu fluxo o valor de 1/ 1,12 = 0,88. Ou seja, se essa escola tivesse o indicador de desempenho igual a 5, por exemplo, seu Idesp seria dado por 5*0,88 = 4,4. O Idesp de todas as escolas estaduais paulistas que oferecem o ensino fundamental foi calculado com os dados referentes a 2006 e os resultados para a quarta

NdiCe de deseNVoLViMeNto dA EdUCAo de So PAULo IDESP...

39

srie matemtica so apresentados o Grfico 2. Podese observar o reduzido nmero de escolas que superam o valor 6,0, o qual seria obtido se a distribuio das proficincias dos alunos da escola fosse a mesma da de referncia e o indicador de fluxo igual a 0,96, novamente as indicaes usadas no Ideb.

DISCUSSO
A Secretaria de Estado da Educao de So Paulo, ao decidir usar a escala do Saeb para expressar o aprendizado dos alunos das escolas estaduais, trouxe para a discusso de suas polticas educacionais vrios temas. Este artigo trata primeiramente da soluo encontrada para a divulgao dos resultados. Optou-se por usar nveis de desempenho em vez de mdias. Esta deciso simples tem, entretanto, uma consequncia pedaggica importante ao enfatizar que a avaliao feita para servir aos alunos. Este formato coloca disposio de cada escola uma categorizao de seus estudantes, convidando-a a promover as atividades que possam atend-los de maneira mais focada. Usualmente duas atividades so necessrias. Para os alunos classificados no nvel Abaixo do Bsico correspondem recuperao, j que no aprenderam minimamente o que deles se esperava. Em contrapartida, toda escola deve ter tambm alunos com nvel excelente, o que s pode ser obtido com o oferecimento de atividades escolares com algum grau de desafio cognitivo para aqueles que j dominam a competncia em um nvel adequado. Alm disso, considerando os nomes escolhidos para a designao dos nveis produziu-se uma interpretao normativa dos resultados. Claramente os alunos classificados no nvel Abaixo do Bsico esto em situao de risco, necessitando de ateno imediata. A introduo de nveis possibilitou ainda a incorporao da equidade no indicador de nvel dos resultados. Isso levou proposio de um indicador global de desempenho que sensvel a estratgias pouco equitativas, como deixar muitos alunos para trs, concentrando os esforos pedaggicos em alguns poucos, o que, se por um lado aumenta a mdia da escola, por outro constitui uma postura indesejvel. A soluo encontrada concilia a necessidade de aumento do desempenho sem permitir que as diferenas aumentem. Definido um indicador de desempenho global das escolas do sistema educacional, vrios outros estudos e polticas tornaram-se necessrios. Embora ultrapasse o escopo deste texto, deve-se mencionar que
So Paulo Perspec., So Paulo, v. 23, n. 1, p. 29-41, jan./jun. 2009

Tabela 5 Construo da Medida de Fluxo

Srie 1 2 3 4 Mdia
Fonte: Elaborao do autor.

Taxa de Aprovao (%) 91 93 87 85

Inverso 1,10 1,08 1,15 1,18 1,12

Grfico 2 Idesp das Escolas Estaduais Paulistas da 4 Srie do Ensino Fundamental Estado de So Paulo 2006
Frequncia 250

200

150

100

50

0 0,00 2,00 4,00 6,00 8,00 10,00

Fonte: Secretaria de Estado da Educao.

40

Jos FRANCisCo SoARes

foram criadas metas para o Idesp de cada escola e um sistema de bnus financeiro associado ao cumprimento destas metas. Finalmente, importante mencionar que a opo pela divulgao de resultados por meio de nveis, definidos por pontos de corte criteriosamente escolhidos e pedagogicamente desafiantes e substantivamente relevantes, permite o acompanhamento da qualidade da educao paulista e brasileira de forma simples e

slida. Este um passo fundamental para que o sistema melhore, atendendo aos direitos educacionais de seus alunos. Isso s ser obtido se os resultados escolares, registrados pelo Idesp, forem objeto de estudo detalhado, de forma a identificar, nas condies reais do Estado de So Paulo, como possvel melhorar o desempenho dos alunos. Ou seja, a soluo vir na lenta incorporao das melhores prticas por cada unidade escolar.

Notas
Este artigo resulta principalmente de trabalho realizado com Naercio Menezes Filho e Rafael Terra para a Secretaria de Estado da Educao de So Paulo. O autor agradece ainda a Priscilla de Albuquerque Tavares pelas discusses nas etapas finais de definio do Idesp. Finalmente registra e agradece o apoio da Professora Maria Helena Guimares Castro pelo desafio colocado e a sempre presente exigncia por clare-

za na comunicao, garantia da qualidade e introduo da equidade na proposio do indicador-sntese para as polticas educacionais do Estado de So Paulo. 1. No original: To monitor the outcomes of education systems in terms of student achievement, within a common international framework. 2. Esta seo baseada em texto produzido pelo autor a ser publicado como captulo de livro organizado por Fernando Veloso et al. (2009).

Referncias Bibliogrcas
ANGOFF, W.H. Scales, norms, and equivalent scores. In: THORNDIKE, R.L. (Ed.). Educational measurement . Washington, DC: American Council on Education, 1971. p. 508-600. BARROS, R.P.; HENRIQUES, R.; MENDONA, R. Pelo fim das dcadas perdidas: Educao e desenvolvimento sustentado no Brasil. Rio de Janeiro: Ipea, 2002. Disponvel em: <http://www. jubamaravilha.hpg.com.br/augusto/EducDesenvolvBR2002. pdf>. Acesso em: 12 mar. 2009. BEATON, A.; ALLEN, N. Interpreting Scales Through Scale Anchoring. Journal of Educational and Behavioral Statistics, v. 17, n. 2, p. 191-204, 1992. CIZEK, G.J. Setting performance standards: Concepts, methods, and perspectives. Mahwah, NJ: Lawrence Erlbaum Associates, 2001. FONTANIVE, N.S.; ELLIOT, L.G.; KLEIN, R. Os desafios de apresentao dos resultados da avaliao de sistemas escolares a diferentes pblicos. REICE Revista Electrnica Iberoamericana sobre Calidad, Eficacia y Cambio en Educacin, v. 5, n. 2e., 2007. Disponvel em: <http://www.rinace.org/reice>. Acesso em: 12 mar. 2009.
So Paulo Perspec., So Paulo, v. 23, n. 1, p. 29-41, jan./jun. 2009

HAMBLETON, R.K.; SWAMINATHAN, H.; ROGERS, H.J. Fundamentals of item response theory. North Carolina: Sage, 1991. LOURENO FILHO, M.B. Reduo da taxa de analfabetismo no Brasil de 1900 a 1960, descrio e anlise. Revista Brasileira de Estudos Pedaggicos, Rio de Janeiro, v. 44, n. 100, p. 250-272, out./dez. 1965. MENEZES FILHO, N.; SOARES, J.F.; TERRA, R. Definio de metas de desempenho para as escolas estaduais paulistas de ensino bsico. So Paulo, 2008. Nota tcnica submetida Secretaria de Estado da Educao de So Paulo. O E C D O RG A N I Z AT I O N F O R E C O N O M I C COOPERATION AND DEVELOPMENT. Pisa 2003 Technical Report. Paris: OECD, 2005. RIBEIRO, S.C. A pedagogia da repetncia. Estudos Avanados, So Paulo, v. 5, n. 12, ago. 1991. SOARES, J.F.; MAROTTA, L. Desigualdades no sistema de ensino fundamental brasileiro. In: VELOSO, F. et al. (Org.). Educao bsica no Brasil. Rio de Janeiro: Campus/Elsevier, 2009. p. 73-91. No prelo. VELOSO, F. et al. (Org.). Educao bsica no Brasil. Rio de Janeiro: Campus/Elsevier, 2009. No prelo.

NdiCe de deseNVoLViMeNto dA EdUCAo de So PAULo IDESP...

41

JOS FRANCISCO SOARES Doutor em Estatstica, com ps-doutorado em Educao. Professor titular do Departamento de Cincias Aplicadas Educao da FAE UFMG. Coordenador do Grupo de Avaliao e Medidas Educacionais, Belo Horizonte-MG, Brasil. (francisco-soares@ufmg.br)

Artigo recebido em 16 de junho de 2009. Aprovado em 10 de agosto de 2009.

Como citar o artigo: SOARES, J.F. ndice de desenvolvimento da Educao de So Paulo Idesp: bases metodolgicas. So Paulo em Perspectiva, So Paulo, Fundao Seade, v. 23, n. 1, p. 29-41, jan./jun. 2009. Disponvel em: <http://www.seade.gov.br>; <www.scielo.br>. Acesso em:
So Paulo Perspec., So Paulo, v. 23, n. 1, p. 29-41, jan./jun. 2009