El Lugar de La Evaluación en La Investigación Científica

CINADE Evaluacin de Instituciones y Sistemas Educativos
EL LUGAR DE LA EVALUACIN EN LA INVESTIGACIN

CIENTFICA
Morales Velzquez, Cesareo 1995. Planificacin y Administracin Educativa (Maestra en
Tecnologa Educativa), ILCE, M xico.
Hasta ahora hemos tratado de explorar algunos de los atributos de la evaluacin,

segn la conciben diversos autores. Sin embargo, estos conceptos son de poca
utilidad al investigador evaluativo si no se delimita su accin en el marco de la
indagacin cientfica. Existen diferencias entre la evaluacin educativa, la
investigacin evaluativo y la evaluacin de programas?, hasta dnde llega la actividad
investigativa y empieza la evaluativa?, es la evaluacin educativa un tipo de
investigacin cientfica, o es slo una actividad adicional de docentes y supervisores?,
cul es el papel de la metodologa y la medicin en la evaluacin?, nos encontramos
ms cerca de la evaluacin de programas que del currculo cuando hablamos, de
evaluacin educativa?
Este tipo de cuestionamientos es importante porque nos permite distinguir lo que

es la evaluacin de aquello que no lo es. Partamos de lo que significa investigacin.
Para Worthen y Sanders significa una:
Actividad dirigida hacia la obtencin de conocimiento generalizable por

medio de la concepcin y prueba de conjeturas acerca de las
relaciones entre variables, o por la descripcin de fenmenos
generalizables. Este conocimiento, que puede dar como resultado
modelos tericos, relaciones funcionales o descripciones, puede ser
obtenido por medio de m todos empricos u otros m todos
sistemticos, y puede o no tener una aplicacin inmediata.
As la investigacin se dirige hacia la prueba de las hiptesis con la finalidad de

llegar a conformar un cuerpo terico de conocimientos sobre los fenmenos bajo
estudio, y que pueda explicar tales fenmenos por medio de conceptos generalizados.
La investigacin evaluativa o evaluacin, comparte algunas de estas caractersticas,
pues es tambi n una actividad de indagacin sistemtica, que utiliza los mismos
m todos y t cnicas.
Como otras investigaciones, la evaluacin trata de describir, de

comprender, las relaciones entre variables y establecer la secuencia
causal. Porque estestudiando un programa que interviene en las
vidas de las personas con la intencin de producir un cambio, la
evaluacin puede hacer, a menudo, interferencias directas acerca de
los vnculos causales que hay entre el programa y sus efectos.
Segundo Semestre 30
Por otro lado, si distinguimos a la investigacin bsica, en la cual se busca

incrementar el conocimiento del objeto de estudio para tratar de explicarlo, y la
investigacin aplicada, la cual se dirige hacia la produccin de conocimientos
relevantes para la solucin de una problemtica general, encontramos a la evaluacin
inserta en la segunda. Aunque algunos autores no estn de acuerdo con ello (entre
otros Worthen y Sanders), generalmente se considera a la evaluacin como un tipo de
investigacin aplicada, la cual, en el caso de la educacin, se dirige hacia la solucin de
la problemtica que presentan los diferentes componentes de un programa educativo.
Los criterios mediante los cuales se conduce la evaluacin no son

necesariamente los de validez interna o externa, la confiabilidad o la objetividad que se
exige en las investigaciones cientficas para poder ser aceptadascomo tales.
La validez interna. Que se refiere a la certificacin de que los resultados se deben a la

manipulacin de las variables bajo estudio, y no a variables extraas, exige el control
en el diseo y la validez de medida (validez de los instrumentos de evaluacin), lo cual
difcilmente se cumple en su totalidad en la evaluacin de programas.
La validez externa. Que confiere a la manipulacin de muestras, la generalizacin de

los resultados que se obtienen en la investigacin, es otro de los aspectos cruciales en
ciencia, pero no en evaluacin. El evaluador no puede condicionar su investigacin a la
representatividad de las muestras para dar credibilidad a sus resultados. Es verdad
que la evaluacin es un tipo especial de investigacin aplicada, y lo es precisamente
por las limitaciones que tiene la generalizacin de los resultados cuando se evalan
programas especficos. El acceso a muestras representativas o cuidadosamente
seleccionadas depende de las condiciones del programa que se evala, las cuales la
mayora de las veces escapan al control del investigador.
La confiabilidad. Que se determina por el grado de replicabilidad de los resultados, es

un criterio que regularmente se exige en los estudios de evaluacin, aunque esto
depende del tipo de instrumentos que se utilicen. El grado de confiabilidad de un
instrumento como una prueba objetiva puede ser alto, pero quizs no lo sea una
entrevista en la que los entrevistados establecen apreciaciones, proyectan actitudes o
emiten juicios acerca del programa.
La objetividad. Que se refiere al grado en que los instrumentos, los procedimientos de

recopilacin de la informacin y los datos obtenidos pueden ser llevados a cabo e
interpretados de la misma manera por diferentes expertos. El criterio de objetividad
requiere la neutralidad del investigador al llevar a cabo el estudio. Puesto que an en
las investigaciones ms sofisticadas de las ciencias sociales es difcil separar la
subjetividad del investigador del objeto investigado, en evaluacin lo es ms, por los
juicios que necesariamente impone el evaluador al objeto evaluado.
Segundo Semestre 31
Por las dificultades que encuentra al tratar de cubrir los criterios anteriores, en
ocasiones se considera a la evaluacin como un tipo de investigacin de segunda,
destinada nicamente a la produccin de informacin para que los administradores
puedan tomar decisiones sobre el manejo, promocin, justificacin o culminacin de un
programa educativo, y no le asignan un lugar dentro de la investigacin educativa,
dirigida hacia los procesos psicopedaggicos, el desarrollo curricular, la produccin de
materiales o la evaluacin del aprendizaje.
En su validacin, la prueba debe seguir un diseo muestral para su

generalizacin posterior hacia la poblacin objetivo, y un diseo de aplicacin
experimental tipo antes-despu s, lo cual posibilita el anlisis de la confiabilidad y
validez necesarias en este tipo de instrumentos. Otro procedimiento importante en la
validacin de pruebas es el anlisis de reactivos, mediante el cual, partiendo de anlisis
estadsticos, se descartan o conservan reactivos para conformar la versin final de la
prueba.
Finalmente para su aplicacin se expiden normas acerca de la poblacin a la que

va dirigida, los requerimientos para la situacin de aplicacin, pero sobre todo las
normas de calificacin, las cuales son indispensables para separar a los estudiantes
capaces de los incapaces.
METODOLOGA DE LA INVESTIGACIN EVALUATIVA.

Son seis los m todos de la Investigacin Evaluativa:
A. Evaluacin del rendimiento.

El m todo empleado para evaluar el rendimiento de los alumnos se basa en la
teora de los tests que durante d cadas ha sido la herramienta bsica para conducir
este tipo de evaluaciones en gran escala. Al basarse esta evaluacin en el
instrumento, una parte importante del m todo lo constituyen las fases de su
elaboracin; la construccin, o armado de la prueba, su validacin y su aplicacin.
Los manuales de construccin de pruebas tratan desde los criterios que se siguen
para elaborar reactivos, dependiendo de objetivos y contenidos de aprendizaje hasta su
seleccin y presentacin as como la estructura misma de la prueba, con los
porcentajes de reactivos que debe incluir cada rea temtica o habilidad que incluya.
B. Juicio de expertos.
Este m todo ha sido utilizado frecuentemente, sobre todo en las evaluaciones
hechas por encargo, en las cuales los profesionales tienen la ltima palabra. Si toda
evaluacin conlleva finalmente el juicio valorativo, es importante que este sea emitido
Segundo Semestre 32
por un profesional competente y responsable, sobre todo cuando esten juego el futuro
del programa.
Para llegar al establecimiento de los juicios valorativos (con o sin la intervencin

de los expertos) es necesaria la recopilacin de la informacin pertinente que pueda
sustentarlos. En el caso de la evaluacin por expertos, se expone verbalmente o por
escrito el estado que guarda el programa para su puesta en marcha o en su proceso,
procurando que todos los elementos importantes est n contemplados. Se espera que
el experto diagnostiquela calidad del programa y proporcione orientaciones acerca de
su mejoramiento o su futuro.
Puesto que los componentes del programa son muy variados y dada la
complejidad del contexto en el cual se instala, es pertinente la colaboracin de un grupo
de expertos que valore los diferentes aspectos que se observan: el clima poltico interno
y externo, la administracin, el currculo, los procedimientos didcticos, el rendimiento
del alumno, los costos, el flujo de informacin entre diferentes actores del proceso, etc.
La tarea del evaluador consiste en idear la manera de proporcionar a los

expertos la informacin suficiente para que puedan elaborar sus juicios valorativos y
proveer a su vez a quienes toman decisiones sobre el programa, de una imagen
coherente y significativa del estado que guarda ste, valorando sus diferentes aspectos
en una perspectiva global. En este sentido, el evaluador emite su propio juicio de
experto acerca de la condicin y perspectiva del programa en cuestin.
Los procedimientos evaluativos con la intervencin de expertos provienen

principalmente de Scriven y Stake, quienes en sus modelos dan gran importancia a la
intervencin de los evaluadores profesionales y la elaboracin de los juicios valorativos,
pero es quizs Roberto Wolf en su modelo judicial quien presenta la visin ms clara
de la intervencin del evaluador como experto.
En este modelo, Wolf propone la participacin de dos equipos de evaluacin que

examinan pros y contras del programa que se evala, mediante el desarrollo de cuatro
etapas de intervencin.
Identificacin de problemas.
Seleccin de problemas.
Preparacin de los argumentos.
Conduccin de la audiencia.
C. Diseo experimental.
La introduccin del diseo experimental en evaluacin es bsicamente un intento
por proporcionar una base objetiva o cientfica a los procedimientos para la
recopilacin y anlisis de la informacin sobre el programa, que en ltima instancia
pueda inducir una mayor credibilidad en la investigacin.
Segundo Semestre 33
Al trasladar el experimento a la evaluacin educativa se estipula la

administracin de uno o ms tratamientos o variables independientes (m todos de
enseanza, materiales educativos, etc.) se administran a los estudiantes en
condiciones de control (asignacin al azar en grupos experimentales y de control), se
hacen observaciones y mediciones acerca de los cambios esperados que se definen
previamente (variable dependiente) y se determina qu tanto difieren el grupo
experimental del grupo control en sus ejecuciones.
La eleccin de los sujetos al azar proporciona la base contundente para

determinar que las diferencias de ejecucin entre el grupo experimental y el de control
se deben en su totalidad (excepto por un error al azar que se mide acuciosamente
mediante pruebas estadsticas) al tratamiento administrado al grupo experimental. De
esta manera, las relaciones que se establecen entre las variables son de causa-efecto,
en apego al m todo cientfico.
Una caracterstica bsica de las variables es que deben estar definidas

operacionalmente, condicin necesaria para poder medirse, con lo cual, tanto los
objetivos como los efectos y el mismo tratamiento experimental deben expresarse de la
misma manera.
Stufflebeam y Shinkfield (1989) presentan algunos de los inconvenientes de este

m todo:
Impone controles inalcanzables en un contexto educativo o perjudiciales para los

propsitos de la evaluacin.
Se interfiere con las condiciones normales de los proyectos que se estn

estudiando.
Limita el estudio a unas pocas variables, lo cual limita las decisiones.
Proporciona resultados slo al final de la investigacin.
Quizs la mayor limitante de este m todo sea la rigidez del procedimiento que
impide, por la pretendida objetividad, el r gimen de causalidad que no anima a la
segmentacin del programa en unidades variables de alcance estrecho, la comprensin
amplia del mismo, con el elemento humano y su subjetividad, las desviaciones al plan
original que producen mejoras momentneas o permanentes durante la operacin, y
sobre todo, los procesos que se desarrollan y no han sido contemplados en el plan
original.
D. Congruencia entre objetivos y resultados.
Segundo Semestre 34
Como una parte fundamental de este m todo evaluativo se encuentra el

planteamiento de los objetivos, cuyas peculiaridades deben incluir su expresin en
t rminos tales que puedan medirse y a la vez servir de gua para el estudiante y el
profesor en cuanto a las funciones y logros que se esperan de cada uno.
Inicialmente concebido como un procedimiento evaluativo que pudieran manejar

los profesores y supervisores en su quehacer cotidiano, paulatinamente se ha ido
transformando en una herramienta evaluativa de los programas educativos, cuando el
nfasis deliberado se encuentra en los aspectos pedaggicos, acad micos o
curriculares, y no en los aspectos administrativo-operacionales.
El procedimiento de Tyler es sencillo en su planteamiento, aunque para llevarse

a cabo requiera de mayores esfuerzos. Consta de ocho etapas.
1. Establecer las metas u objetivos.
2. Ordenar los objetivos en amplias clasificaciones.
3. Definir los objetivos en t rminos de comportamiento.
4. Establecer situaciones o condiciones segn las cuales puede ser demostrada la

consecucin de los objetivos.
5. Explicar los propsitos de la estrategia al personal ms importante en las

situaciones ms adecuadas.
6. Escoger o desarrollar las apropiadas medidas t cnicas.
7. Recopilar los datos de trabajo (las notas y calificaciones de los estudiantes).
8. Comparar los datos con los objetivos de comportamiento.
E. La evaluacin de sistemas.
Antes de los aos sesentas no haba una aproximacin evaluativa adecuada a

los sistemas educativos, que permitiera tomar decisiones en la misma perspectiva. El
modelo CIPP de Stufflebeam y colaboradores del Comit Phi Delta Kappa, reportado en
1971, es quizs el esfuerzo ms completo y mejor estructurado para llevar a cabo este
tipo de evaluacin.
La evaluacin de sistemas tiene tres caractersticas bsicas:
Est orientada hacia la toma de decisiones, no hacia la comprensin o

explicacin, es por ello que resulta de utilidad primordialmente a directivos,
supervisores o personal que toma decisiones en las instituciones educativas.
Segundo Semestre 35
Su objetividad no es diagnosticar o demostrar, sino perfeccionar los programas

existentes.
Se desarrolla como un sistema de informacin continua y sistemtica sobre los

diferentes aspectos del programa, por lo que tambi n se emplea como una gua
de supervisin.
Las limitaciones que presenta este m todo son precisamente su concepcin y

condicin de sistema evaluativo. Por un lado, su versatilidad pueda ser grande, es
difcil adaptarlo a situaciones de microexperiencias, particularmente cuando los
profesores introducen cursos innovadores y ellos mismos desean evaluar la
experiencia. En la mayora de los casos, la transformacin del curso a una concepcin
sist mica implicara un esfuerzo excesivo que quizs no valdra la pena, o no sera
recomendable realizar.
F. Evaluacin comprensiva.
Aunque la evaluacin comprensiva no es un m todo particular de evaluacin,

sino una aproximacin y una postura metodolgica en este campo, sus derivaciones en
cuanto a m todo son una alternativa importante para conducir evaluaciones. El
aspecto comprensivo no slo seala la importancia de que el evaluador y quienes estn
vinculados al programa comprendan su significado a trav s de la evaluacin, sino la
necesidad de que esa evaluacin se conciba de manera integral o global.
Quien primeramente propone un m todo global y comprensivo de la evaluacin

es Roberto Stake en su modelo de la figuray su modelo respondente.
El modelo comprensivo de Stake destaca descripciones y juicios como las bases

complementarias de los estudios de evaluacin, las cuales deben comprender tanto los
antecedentes como las transacciones (o procesos) y los resultados del programa,
partiendo de la propia base lgica que lo engloba.
Tanto las observaciones como los juicios deben surgir adems del evaluador de
personas prominentes e importantes para el programa. En esta propuesta se
incrementa el trabajo y la responsabilidad del evaluador, pero se reduce su injerencia
en el establecimiento de juicios y la toma de decisiones. Una de sus tareas bsicas, en
concreto, lo constituyen las observaciones continuas que deben realizar para estar al
tanto de cmo transcurre la realidad del programa y poder analizar sus principales
problemas. De esto se deriva que la recopilacin de datos cuantitativos solamente
resulta limitada, se trata de contar con la figura global del estado que guarda el
programa. Es por ello que las t cnicas de recopilacin de la informacin que
recomienda Stake, adems de las derivadas de m todos estadsticos, incluyen los
estudios de casos, los muestreos intencionados, el anlisis de documentos y la
Segundo Semestre 36
entrevista. Slo mediante esta variedad de t cnicas, se puede tener informacin sobre
las intencionesque se persiguen con el programa, lo cual es tan importante como las
consecuencias derivadas de l.
Otro de los modelos comprensivos es la evaluacin iluminativa propuesta por

Parlett y Hamilton, que se dirige hacia la descripcin y la interpretacin del programa
educativo en una perspectiva amplia, en la cual el contexto, sobre todo por el nfasis en
elementos histricos, sociales y culturales, resulta determinante para situar al programa
y evaluarlo.
La evaluacin iluminativa comprende tres etapas en su procedimiento: la

observacin, la intervencin o investigacin y la explicacin, de tal manera que la
imagen obtenida del programa sea lo ms compleja y coherente, no solamente para el
evaluador, sino para los diferentes actores que intervienen, teniendo en cuenta adems
que los procesos producen resultados inesperados, por lo que la imagen no es esttica,
sino cambiante.
Segundo Semestre 37
PARADIGMAS DE LA EVALUACIN
Morales Velzquez, Cesareo 1995. Planificacin y Administracin Educativa. (Maestra
en Tecnologa Educativa) ILCE M xico.
La evaluacin est ligada a la investigacin cientfica, sobre todo porque

comparte con sta una forma de indagacin propia de la ciencia: la indagacin
sistemtica.
Los m todos en los que se basa esa indagacin pueden variar en la forma, pero
no en los aspectos fundamentales: se abordan problemticas significativas; se emplean
procedimientos sistemticos que validen las conclusiones; se controlan las fuentes de
error en los m todos empleados, o bien, se considera de manera explcita la influencia
del error en los resultados; se recurre a la verificacin emprica y a la lgica para derivar
conclusiones, y se buscan interpretaciones alternativas para explicar los resultados.
Existen dos paradigmas bsicos en la investigacin evaluativa: el hipot tico-

deductivo, asociado con la metodologa experimental, y el holstico-inductivo, que
corresponde al m todo etnogrfico o naturalista. Ambos paradigmas son teoras
acerca de cmo se deben conducir las investigaciones, con sus propios parmetros o
criterios para juzgar la calidad de stas.
Maritza Barrios (1989) resumi las principales caractersticas de cada uno de los
paradigmas de la siguiente manera:
Paradigma hipottico deductivo
Cuantitativo: Presume la necesidad, conveniencia e incluso la posibilidad de explicar

mediante nmeros y relaciones cuantitativas los fenmenos sociales.
Objetivo: Es considerada la esencia del m todo cientfico: ser subjetivo significa

parcialidad, sujeto a desconfianza y poco racional; los datos subjetivos son de opinin
ms que de hechos, de intuicin ms que lgicos y de impresin ms que de
confirmacin.
Distancia de los datos: No hay contacto con los datos y el anlisis se realiza sin que
exista una relacin personal con lo investigado.
Anlisis parcial: Los diseos experimentados se centran alrededor de un nmero

limitado de variables operacionalmente definidas.
Segundo Semestre 38
Anlisis de sistemas fijos: Los diseos experimentales asumen que es posible

identificar, aislar y medir los efectos de un tratamiento, y que el tratamiento, programa o
intervencin permanecen relativamente constantes y sin cambios.
Confiabilidad, replicabilidad y consistencia: Son caractersticas deseables de los

resultados cientficos.
Deduccin: Su inter s es la verificacin de teoras y el descubrimiento de leyes

cientficas, a trav s de m todos cuantitativos basados en el anlisis comparativo de
datos generados (hiptesis test generalizacin).
Uniformidad: Bsqueda de la mejor manera de conducir los programas educativos.
A cada una de las caractersticas anteriores se oponen las correspondientes al

paradigma holstico inductivo, las cuales, en el mismo orden son las siguientes:
Cualitativo: Presume que los fenmenos sociales no son reducibles a nmeros y

relaciones cuantitativas.
Subjetivo: La nocin de que las t cnicas cuantitativas son ms rigurosas y ms libres

de subjetivismo valorativo que las t cnicas cuantitativas, es cuestionable. La
subjetividad estpresente en toda investigacin, tanto en la seleccin de las variables,
como en la construccin de los instrumentos para recoger informacin.
Cercana de los datos: Si no hay empata con lo observado ni la introspeccin

simpat tica que se deriva del contacto personal, el observador no puede entender
completamente la conducta humana.
Anlisis global (holstico): Para que las evaluaciones puedan considerar el contexto
social en el cual el programa o hecho educativo tiene lugar, se requiere un enfoque
metodolgico de carcter holstico o global, que capture la gestad del proceso y de los
resultados del programa.
Perspectiva dinmica: Una vez en marcha, el programa cambia en la medida que los
evaluadores y dems involucrados aprenden qu es lo que funciona y qu no lo hace, y
cada vez que los objetivos y prioridades cambian. En el mundo real, personas y
circunstancias imprevisibles determinan y conforman los programas de intervencin.
Validez interna: Se hace nfasis en la significatividad de los datos reunidos y de los

instrumentos empleados.
Este tercer paradigma es llamado de multioperaciones y se basa en la

consideracin de que todos los m todos de investigacin tienen algn error interno, la
operalizacin de una variable o un constructo es incompleta y vlida slo parcialmente.
Adems, cada perspectiva que el investigador asume con respecto a los sujetos
investigados (bien sea como observador participante o como un fro investigador de
laboratorio) tiene repercusiones en los resultados por la ingerencia de la subjetividad o
Segundo Semestre 39
la pretendida objetividad. Sin embargo, as como cada m todo tiene sus deficiencias,
tambi n tiene sus ventajas, y la principal es que en evaluacin se puede tener mayor
certeza acerca de los resultados de un programa cuando se cuenta con diferentes
perspectivas que confluyen en resultados similares. La evidencia incontrovertible a la
cual la ciencia aspira, pero es particularmente difcil de lograr en las ciencias sociales,
slo puede surgir del anlisis conjunto de los resultados proporcionados por diferentes
investigadores, que al emplear diferentes m todos de investigacin, y diferentes
alternativas para operacionalizar los constructos. Si el anlisis de tales resultados
pudiera sustentar una conclusin particular, tal conclusin sera vlida cientficamente.
Las manifestaciones concretas derivadas de los paradigmas son las

aportaciones de los tericos de la evaluacin, algunos de los cuales hemos revisado
anteriormente. Las posturas de Tyler, Scriven, Stufflebeam Provus se inscriben en el
paradigma tradicional positivista; las aproximaciones de Stake, MacDonald, Partlett y
Hamilton se ubican dentro del paradigma holstico inductivo; la propuesta de
Cronbach se dirige hacia la visin holstica del programa, aunque tambi n utiliza
t cnicas y procedimientos propios del enfoque tradicional, por lo que se le puede
clasificar dentro de la concepcin ecl ctica del paradigma de multioperaciones.
Segundo Semestre 40
NORMAS Y CRITERIOS DE LA EVALUACIN

Morales Velzquez Cesareo 1995. Planificacin y Administracin Educativa, (Maestra
Una de las caractersticas de la evaluacin, en contraste con la investigacin, es

el establecimiento de juicios de valor acerca del objeto evaluado. La responsabilidad
del evaluador es muy grande, por lo que estobligado a conducir un proceso riguroso
de investigacin que asegure la objetividad o veracidad de sus juicios. Es por ello
necesario el establecimiento de criterios o puntos de referencia para validar la propia
evaluacin y contrastar los resultados que se obtienen.
Estos criterios se establecen de antemano, puesto que funcionan como una gua
general para conducir el proceso de investigacin evaluativa, por lo que no todos los
evaluadores, dependiendo del paradigma en que se inscriben, estn de acuerdo en su
planteamiento.
Stufflebeam et al. (1971) proponen once criterios que deben pretenderse en toda
evaluacin. Los primeros cuatro conciernen a la calidad cientfica de la evaluacin:
validez interna, validez externa, confiabilidad y objetividad. Los siguientes seis son
criterios prcticos, acerca de la utilidad de la evaluacin:
Relevancia. Los datos de la evaluacin sirven para cubrir ciertos propsitos. Mediante
el criterio de relevancia nos preguntamos si podemos cubrir tales propsitos. Una
consecuencia importante de este criterio es que el evaluador debe estar seguro de cul
es la informacin que requieren los usuarios de los resultados, para tener esto en
cuenta al disear la evaluacin. Los propsitos de los usuarios debern conformar una
lista de preguntas evaluativos que la investigacin debe contestar. La relevancia se
determina comparando cada uno de los datos evaluativos con el propsito que debe
cubrir.
Importancia. El evaluador necesita saber reconocer de antemano cul es la

informacin que ser importante para el usuario, mediante el empleo de juicios de
significancia. Estos juicios se extraen de entrevistas con los usuarios, as como de la
propia experiencia del evaluador, de diversos documentos, etc. El evaluador deber
resaltar la informacin ms importante.
Alcance. La informacin puede ser relevante e importante pero carecer del alcance
suficiente para ser til. Por otro lado, este criterio puede entrar en conflicto con los
anteriores porque en el afn de contar con informacin completa, el evaluador puede
incluir elementos irrelevantes o insignificantes. Cuando se aplican conjuntamente, los
tres criterios pueden derivar en informacin pertinente a los propsitos (relevancia), sin
Segundo Semestre 41
llegar a caer en el detalle (importancia) o ser demasiado estrecha en su alcance. Este

criterio slo puede ser valorado cuando se tiene el panorama completo de la
informacin.
Credibilidad. Este criterio se relaciona con la confianza que el usuario tiene en el
evaluador como fuente de informacin. Si el usuario no confa en la capacidad o la
veracidad del evaluador, no considerar creble la informacin que se le presente,
aunque cientficamente sea impecable. La credibilidad se incrementa cuando la
evaluacin se lleva a cabo abiertamente y el evaluador tiene un historial de integridad.
Oportunidad. La mejor informacin puede resultar intil si llega demasiado pronto o

demasiado tarde. Este criterio se refiere a que el evaluador debe proporcionar la
informacin cuando el usuario la necesita. Muchas veces el evaluador, por el prurito de
valorar acertadamente, llega a retener la informacin demasiado tiempo, de tal manera
que cuando la proporciona resulta innecesaria porque el usuario ya tom las
decisiones. Vale ms proporcionar informacin parcial, pero oportuna, que informacin
completa y a destiempo.
Diseminacin. El evaluador debe tomar en cuenta a todas las personas que necesitan
conocer los resultados de la evaluacin. Es frecuente que el evaluador de a conocer
los resultados al administrador solamente, y sea ste quien sancione la informacin que
debe hacerse pblica. El evaluador debe asegurarse que los dems miembros del
programa conocen tambi n los resultados.
Al ltimo criterio, Stufflebeam lo llam de prudencia, y es:
Eficiencia. Se refiere a la adecuada administracin del tiempo, los costos, el personal

operativo, y en general, de los medios que el evaluador requiere para llevar a cabo el
proyecto de evaluacin. Generalmente las evaluaciones largas, costosas y con
requerimientos especiales de materiales o de personal, no tienen muchas
probabilidades de llevarse a efecto.
Los criterios de utilidad fueron trasladados a las normas de evaluacin que

elabor el Joint Comit on Standards for Educational Evaluation, a las cuales se
aadieron las normas de factibilidad, legitimidad y precisin. Para este Comit es
indistinto hablar de normas que de criterios, y define a las primeras como principios
comnmente aceptados por los expertos en la conduccin y uso de la evaluacin, por
medio de la medicin del valor o la calidad de sta.
A manera de ejemplo, pero adems considerando la importancia que tienen para

el proceso de planificacin de la evaluacin, se transcriben algunas de las normas
concretas, con sus principales lineamientos. En el par ntesis se menciona el tipo de
normas a que se refiere cada una.
Identificacin de la audiencia. (Utilidad). Las audiencias comprometidas o afectadas

por la evaluacin se deben identificar para satisfacer sus necesidades.
Segundo Semestre 42
Lineamientos
1. Identifique a los lderes desde el principio de la evaluacin, pues stos pueden

ayudar al evaluador a elegir otras audiencias.
2. Establezca contacto con los representantes de las audiencias y conozca la

importancia que stos otorgan a la evaluacin, el uso que harn de los resultados y
la informacin de sus intereses particulares.
3. Llegue a un acuerdo con el cliente respecto a la importancia de las audiencias

potenciales y de la informacin que ste desea obtener.
Identificacin del objeto. (Precisin). El objeto de la evaluacin (programa, proyecto,

material) se debe examinar exhaustivamente, de manera que las formas del objeto
consideradas en la evaluacin se puedan identificar con claridad.
Lineamientos
1. Pida al cliente y a otras audiencias que describan de forma oral y si es posible por
escrito el objeto de la evaluacin realistamente, en lo que se refiere a: Personal,
costos, locacin, instalaciones, objetivos, y los efectos potenciales secundarios.
2. Recopile las descripciones disponibles del objeto, incluyendo las propuestas, los
informes pblicos y los informes de trabajo del personal parciales y finales.
3. Si lo permite el presupuesto, incluya la descripcin del objeto por observadores

independientes.
4. Como parte del proceso evaluatorio permanente, mantenga actualizadas las

descripciones del objeto de las diversas fuentes de informacin (por ejemplo,
observadores participantes, minutas de las reuniones del personal e informes de
progreso) y dedique particular atencin a los cambios que ocurran.
Anlisis del contexto. (Precisin). El contexto en el cual el programa, proyecto o

material existe se debe examinar detalladamente, de tal forma que sus posibles
influencias en el objeto sean identificables.
Lineamientos
1. Describa el contexto social, poltico y econmico del objeto, utilizando diversos

recursos (historias, registros, estudios demogrficos, artculos periodsticos,
documentos legales, etc.)
Segundo Semestre 43
2. Lleve un historial de las circunstancias no estipuladas (por ejemplo, huelgas,

protestas de alumnos, incomunicacin por tormentas, etc.) que pudieran influir en
los resultados.
Descripcin de los propsitos y procedimientos. (Precisin). Los propsitos y

procedimientos de la evaluacin se deben revisar y describir detalladamente, de tal
forma que se puedan identificar y medir.
Lineamientos
1. Registre la concepcin inicial del cliente respecto al propsito de la evaluacin.
2. Registre la concepcin inicial del cliente respecto a cmo se cumplir con los
propsitos.
3. Logre establecer un acuerdo claro con el cliente respecto a los cambios importantes
de los propsitos o procedimientos evaluativos, conforme stos se realicen.
4. Al concluir la evaluacin, recopile los informes tanto sumarios como t cnicos, y

especifique cules fueron los propsitos y cmo se realizaron.
5. Cuando se factible, especialmente en evaluaciones de gran escala, contrate a

evaluadores independientes para que realicen la metaevaluacin (evaluacin de los
procedimientos evaluativos).
Interpretacin valorativa. (Utilidad). Las perspectivas, procedimientos y

fundamentacin que se utilicen para interpretar los resultados deben describirse con
cuidado, de manera que los fundamentos de los juicios de valor sean claros.
Lineamientos
1. Considere las bases alternativas para interpretar los resultados, por ejemplo:
objetivos del proyecto, especificacin de los procedimientos, leyes y reglamentos,
metas institucionales, ideales democrticos o desempeo de los grupos de
comparacin.
2. Considere qui n harla interpretacin valorativa, por ejemplo: los evaluadores, el

cliente, las diversas audiencias, algn grupo regulador especficamente encargado
de estas tareas, o alguna combinacin de stos.
3. Considere las t cnicas alternativas que se podran utilizar para medir el valor
significativo de la informacin recopilada, por ejemplo: cuente con grupos paralelos
de expertos que elaboren informes por escrito; responsabilice de manera directa al
cliente y a otras audiencias para que elaboren las interpretaciones de valor.
Segundo Semestre 44
Procedimientos prcticos. (Factibilidad). Los procedimientos de la evaluacin deben

ser prcticos, de manera que las interrupciones sean mnimas y se obtenga toda la
informacin necesaria.
Lineamientos
1. Elija los procedimientos que se puedan realizar con un esfuerzo razonable.
2. Seleccione los procedimientos de tal manera que tenga en cuenta las restricciones
de tiempo y la disponibilidad de los participantes.
3. Verifique con los participantes la factibilidad del calendario para la recopilacin de

los datos y sus diversas t cnicas.
4. Asegrese que el personal suficientemente capacitado est disponible para terminar

la evaluacin como se propuso.
5. Verifique con los participantes la factibilidad del plan de muestreo.
Trascendencia de la evaluacin. (Utilidad). Las evaluaciones se deben planear y

dirigir para estimular su cumplimiento y seguimiento en los miembros de las audiencias.
Lineamientos
1. Al comienzo de la evaluacin, muestre a las audiencias principales de qu manera

seran tiles los resultados de la evaluacin a su trabajo.
2. Encrguese de que los representantes de otras audiencias participen en la

determinacin de las preguntas y en la planeacin de la puesta en marcha de los
procedimientos de la evaluacin.
3. Sea abierto, franco y concreto al informar a las audiencias y mu strese dispuesto y

deseoso de ayudar a esclarecer los informes.
4. Elabore peridicamente informes de los resultados preliminares, en los cuales

destaque cmo pueden ser aplicados, segn el papel que desempeen los
miembros de las audiencias.
5. Trace los m ritos de los posibles cursos de accin alternativos por tomar y someta a
anlisis aquellos que aparezcan en el informe final.
Con la serie de criterios y lineamientos anteriores, el evaluador tiene la

posibilidad de planear un estudio claro y sistemtico. Sin embargo, este tipo de normas
y criterios algunas veces choca con la realidad a la que se enfrenta el evaluador, sobre
todo en el contexto educativo latinoamericano, en el que las prcticas investigativas
Segundo Semestre 45
adquieren connotaciones particulares por las polticas y criterios institucionales que en

ltima instancia dirigen y sancionan la evaluacin de los programas. Se pueden
identificar al menos cuatro elementos que afectan a incorporacin de normas rigurosas
a la manera de las recomendadas por el Joint Comit en el planteamiento de proyectos
evaluativos en el contexto latinoamericano:
1. Existe una diferencia bsica entre nuestras necesidades de evaluacin y las

necesidades evaluativos norteamericanas. El sistema educativo norteamericano
cuenta con un presupuesto que permite llevar a cabo verdaderos planes piloto, a la
vez que experimentar con programas novedosos, por lo cual es posible llegar a
plantear proyectos de evaluacin en los cuales las decisiones que se deriven de
ellos pueden ser definitivas. El nuestro contexto, los planes y programas educativos
que se proyectan implican esfuerzos y erogaciones importantes, considerando los
presupuestos raquticos que se destinan a la educacin, lo cual hace impensable la
posibilidad de suspender un programa como resultado de una evaluacin, por ms
rigurosa que sta sea. Nuestros esfuerzos en evaluacin estn encaminados ms
bien hacia lo que se conoce como validacin, en la cual la evaluacin es muchos
casos un instrumento para mejorar o llegar a optimizar el programa en cuestin.
De all que en nuestro medio el nfasis principal est en la planificacin del
programa educativo.
2. En general, hay un esfuerzo en los evaluadores latinoamericanos por llevar a cabo

estudios rigurosos, sin embargo, aparte de las dificultades t cnicas derivadas de la
escasa formacin de cuadros profesionales en la materia, y las dificultades
presupuestas que impiden llevar a cabo el plan evaluativo en su totalidad, las
decisiones sobre qu y cmo evaluar un programa son tomadas por directivos que
no estn sensibilizados hacia las necesidades de rigurosidad en la investigacin
evaluativa, y esperan de la evaluacin slo una confirmacin de las bondades del
programa.
3. En t rminos de las propuestas de evaluacin que se elaboran, existe una enorme

diferencia entre aquellas que se dirigen a evaluar proyectos y programas en el nivel
educativo superior y las que se destinan al nivel bsico o medio. Al inferior de las
universidades, los presupuestos destinados a la investigacin son mayores
proporcionalmente a los que tienen cualquier otro sistema educativo, y su relativa
independencia o autonoma al menos en lo que respecta a la libertad de ctedra y
de investigacin las libera de presiones burocrticas nocivas, lo cual permite que las
propuestas en cuanto a currculo, administracin y evaluacin corresponden a las
necesidades educativas del nivel, y sean elaboradas y llevadas a efecto por
profesionales actualizados, o al menos con posibilidades reales de conducir una
investigacin rigurosa.
Sin embargo, en otros niveles educativos que dependen de Ministerios o

Secretaras de Educacin, el panorama es muy diferente: las propuestas se plantean
desde la misma administracin central, lo cual facilita el control pero al mismo tiempo
fomenta el alejamiento de los profesionales en currculo, administracin o evaluacin de
Segundo Semestre 46
la realidad educativa concreta, y permite el surgimiento de un ambiente de recelo,

fiscalizacin y corrupcin en las prcticas evaluativos. Adems, la visin generalizada
en estos mbitos de que la evaluacin es una actividad de apoyo a la operacin de los
programas y no una accin investigativa con m ritos propios, lleva al mismo evaluador
a caer en el error de tratar de equiparar los objetivos y metas del programa con los
propios de la evaluacin, en perjuicio de ese alejamiento necesario del que debe echar
mano el evaluador para establecer los juicios del valor. Todo ello acrecienta las
diferencias entre los estudios de evaluacin que se realizan en las universidades, con
su discurso academicista y terico, de anlisis e innovacin en sus propuestas, y los
que se llevan a cabo en otros niveles educativos en los que se prioriza la operacin y
se deja de lado la rigurosidad t cnica.
4. En el contexto latinoamericano los estudios de evaluacin de programas

generalmente se planean y se ejecutan al interior de las propias instituciones
educativas. An cuando existan evaluadores independientes, las condiciones en las
cuales se llevan a cabo estos estudios son tareas institucionales, por lo que hablar
de cliente, o contrato de evaluacin resulta innecesario o poco realista. Por otro
lado, plantear la identificacin de la audiencia en t rminos que involucren a grupos
sociales ajenos resulta pretencioso en el mejor de los casos: no hay ms audiencia
que los directivos institucionales que toman las decisiones sobre los programas, y
en ocasiones los docentes y el personal que realiza las tareas de supervisin.
Las consideraciones anteriores sobre las caractersticas particulares que

adquieren los estudios evaluativos en nuestros pases latinoamericanos son un
prembulo de las directrices que toman los tericos de la regin al considerar los
contenidos de la evaluacin. Cules son los interrogantes que se plantean al planear
un estudio de evaluacin?, cules son los aspectos de los programas hacia los cuales
dirigir la atencin?
Segundo Semestre 47
CONTENIDOS, TIPOS Y FASES DE LA EVALUACIN

Morales Velzquez Cesareo 1995. Planificacin y Administracin Educativa, (Maestra
Los contenidos de la evaluacin hacen referencia a dos aspectos primordiales de

cualquier estudio evaluativo que se emprenda: cul es la finalidad de la evaluacin del
programa y qu aspectos de l se evaluarn concretamente.
El primer aspecto se refiere a los objetivos de la evaluacin, sus propsitos o las

finalidades que se persiguen al llevarla a cabo. En nuestro contexto, como apuntamos
en el apartado anterior, los estudios evaluativos son una labor industrial, para la cual
existen departamentos y consejos que establecen polticas, criterios y objetivos de la
evaluacin que se llevar a cabo al interior de los programas institucionales. Sin
embargo, al plantear un estudio evaluativo, es necesario, sobre todo en los programas
masivos institucionales, la delimitacin de objetivos o propsitos que se persiguen. El
planteamiento de los objetivos debe contestar los siguientes interrogantes:
1. Cul es el alcance de la evaluacin?, es decir, es necesario delimitar si el proyecto

evaluativo afectaral programa en su totalidad o slo a una parte.
2. A qui n servir la informacin proporcionada por la evaluacin?, es decir, se

especifican personas, grupos o instancias a quienes se dirigirla informacin para
apoyar la toma de decisiones a diferentes niveles.
3. Cules sern las consecuencias para el programa?, es decir, si se llevaracabo

una evaluacin formativa, sumaria o ambas (ver tipos de evaluacin en el siguiente
apartado).
4. En qu fase o fases del programa se centrar la evaluacin?, es decir, si se

pretende incidir en la fase de planeacin, en la implantacin, o la de operacin.
5. Cules son los aspectos del programa a los que se pondrmayor atencin?, es
decir, si de manera general se pondr mayor nfasis en la evaluacin de los
aspectos psicopedaggicos, los aspectos operativos o los administrativo-
presupuestarios.
6. De qu manera se retroalimentar a los diferentes sistemas de apoyo al

programa?, es decir, especificar cul es la informacin evaluativa que
retroalimentara la capacitacin, la supervisin y la administracin del programa.
Algunos autores, siguiendo la lnea de Scriven, Stake y los iluminativos, se

oponen al planteamiento de objetivos, por las limitaciones que ello acarrea sobre la
libertad de observacin para el evaluador. En lugar de objetivos se plantean preguntas
de evaluacin, las cuales presentan la ventaja de que no comprometen el estudio
Segundo Semestre 49
evaluativo en una constante bsqueda por cubrir tales objetivos en detrimento de las
posibles aportaciones que pudieran surgir espontneamente en el transcurso de la
evaluacin. Por ejemplo, Roger Couvert (1979), en una gua para evaluar programas
de alfabetizacin ofrece una gran cantidad de preguntas de evaluacin, de las cuales
presentamos los siguientes dos ejemplos. En cuanto a la voluntad poltica para llevar a
cabo programas de alfabetizacin, se pregunta:
Son mejores los resultados conseguidos por los participantes cuando existe una
voluntad poltica de proceder a la alfabetizacin con miras a una transformacin del
medio ambiente?
Y con respecto a la organizacin de los cursos:
Las tazas de cobertura del programa, de participacin, de abandono, de asiduidad, de

utilizacin del tiempo, de participacin en las pruebas terminales, de xito en las
pruebas de fin de ciclo, varan en funcin del local elegido para los cursos?
Las preguntas no siempre se presentan en forma de interrogantes, sino como

condicionales. Tal es el caso del siguiente ejemplo relativo a los materiales
instruccionales:
En relacin con cada tipo de material utilizado, cabe preguntarse si el contenido

corresponde efectivamente a los objetivos iniciales, s est construido lgicamente, si
se adapta psicolgicamente al nivel de los participantes, si corresponde a sus intereses
y, en consecuencia, si atraer su atencin, si el lenguaje utilizado es fcilmente
comprensible, si las ilustraciones son idneas, etc.
Cada uno de los condicionales anteriores son en realidad una pregunta de

investigacin en una condicin concreta, pero, al igual que las anteriores preguntas
ms generales, representan el lugar que ocupa una hiptesis en otro tipo de
investigacin.
Por otro lado, aunque pareciera que las preguntas de investigacin representan
alternativas a los objetivos, frecuentemente ambos elementos de los contenidos se
plantean en una misma investigacin, cuando se trata de tener una mayor especificidad
en los propsitos y procedimientos de la evaluacin.
El segundo elemento de los contenidos de la evaluacin son los aspectos del

programa que se evaluarn. Son los variables, los elementos crticos o factores
determinantes del programa mediante los cuales se podrtener una visin completa y
decisiva del mismo. Hay una amplia gama de criterios para la seleccin de los
aspectos a evaluar (a los cuales podemos en realidad equiparar con los contenidos,
una vez hecha la aclaracin de que stos comprenden adems los objetivos y
preguntas de investigacin).
Maritza Barrios presenta una serie de seis criterios para definir el contenido de
las evaluaciones:
Segundo Semestre 50
1. Los objetivos son las directrices que tiene un programa, con sus hiptesis sobre los
productos que se esperan y son los primeros puntos de comparacin con que
cuenta el evaluador para establecer juicios sobre los resultados observados. Al
planear la evaluacin, el investigador tiene la responsabilidad de verificar que los
objetivos del programa est n suficientemente delimitados y que los diversos
participantes los manejen de la misma manera, o bien que los diferentes puntos de
vista con respecto a ellos sean objetos de la misma evaluacin, para juzgar su
pertenencia ambigedad, y efecto sobre la misma operacin del programa.
2. Los resultados son otros criterios que el evaluador toma en cuenta en el

establecimiento de juicios. Los resultados se definen en t rminos de los productos
generados por los participantes del impacto social que se produce por efecto de la
prctica del programa sobre los individuos directamente involucrados y los grupos
adyacentes. Los resultados tambi n se plantean en t rminos de los beneficios que
aporta el programa a los usuarios y a la comunidad.
3. Otro de los criterios que propone Barrios son las hiptesis funcionales, es decir,
aquellas relaciones entre variables en t rminos funcionales o de causa-efecto. En
estos t rminos, el evaluador identifica el cuerpo de variables o elementos crticos del
programa y contrasta sus efectos al interrelacionar dos o ms de ellas mediante la
descripcin o los procedimientos estadsticos. De esta manera, puede confiar en
que tendruna visin global y explicativa de los efectos esperados y observados del
programa.
4. Las decisiones son un factor importante a tomar en cuenta al seleccionar los

tambi n contenidos de la evaluacin. En gran parte de los estudios evaluativos, una
premisa bsica es que el programa puede cambiar o adecuarse para beneficio de
los usuarios, por lo que el investigador debe estar atento para reunir informacin
relevante, oportuna y suficiente a fin de que los responsables puedan tomar las
decisiones pertinentes.
5. De acuerdo con el modelo respondientede Robert Stake, el verdadero sentido de

la evaluacin es la solucin de la problemtica que se presenta al operar los
programas. Por ello, el evaluador debe enfocar el estudio hacia la identificacin de
los problemas, los cuales sern conceptualizados a partir de un marco referencial,
producto de observaciones previas sobre el mismo programa o programas similares,
una aproximacin terica del significado social del programa, y las preocupaciones y
necesidades de los grupos involucrados.
6. El ltimo criterio que propone Barrios para la seleccin de los contenidos son los
datos y observaciones que es posible obtener del programa a evaluar. En esta
orientacin se encuentran los evaluadores iluminativos y quienes se dirigen hacia
una evaluacin comprensiva de tipo antropolgico. En esta postura, los contenidos
de la evaluacin deben guiar hacia la comprensin de cmo opera el programa en la
realidad. Por ello, la tarea del evaluador es describir, analizar, encontrar relaciones
Segundo Semestre 51
entre los procesos que se llevan a cabo y cualificarel fenmeno educativo en su

totalidad, para poder incidir sobre l.
Otros autores consideran que es necesario evaluar aspectos relevantes y

decisorios de los programas. Briones propone ocho referentes u objetos de evaluacin:
1. Los objetivos o metas del programa (su claridad, coherencia, jerarquizacin, etc.)
2. El contexto en el que se desarrolla el programa .
3. Su organizacin y funcionamiento (la estructura, los niveles de participacin, las

funciones e interacciones de los participantes, etc.)
4. Los recursos bsicos y financieros que se utilizan (disponibilidad, fuentes, montos,

flujo, costos, mecanismos de asignacin, adecuacin a los objetos previstos, etc.)
5. La metodologa, estrategia o medios que se utilizan en el programa (material

didctico, m todo de enseanza, t cnicas didcticas, adecuacin de objetivos con
caractersticas de la poblacin, etc.)
6. Los procesos que conducen al logro de objetivos buscados y no buscados. En el

primer caso los que tienen que ver con los objetivos explcitos del programa, y
acompaan a los procesos especficos de la metodologa; en el segundo, procesos
que se producen de manera natural o no prevista, como la utilizacin novedosa del
material didctico, el empleo de t cnicas no especificadas, etc.
7. Los resultados que se obtienen (las modificaciones esperadas y no esperadas que

se producen en los usuarios, los productos parciales y finales que se generan, el
logro de los objetivos del programa, etc.)
8. Los problemas que se presentan en la marcha del programa, y las medidas que se
adoptan para su solucin.
TIPOS DE EVALUACIN
Existen diversas maneras de concebir un estudio evaluativo, dependiendo de las

necesidades declaradas para observar un programa educativo. Al haber identificado
los contenidos de la evaluacin, es necesario que el evaluador defina que tipo o tipos
de evaluacin comprender el estudio, como un paso preliminar para desarrollar la
metodologa.
El programa educativo comprende una variedad de facetas, necesidades a

satisfacer, personajes involucrados, fases y procedimientos a seguir, productos
esperados, etc., que requieren orientaciones y procedimientos evaluativos diversos. El
estudio evaluativo puede estar dirigido hacia la investigacin de los procesos internos
Segundo Semestre 52
del programa o hacia la verificacin de las metas y objetivos alcanzados; hacia la

efectividad de los componentes o el impacto social resultante; hacia los procedimientos
didcticos, los costos, el aprovechamiento alcanzado por los alumnos, etc. Por otro
lado, el estudio evaluativo puede ser llevado a efecto por el mismo personal
involucrado, o por evaluadores externos, y puede tener un carcter descriptivo o
explicativo.
Clasificacin de acuerdo con el contenido

Los principales tipos de evaluacin en esta categora son seis: formativa,
sumaria, de contexto, de insumos, de procesos y de productos.
Evaluacin formativa. Fue propuesta inicialmente por Michael Scriven (1967, 1973)
para referirse a la funcin que debe tener la evaluacin en el desarrollo del currculo.
Segn este autor, la funcin principal de la evaluacin es descubrir las deficiencias y
aciertos de las versiones intermedias del nuevo currculo, con miras a su mejoramiento.
La evaluacin formativa estllamada a incidir sobre lo que Scriven llama instrumentos
educativos(procesos, personal, procedimientos, programas, etc.) para realimentar su
desarrollo y planear su perfeccionamiento.
Este tipo de evaluacin ha sido dirigido particularmente hacia los procesos de

enseanza y el diseo de materiales didcticos. Incluye regularmente a la evaluacin
diagnstica, la cual es el punto de partida para iniciar el proceso de evaluacin, y
fundamenta los cambios que sobre la marcha se realizan en el currculo. Adems, se
apoya en los procedimientos de supervisin que constantemente generan la
retroalimentacin necesaria sobre la puesta en prctica de las innovaciones
introducidas al currculo.
Evaluacin sumativa. Es el balance final que se hace sobre el programa, currculo o

componente, para decidir acerca de su futura utilizacin o cambio. Lo importante en
este tipo de evaluacin es establecer el valor o m rito del objeto de evaluacin. Lo que
interesa bsicamente al evaluador en este caso es la identificacin y valoracin de los
resultados, la calidad del producto final generado por el programa. La evaluacin
sumativa es tambi n el control de calidad para juzgar si las metas establecidas para el
programa o currculo son factibles de lograr, o los productos rebasan las expectativas
previas.
Evaluacin de contexto. De acuerdo con Daniel Stufflebeam (quien sistematiz ste y

los siguientes tres tipos de evaluacin que veremos), la evaluacin del contexto es un
microanlisis de las condiciones en las cuales se mueve el programa, las necesidades
no cubiertas y las oportunidades desaprovechadas en la operacin para cubrir los
objetivos. La evaluacin de contexto resulta en un diagnstico de la problemtica
general del programa que es necesario resolver.
Segundo Semestre 53
Evaluacin de insumos. Este tipo de evaluacin proporciona informacin para

determinar la manera de utilizar los recursos disponibles y poder alcanzar los objetivos.
Esta evaluacin se centra en la identificacin de tres elementos: los alcances y
capacidades de la institucin que opera el programa, las estrategias para alcanzar los
objetivos propuestos y los m todos para planificar la estrategia elegida. En el primer
elemento, es necesario determinar si se necesita apoyo externo al programa, en el
segundo, si la estrategia adoptada es la ms adecuada o no en t rminos del
presupuesto, personal y tiempo disponible, y en el tercero determinar los
procedimientos de trabajo (como las bsquedas bibliogrficas, las asesoras o las
visitas a programas tipo) para planear adecuadamente la estrategia y contar con bases
de comparacin al establecer los juicios evaluativos.
Evaluacin de procesos. Una vez que se aprueba el programa o proyecto educativo,

es necesario proporcionar retroalimentacin peridica acerca de su marcha a quienes
deciden sobre planes y procedimientos. La evaluacin de proceso establece tres
objetivos principales: el primero es detectar o predecir defectos en el diseo durante la
implementacin del programa, el segundo es el proporcionar informacin para la toma
de decisiones y el tercero es el mantener una fuente de informacin continua sobre la
marcha del programa.
Evaluacin de productos. Este tipo de evaluacin tiene como propsito medir e

interpretar los resultados del programa, no solo al finalizar el mismo, sino tambi n
durante su desarrollo. Este tipo clsico de evaluacin establece comparaciones: entre
los objetivos establecidos y los resultados obtenidos, entre un programa tipo y el
programa evaluado, entre las ejecuciones de un grupo control y el grupo experimental,
entre las ejecuciones de dos individuos, etc.
Las bases de comparacin que se establecen en la evaluacin de producto

incluyen la definicin operacional de los objetivos, la medicin de los criterios asociados
a los objetivos de las acciones, la comparacin de los resultados con las normas
establecidas previamente, o bien la interpretacin de los resultados utilizando la
informacin proveniente de las evaluaciones de contexto, de insumo o de proceso.
Clasificacin de acuerdo con la forma
Bajo esta clasificacin se presentan cuatro tipos de evaluacin: descriptiva,

explicativa, interna y externa.
Evaluacin descriptiva. La conduccin de estudios descriptivos en evaluacin surge

de la propuesta de Stake acerca de la figura de la evaluacinen la cual argumenta
que los elementos clave de una evaluacin son la descripcin y el juicio. La descripcin
la realiza el evaluador con base en las intenciones o propsitos del programa,
contrastndolos con las observaciones hechas en la operacin. Los juicios se derivan
de la contrastacin con normas establecidas de antemano acerca del grado en que se
alcanzan los propsitos de cada fase del programa.
Segundo Semestre 54
Evaluacin explicativa. Este tipo de evaluacin es, en t rminos de investigacin, la

aproximacin empirista al campo. Los referentes evaluativos estn sujetos a la
comprobacin emprica antes de poder responder a los requerimientos de los juicios
evaluativos. La manera de comprobar la veracidad de los datos evaluativos es la que
propone el m todo de la ciencia emprica: bsicamente el m todo experimental. A la
luz de determinadas teoras de los campos disciplinarios que inciden en la investigacin
evaluativa, se intenta probar o disprobar hiptesis relevantes que fundamentan los
juicios evaluativos.
Este tipo de evaluaciones es analtico, ms que holstico y tendiente a la

generalizacin de los datos, ms que a la descripcin exhaustiva de un solo programa.
La caracterstica principal de este tipo de evaluaciones es que se trata de aislar al
programa o a los componentes del mismo como variable independiente y establecer los
controles necesarios en el diseo de la investigacin para adjudicar los efectos al
mismo programa y no a otras causas. En este sentido, se procede a disear muestras
al azar, grupos de control y anlisis de base cuantitativa, que permitan explicar los
resultados. Dice Briones.
Un promotor de este tipo de evaluaciones fue Edward Suchman, quien haca la

distincin entre evaluacin e investigacin evaluativa en el sentido de que la primera se
propone establecer juicios de valor, independientemente de la metodologa empleada
para llegar a tal juicio, por lo que puede incluir al sentido comn. Por otro lado, la
investigacin evaluativa pone al m todo cientfico al servicio de la evaluacin. Para
Suchman, la evaluacin es una meta, mientras que la investigacin evaluativa puede
considerarse como un medio para alcanzar esa meta.
Para el caso de los paradigmas en que se presenta este tipo de evaluacin

pertenece a la tradicin general del positivismo en el cual se presupone una realidad
objetiva que es necesario verificar a trav s de la investigacin. En cambio, el tipo
descriptivo parte de un paradigma fenomenolgico, recientemente desarrollado en
filosofa de la ciencia, en el cual las realidades son mltiples y totales, y los fenmenos
se entrelazan en una conformacin simultnea, de tal manera que es imposible
distinguir la causa del efecto. En este paradigma es importante la comprensin
(verstehen) de los fenmenos, no su explicacin.
Evaluacin externa y evaluacin interna. Estos tipos de evaluaciones se refieren a

la ubicacin del evaluador con respecto al programa a evaluar. Una evaluacin externa
es conducida bsicamente por personas que no tienen otras responsabilidades
asignadas o participaron dentro del programa (planeacin, ejecucin, recepcin,
supervisin, etc.), mientras que la evaluacin interna es una tarea que lleva a cabo el
mismo personal del programa.
Los efectos previsibles sobre los resultados de la evaluacin son uno de los
factores a considerar cuando se toman las decisiones con respecto a qui n evala.
Quienes buscan mayor objetividad y confan en las habilidades de expertos, preferirn
la evaluacin externa; por otro lado, quienes esperan un mayor involucramiento del
Segundo Semestre 55
personal a trav s de la autorreflexin y autocracia, y prev n una oportunidad para la

formacin del personal, optarn por la evaluacin interna. Por un lado se enfatiza la
objetividad; por otro, la autoevaluacin.
Sin embargo, no solamente se trata de preferencias de quienes toman

decisiones sobre el tipo de evaluacin a emprender. Una reflexin importante para el
caso es la consideracin del punto de vista del evaluador acerca del programa o un
componente del mismo. Mientras que para el evaluador externo puede ser
perfectamente admisible el aplicar una prueba estandarizada a todos los alumnos de
determinado grado, para un docente que conoce los alcances de sus pupilos y su
avance en el curso, podra parecer injusto. Otras consideraciones importantes son las
finalidades de la evaluacin y los alcances del programa. Si dentro de esas finalidades
se encuentra la toma de decisiones acerca de la continuacin o terminacin del
programa, ser conveniente tomar en cuenta tanto los juicios internos como los
externos. Por otro lado, cuando el programa se proyecta de manera general a todo un
sistema educativo, es poco probable la factibilidad y efectividad de una evaluacin
interna.
Segundo Semestre 56
FASES DE LA EVALUACIN
Ruiz Ruiz, Jos Mara 1997, Cmo hacer una evaluacin de Centros Educativos,
Narcea, Madrid.
La evaluacin educativa es una actividad sistemtica y, como tal debe ser

sometida a una planificacin previa y a un cierto control en su ejecucin. Las fases y
componentes principales son:
a) Fase de planificacin
Constituye la primera fase del proceso de la evaluacin, y su producto final se

materializa en el Plan de Evaluacin. Este permite articular todos los factores que
intervienen en el proceso de evaluacin con la finalidad de garantizar la veracidad y
rigor de los datos, as como la validez y eficacia de las conclusiones.
En un Plan de Evaluacin hay que contemplar, al menos los siguientes puntos:
a) Descripcin clara del problema o factor desencadenante del estudio de

evaluacin.
b) Definicin del mbito y finalidad del estudio.
c) Eleccin del enfoque metodolgico apropiado: cuantitativo y cualitativo.
d) Especificacin, si procede, de los indicadores de calidad y preparacin de los
procedimientos y/o instrumentos de recogida de datos.
e) Determinacin de los procedimientos de anlisis e interpretacin de los datos.
f) Previsin de mecanismos de discusin y elaboracin de conclusiones.
g) Asignacin de responsabilidades a los participantes.
h) Temporalizacin de las diferentes fases y actuaciones.
i) Presupuesto econmico.
b) Fase de ejecucin
El objetivo principal de esta fase es recoger la informacin necesaria sobre la

que sustentar los juicios de valor consiguientes. Es el eje esencial de todo estudio de
evaluacin: del mayor o menor rigor con que se ejecuten todos sus pasos dependerla
fiabilidad y veracidad de la informacin y consecuentemente, la validez de las
conclusiones.
Segundo Semestre 57
c) Fase de elaboracin y publicacin de las conclusiones
Es el ltimo momento del proceso de evaluacin, en el que tiene lugar la

formulacin del juicio o juicios de valor sobre el objeto de la evaluacin.
Procedimientos
La evaluacin educativa dispone de un nmero importante de procedimientos
metodolgicos para llevarla a cabo; simplificando mucho podemos dividir estos en dos
grandes categoras:
a) Enfoque cuantitativo
Son todos los procedimientos que requieran de la medicin y cuantificacin de

los fenmenos educativos. Estos enfoques han sido muy criticados porque su afn es
identificar relaciones de causa-efecto entre variables independientes (tratamientos) y
dependientes (resultados) y considerarlas universalmente generalizables; esto ha
ocasionado las siguientes crticas:
- Las relaciones entre variables educativas no son simples y lineales relaciones

causa-efecto.
- Limitar la evaluacin a un escaso nmero de variables y reducir estas a una simple
expresin cuantitativa equivale a ofrecer una visin simplista y superficial, cuando
no sesgada, del fenmeno educativo.
b) Enfoque cualitativo
Los defensores del enfoque cualitativo consideran cada fenmeno educativo

como algo nico, condicionado por las circunstancias peculiares del contexto donde se
produce, lo que dificulta la posible generalizacin de sus resultados.
Por lo tanto proponen la prctica de la evaluacin de los fenmenos educativos

en sus contextos naturales y la utilizacin de procedimientos e instrumentos que
permitan captarlos en su integridad.
Los defensores del enfoque cualitativo, en lugar de aislar variables y efectuar

mediciones en un momento dado, proponen observar los fenmenos educativos en su
complejidad, sigui ndolos a medida que se van produciendo y describiendo sus
manifestaciones con el mayor de los detalles. No se rechaza la utilizacin de datos
cuantitativos, pero consideran que cualquier fenmeno educativo no se puede reducir a
una simple medicin, es necesaria e imprescindible la explicacin de los fenmenos y
procesos a valorar.
Segundo Semestre 58
En realidad, un Centro no es si no la realizacin simultnea de programas,

orientados todos ellos, en ltima instancia, a la mejora de los educandos. Lo que
aade el centro a los programas de los profesores no es sino la necesidad de
coordinacin de programas y profesores para alcanzar esa optimizacin a que hemos
aludido, esa acertada combinacinde los elementos.
En consecuencia, aunque en determinados contextos y para fines asimismo

concretos, ser necesario o conveniente una evaluacin exhaustiva y detallada de
mltiples aspectos, a nuestro juicio, y en el marco de la mejora continua de los Centros,
siempre que los profesores o los equipos de profesores asuman con rigor la evaluacin
de los programas, la evaluacin de los Centros podra centrarse en los marcos en que
tales programas se desarrollan, de cuya forma de producirse depende en gran medida
su propia eficacia.
En nuestra propuesta evaluativa de programas, como veremos posteriormente

en el segundo de los momentos relativo a la evaluacin de su proceso de aplicacin,
destacbamos dos dimensiones diferentes y complementarias: la ejecucin del
programa y el marco en que se lleva a cabo, marco que no es sino el Centro Escolar.
Cuando hablamos de evaluacin de Centros aludimos a estas caractersticas:
1. Cada Centro tiene una historia propia e irrepetible, lo que nos hace
centrarnos en su contexto.
2. Atendemos a la calidad de procesos, pues nuestro objetivo no slo es la
comparacin de resultados (nivel del centro respecto a otro).
3. La participacin de todos los componentes del centro es bsica, sus
aportaciones son la base de la interpretacin de lo que sucede en el Centro.
4. Debemos contrastar m todos, ya que estamos ante fenmenos complejos
que no se captan slo con instrumentos de una clase (bien cualitativos, bien
cuantitativos).
5. No podemos quedarnos en simples nmeros, si utilizamos diferentes
m todos, tendremos diferentes datos. La simplificacin hace ms fcil
nuestra labor y la comprensin de los resultados, pero a la vez puede
producir ms errores.
6. Se entiende el centro como unidad funcional, incluso si estamos realizando
una evaluacin parcial, pues la explicacin vendr determinada por la
globalidad de factores que forman parte de la entidad.
7. No pretende quedarse en mera valoracin, pretende fomentar el dilogo y la
investigacin sobre la educacin y la enseanza, por lo tanto debe ser
educativa.
8. Como podemos apreciar en esta evaluacin, intervienen agentes externos e
internos, y de esta manera no afecta solamente al Centro evaluado, ya que
se puede aprender de estas experiencias de cara a otras instituciones
educativas.
Segundo Semestre 59
Por ello nuestra propuesta evaluativa ser relativamente sencilla aunque

haremos alusin a propuestas ms complejas y a instrumentos disponibles con una
mayor cantidad de elementos integrantes.
Evaluacin interna
Los maestros y la escuela son siempre autoevaluables y tiene la preparacin y
el conocimiento para describir y analizar sus propias polticas(Simons, 1981).
La autoevaluacin tiene su base en preguntas que los propios

actores/personajes/participantes de los Centros educativos se hacen: Hay coherencia
entre lo que hacemos y lo que nos proponemos? Se est consiguiendo lo que
proponamos? Por qu ?
El problema de que todava no sea una prctica comn esten la escasa o nula
concepcin del trabajo colectivo en los centros, cada profesor acta en su aula y se
preocupa casi en exclusiva, en t rminos evaluativos, de la evaluacin/valoracin del
aprendizaje de sus alumnos.
Estclaro, que esta autoevaluacin puede ser total o centrarse en aspectos muy
concretos del Centro, pero siempre teniendo en cuenta la complejidad del centro, ya
que no se puede, como hemos dicho anteriormente, encontrar significado a una parte
sin ubicarla en un todo.
El tiempo de dedicacin es el primer problema a este avance que pretenden los

centros. Los miembros del Centro capacitados para llevar a cabo la autoevaluacin no
disponen del tiempo necesario para realizar esta tarea. La opcin del voluntariado
puede terminar desvirtuando la accin, se deberpor tanto articular alguna forma de
liberacin para las personas que se encarguen de este cometido.
A la hora de realizar una autoevaluacin debemos tener cuidado con la

familiaridad, cercana, de los agentes que van a llevarla a cabo, ya que a la vez que
produce mayores facilidades en el anlisis de los procesos/situaciones puede llegar a
esta autoevaluacin a ser una mera justificacin de lo que esthaciendo, cmo lo estn
haciendo y por qu lo estn haciendo.
Para Santos Guerra (1993) existen problemas que frenan los proyectos de
autoevaluacin:
- Carcter individualista de la funcin docente. El aula es la c lula donde cada

profesor es el nico adulto y nadie puede decirle cmo hacer las cosas.
- Resistencia de algunos profesores a la ruptura de su intimidad.
Segundo Semestre 60
No conviene forzar a nadie a ser objeto de evaluacin, de hacerlo, se perdera, a

priori toda la eficacia de la misma (autoevaluacin) en su potencialidad de
transformacin y cambio(Santos Guerra, 1993).
- Escasa motivacin profesional. La falta de colaboracin y continuo martilleo de

sus compaeros en cuanto a la inutilidad y p rdida de tiempo (no remunerado) de la
accin, frente al aliciente de la mejora profesional hace difcil, el iniciar, continuar o
finalizar el proceso.
- Limitacin de tiempo. El profesorado no dispone de horas libres/liberadas para la

autoevaluacin, y adems la mayora de los profesores piensan que no tienen el
suficiente tiempo para comprometerse con esta actividad adicional, y muy pocos
son los que estn preparados para darle prioridad, especialmente, como pasa a
menudo, o hay compromiso firme, por parte de la jerarqua escolar de considerar los
resultados(Simona, 1981).
- Falta de formacin tcnica. Provocado por la carencia de preparacin pedaggica

inicial. La Escuela ayuda, pero simplemente de una manera material. Debe
realizarse una oferta formativa desde niveles superiores.
- Ocultacin de los problemas sustantivos. Los problemas generales, que afectan

a la funcionalidad del Centro se ocultan, pero:
cada uno afronta su problema, su actividad, hacindose culpable de los errores y

limitaciones y acreedor de todos los xitos, instalndose en explicaciones poco
rigurosas, tendentes a mantener la estructura bsica. As, el dbil tiene miedo y el
fuerte pretende solucionarlo todo por su cuenta (Santos Guerra, 1993).
Podramos decir que los tres grandes focos que pueden dificultar la
autoevaluacin son la jerarqua/autoridad/poder por niveles, la territorialidad y el
siguiente reducto del profesor individual, la privacidad.
PRINCIPALES VARIABLES PARA LA EVALUACIN INTERNA DE LOS CENTROS

EDUCATIVOS
Con los presupuestos anteriores parece correcto mantener que la evaluacin de

Centros puede organizarse en torno a cinco grandes macrovariables: el Proyecto
Educativo, la organizacin, el clima escolar, los medios o recursos y la
Comunidad Educativa; ello no obstante, y dado el carcter condicionante del contexto
o marco en que el Centro se ubica, conviene tambi n tomarlo en consideracin y como
punto de referencia.
Segundo Semestre 61
1. El Contexto o ambiente como marco para la evaluacin

Es preciso indicar la conveniencia de tener siempre como elemento de referencia
el contexto en que el Centro se encuentra ubicado. El contexto, en efecto, aparte de
ser una fuente de demandas y una oferta de posibilidades, es el marco natural de
insercin del alumnado y el ambiente que complementa la accin que familia y centro
asumen con mayor responsabilidad.
2. El Proyecto Educativo
El Centro Educativo es una completa organizacin al servicio de un proyecto
comn, fruto de la elaboracin, aceptacin y compromiso de sus miembros.
El anlisis de las tres grandes dimensiones de calidad: totalidad, integralidad y

adecuacin, as como el modo de formalizar el proyecto, y el grado de apoyo, efectivo
compromiso otorgado por la Comunidad Educativa, son los aspectos que deben ser
analizados en este punto.
La apreciacin de armona entre las partes y de coherencia de planteamientos

entre cursos, ciclos, niveles, etapas educativas, as como de stas con las necesidades
del mundo del trabajo en particular y de la vida adulta en general, contempla este
primer apartado.
Un elemento ms a considerar es el relativo a la configuracin de las seas de

identidad del Centro, acordes con el personal que lo integra y con el marco social al que
se pretende servir.
3. La organizacin
El Centro como unidad es la adecuada combinacin de todos los elementos
personales, materiales y funcionales, al servicio de las metas educativas. La
organizacin es, justamente la forma de articular esa combinacin de elementos.
Los aspectos fundamentales que deben ser analizados tienen que ver con:
- El sistema de direccin, ms o menos autoritaria o participativa.

- La forma de afrontar la solucin de conflictos entre el personal.
- La moral del grupo, de confianza en el xito.
- El apoyo, el estmulo y el reconocimiento por parte de la direccin al trabajo,
necesidades y demandas del personal.
- La implicacin afectiva de los diferentes estamentos de la Comunidad Educativa.
- Los niveles de coordinacin del personal.
- Los procesos y formas de agrupamiento de alumnos y profesores.
Segundo Semestre 62
- El trabajo efectivamente cooperativo, de conformidad con propuestas como las

denominadas de currculo de calidad.
- Los sistemas de asignacin de responsabilidades, medios espacios y recursos.
- La incorporacin de estructuras de mejora, tales como el sistema de evaluacin de
alumnos, programas y Centros.
- El estmulo planificado, y consistentemente desarrollado, hacia el perfeccionamiento
del profesorado.
Vale la pena recordar que la dimensin del liderazgo aparece reiteradamente

como una variable de eficacia escolar en funcin de su aportacin a la organizacin, la
unidad y la coordinacin de esfuerzos al servicio de un proyecto unitario y comn.
4. El medio o clima escolar

Bien como una dimensin diferenciada, bien como una resultante, al menos en
parte, de la organizacin del Centro, aparece el clima escolar como una variable digna
de ser analizada, tanto por ser un medio facilitador/obstaculizador de los resultados
cuanto por contribuir l mismo a los efectivos logros del Centro.
Se consideran aspectos humanos fundamentales para el anlisis y valoracin los

siguientes:
- Las relaciones humanas de todos los estamentos del Centro, entre s y con los
dems.
- El orden y el respeto mutuos, que hagan posible la maximizacin del tiempo til de
aprendizaje.
- El sistema disciplinar: su elaboracin ms o menos participativa y su aplicacin
consistente.
- El ejercicio pedaggico del tratamiento de la indisciplina.
- El tipo de relaciones entre el personal: competitivas o individualistas.
- Los valores efectivamente vividos en el Centro.
- El clima de expectativas elevadas de cara a los niveles personalizados de
rendimiento.
- La confianza en el xito.
- La satisfaccin por el propio trabajo.
5. Los medios: espacios y recursos
No parece que la investigacin haya encontrado de modo consistente a esta

variable como incidente en la eficacia, pero ello tal vez sea o porque habitualmente los
Centros tienen cubiertas las necesidades mnimas y/o porque su influencia queda
subsumida en otras de mayor importancia.
Segundo Semestre 63
Con todo, el contar con los espacios y los recursos mnimos en cada caso, la
asignacin de unos y otros de acuerdo con criterios preespecificados, y el logro de la
adecuada coordinacin para evitar fricciones y enfrentamientos, parece de especial
importancia.
6. La Comunidad Educativa
Al tratarse de Centros no universitarios, por tanto encargados de las etapas con
mayor incidencia en los aspectos formativos, no slo informativos, la participacin de
todos los componentes de la Comunidad Educativa potencia la eficacia; por otra parte,
la incardinacin del Centro en la comunidad hace ms factible la vivencia de
determinados valores sociales a la vez que proporciona recursos imposibles para los
Centros aislados, carentes de tal cooperacin.
Naturalmente, aparte de estas variables como tal, la participacin de los padres y
de los alumnos en el gobierno de los Centros y en la planificacin de su actividad
educativa puede situarse dentro de la macrovariable organizacin.
Los aspectos fundamentales que pueden ser analizados se refieren a temas

como los siguientes:
- Presencia del Centro en la comunidad: participacin en actividades sociales,

difusin de sus producciones.
- Apertura del Centro a la comunidad: ofrecimiento de sus instalaciones, organizacin
de actividades abiertas.
- Invitacin a miembros de la comunidad para que aporten sus conocimientos,
habilidades y formacin al servicio del perfeccionamiento de su personal.
- Propuestas y proyectos de mejora de la comunidad.
7. Papel central del profesorado
Una consideracin especial merece el profesorado, ya que es quien, en

ocasiones a ttulo individual, en otras y preferentemente en equipos de trabajo, ha de
hacer realidad la mayora de los aspectos considerados en el apartado anterior.
Si bien la direccin en cuanto tal ha de ejercer un liderazgo y asumir funciones

de estmulo, apoyo, reconocimiento, coordinacin, etc., al profesorado le incumbe el
logro efectivo del clima escolar, el ejercicio de la docencia, el estmulo y la motivacin
de sus alumnos, la planificacin de la enseanza, la actuacin como mediador en los
procesos de aprendizaje, la asuncin de sus sistema evaluativo orientado a la mejora
de sus alumnos y la suya propia.
El Centro como unidad, eso s, potenciar, inhibir o reducir los efectos

positivos de su actuacin en la medida en que sta sea coherente con los
Segundo Semestre 64
planteamientos generales, se ejecute en contra de los mismos o se lleve a cabo de

modo independiente.
ESTRATEGIAS PARA LA EVALUACIN INTERNA DE CENTROS EDUCATIVOS
El Centro Escolar suele funcionar realizando slo la evaluacin de los alumnos.

Por una parte, no parece razonable atribuir todo el xito o el fracaso de la evaluacin
de los alumnos al esfuerzo, capacidad o inter s de xitos. En el xito o el fracaso de los
alumnos existe una parte importante atribuible a otros factores o elementos: sistema
educativo, accin del Centro, trabajo del profesor, influencia de los compaeros. Por
una parte, hay otros aspectos que deben ser evaluados y que no se recogen en la
evaluacin de alumnos: el currculo oculto de la institucin, los efectos secundarios que
produce la accin educativa en las escuelas, los medios de que se dispone para
desarrollar la actividad, etc.
El Equipo Directivo no slo es el coordinador de la planificacin y de la

intervencin, sino que tambi n ha de serlo, por lgica, de la evaluacin.
El Centro Escolar puede considerarse como la unidad funcional de planificacin,

accin, evaluacin y cambio educativo. Tradicionalmente se ha tomado la actividad
que el profesor realiza en el aula como la unidad sustancial de la intervencin
educativa.
El Equipo Directivo, como dinamizador de la vida del Centro, debe impulsar una
reflexin permanente y compartida sobre la accin educativa que se realiza en el
mismo.
Esta reflexin compartida (Santos Guerra, 1993):
No es una amenaza.
No es una fiscalizacin.
No es un juicio.
No es una intromisin.
No es una descalificacin.
No es una imposicin.
Esta reflexin:
Es un dilogo.
Es un encuentro.
Es una comprobacin.
Es un diagnstico.
Es un intercambio.
Es una ayuda.
Segundo Semestre 65
La evaluacin es, en efecto, una parte sustancial de la accin emprendida

(Elliott, 1983; Martn, 1988). No es un aditamento, un aadido, un adorno, un ap ndice
o un entrenamiento. La evaluacin no es proceso que se realiza si queda tiempo, si se
encuentran facilidades para la accin. La evaluacin interna es una exigencia de la
propia actividad. Resulta lamentable que los Centros escolares vivan
independientemente de su xito.
Hablaremos de la evaluacin interna, aunque no descartamos la ayuda externa

cuando se realiza a raz de la demanda del propio Centro. La evaluacin interna resulta
importante porque:
Permite reflexionar sobre lo que se hace.

Facilita la coordinacin vertical y horizontal.
Ayuda a comprender lo que sucede.
Impulsa el dilogo y la participacin.
Permite tomar decisiones racionales.
Impide los solapamientos.
Ayuda a incidir sobre lo que se considera sustancial.
Permite corregir los errores.
Ayuda a intensificar el esfuerzo en lo esencial.
Permite aprender nuevas cosas.
Hace ganar coherencia al Equipo Docente.
Se convierte en un ejemplo para los alumnos.
Ayuda al perfeccionamiento del profesorado.
Reflexionar sistemtica y colegiadamente sobre la prctica es imprescindible

para comprenderla y mejorarla (Gimeno Sacristn y P rez Gmez, 1992). Es el dilogo
profesional lo que permite enriquecer la accin. La evaluacin se convierte as en un
proceso de dilogo, comprensin y mejora.
De ah la necesidad de realizar una evaluacin que sea:
Sistemtica y no slo ocasional.

Rigurosa y no arbitraria.
Canalizada y no dispersa.
Conocida y no subrepticia.
Colectiva y no slo individual.
Escrita y no slo estamental.
Libre y no impuesta.
La evaluacin que proponemos nace de la iniciativa del Centro, se realiza por los
mismos profesionales que ejercen la enseanza y tiene por objeto comprender y
mejorar la prctica educativa.
Segundo Semestre 66
El Equipo Directivo ha de procurar que el rigor de la respuesta permita llegar a

una comprensin profunda de la realidad. Sus miembros estn especialmente
amenazados de parcialidad al desempear un papel preponderante en el centro.
La consistencia de la respuesta tiene una secuencia que da garanta de rigor:
a) Recoger datos de forma precisa y prolongada.

b) Utilizar mtodos adecuados.
Recoger datos de forma precisa exige, en este tipo de evaluacin un uso de

m todos que tenga en cuenta las siguientes exigencias.
Usar diversidad de m todos de exploracin.

Usar m todos sensibles a la complejidad de los fenmenos evaluados.
Usar m todos adaptados a las situaciones que se exploran.
Usar los m todos de manera intensiva.
Someter los datos a la interpretacin y al anlisis.
Discutir los datos de forma abierta y colegiada.
Poner por escrito la reflexin.
Tomar decisiones racionales para mejorar la accin.
Publicar para someter la reflexin a debate pblico.
Los mtodos para la exploracin

La observacin es un proceso cuya funcin primera e inmediata es recoger
informacin sobre el objeto que se toma en consideracin. (Postic y de Ketele, 1992).
No se observa todo a la vez. Es necesario un principio organizador de la

percepcin, unos ejes de focalizacin y de estructuracin de lo observado.
Observar es un proceso, situado ms allde la percepcin, que no solamente

hace conscientes las sensaciones sino que las organiza. (Postic y de Ketele, 1992).
En un Centro hay muchas situaciones, comportamientos y objetos que observar:
La dinmica del aula: rituales de entrada, salida, colocacin y agrupamiento,

normas de intervencin, relaciones interpersonales.
La movilidad en el espacio: espacios abiertos y cerrados por qu y para qui n,

itinerarios que se recorren y su relacin con el poder, control de las jurisdicciones,
flexibilidad y tamao de las dependencias segn criterios, flexibilidad de
ocupacin
Segundo Semestre 67
Configuracin del espacio: distribucin de los espacios y utilizacin jerrquica,

calidad y tamao de las dependencias segn criterios, flexibilidad de ocupacin.
La vida de los patios: relaciones interpersonales, criterios de agrupamiento,

actividades organizadas
Reuniones de diversa ndole: coordinacin de las sesiones, tipos de

intervenciones, comportamientos de los asistentes, relaciones entre los miembros
Uso de los diferentes materiales y servicios: qui n decide cmo se utiliza el

tel fono, el fax, la fotocopiadora, qu tipo de acceso existe para el uso de los
medios, al servicio de qu intereses se ponen, cmo se controla el uso.
Comportamiento en la sala de profesores: qui nes la usan y para qu la usan,

cmo y dnde se sitan las personas, qu conversaciones se mantienen, qu
relaciones existen entre veteranos y noveles
Cuanto ms amplio sea el foco del anlisis: si se observa a muchos sermenor

la presin sobre cada uno de los observados.
Cuanto ms largo sea el tiempo: al comienzo se hace ms patente la presencia

del observador, qu se va a hacer con los datos, cmo se van a tratar, qui n va
tener los informes, serms fcil que acte con normalidad.
Cuanto ms clara sea la transparencia de los propsitos: si el observado sabe

para qu se estobservando, qu se va a hacer con los datos, cmo se van a tratar,
qui n va a tener los informes, serms fcil que acte con normalidad.
Cuanto ms participativa sea la persona observada: si sabe que va a tener parte

en la interpretacin, que puede manifestar su discrepancia acerca del resultado, la
observacin serfavorable.
Pueden contemplar el funcionamiento del Centro diversos tipo de observadores.

Las concreciones dependern de las circunstancias de cada Centro:
a) Observador participante y conocido.

b) Observador participante y no conocido.
c) Observador no participante y conocido.
d) Observador no participante y no conocido.
Los observadores pueden ser:
Profesores del Claustro.

Alumnos a quienes se pide que hagan un registro.
Segundo Semestre 68
Padres que tengan inter s, tiempo y preparacin para colaborar en esta actividad.
Colaboradores especializados en evaluacin.
Alumnos que est n haciendo alguna prctica.
Profesores de otros Centros.
Profesores de CEPs.
Orientador del Centro.
La observacin no slo consiste en mirar sino en buscar. No basta registrar con

fidelidad lo que sucede (a trav s del registro manual, de la fotografa, del casete o del
video), sino que es preciso interpretar los hechos y las situaciones desde el rigor de las
explicaciones.
El registro de las observaciones se puede hacer de diversos modos:
Registro manual.
Grabaciones en casete y video.
Toma de fotografas.
Estrategias para actuar en la evaluacin interna

Se plantean aqu dos tipos de estrategias para realizar la evaluacin: unas de
carcter parcial (por el contenido, el tiempo, los evaluadores, los m todos ), otras de
carcter ms globalizador. Cada Centro puede optar (por motivos diversos) por unas o
por otras.
El Equipo Directivo, que conoce el contexto y a todos los protagonistas que se

desenvuelven en l, puede proponer alguna de las siguientes iniciativas. No es el
Equipo Directivo el que hace la evaluacin sino el que la impulsa, la estimula, la
coordina y la avala en su racionalidad y en su respeto a las personas.
De carcter parcial:
a) Dedicar monogrficamente una sesin del Claustro de profesores para hacer el
anlisis de alguna parcela de funcionamiento del Centro.
b) Solicitar de los alumnos, por escrito, un informe sobre la marcha del Centro.
c) Nombrar una comisin para que realice algn estudio sobre la vida del Centro.
d) Realizar algunas preguntas a los padres sobre el funcionamiento del Centro.
e) Analizar de forma rigurosa alguna situacin conflictiva del Centro.
f) Aplicar el mismo cuestionario a todos los estamentos para estudiar los contrastes de
opinin.
g) Proponer a un Seminario, ciclo o Departamento que haga un informe sobre su
actividad.
Segundo Semestre 69
h) Proponer la realizacin de diarios, tanto a los profesores como a los alumnos.

i) Hacer un estudio de casos sobre alguno de los aspectos de la vida del Centro que
tenga inter s para los profesores.
j) Evaluar una sesin del Consejo Escolar en su desarrollo completo.
k) Hacer un estudio de la utilizacin del espacio escolar.
l) Realizar lecturas sobre la valoracin del funcionamiento de los Centros.
m) Filmar una sesin de evaluacin, para su posterior anlisis por el grupo de
profesores implicados y por otros compaeros.
n) Obtener una serie de fotografas sobre el espacio escolar para su anlisis.
De carcter global:
Para poner en marcha un proceso de estas caractersticas dado que es un

proceso largo, laborioso y complejo que es una evaluacin de carcter parcial,
debemos contar con el apoyo mayoritario de los profesionales del centro.
Las fases que el Equipo Directivo en la evaluacin global del Centro podra
seguir seran (Santos Guerra, 1993):
Negociacin de la propuesta con el Claustro de profesores (por escrito, tratando la

naturaleza, bases, m todos, implicaciones, duracin y requisitos fundamentales de
la evaluacin).
Negociacin con el Consejo Escolar.
Planificacin de la evaluacin.
Exploracin a trav s de diversos m todos.
Elaboracin del informe.
Negociacin del informe.
Toma de decisiones.
La evaluacin externa
La evaluacin externa surge como necesidad de complementacin ante la
posible justificacin que se puede buscar a partir de los resultados de la
autoevaluacin. Esto implica una postura positiva y abierta por parte del Centro; de lo
contrario el desarrollo normal de la actividad se podra ver obstaculizado, afectado.
La iniciativa de la evaluacin externa puede provenir:
Del propio centro.

De la Administracin, del poder, de la Inspeccin (Orden Ministerial del 27 de
septiembre de 1990). Dentro del Plan General de Actuacin de un conjunto
especfico de centros, programas, actividades, etc. De esta manera, la
Administracin adquiere conocimiento de: Aprovechamientos, optimizacin de los
Segundo Semestre 70
recursos, la relacin entre recursos y resultados; funcionamiento del Sistema

Educativo, sus principales problemas y mejoras.
As es probable que la evaluacin se convenga para los miembros de esa

Comunidad Educativa en un instrumento de control y en la justificacin t cnicade la
toma de una decisin cuando ms le convenga a la Administracin.
El evaluador serrechazado, ya que viene del lado (no postura, en el mejor de

los casos y apelando a la objetividad) de la Administracin/poder. Por ello, es muy
importante garantizar la independencia de los evaluadores en todas las fases del
proceso evaluativo.
Debemos recalcar la importancia y la necesidad que en esta tesitura, tiene la

negociacin, que debe hacer ver al Centro educativo el beneficio de la evaluacin como
una inversin propia.
Principales variables de la evaluacin externa
La participacin en el proceso y con posterioridad a la evaluacin. De esta manera

eliminaremos sesgos por una (Centro) u otra parte (Administracin).
La fuerza del equipo evaluador, para poder negociar con la Administracin/poder y
el Centro de una manera justa.
Presentacin clara y concreta de la t cnica evaluadora, haciendo as ms difcil el
abuso de poder (por cualquiera de las partes).
No diferencias conocimiento cientfico de conocimiento vulgar, dando su importancia
a cada tipo de conocimiento y para qu se utiliza.
Entendiendo el evaluador como el alcance entre el/los patrocinador/es y los

participantes, este debe estar preparado para aguantardistintas presiones:
Condicionamientos para que ofrezca informacin sesgada.

La informacin facilitada por el evaluador se utiliza de forma partidista (las verdades
a medias se convierten en mentiras).
Se pide informacin en momentos inoportunos.
Se pretende guiar la evaluacin para llegar slo a los lugares a los que se desea.
El Centro, dependiendo de qu tipo de informe quiera (conformista, comparado o

real) deberformar los equipos de evaluadores, bien con los equipos de staffen el
primer caso (muy identificados con la filosofa del centro), bien con un equipo que
garantice la competencia cientfica y la libertad de accin, en el ltimo caso.
Con los resultados, con el informe, no se debe permitir la manipulacin, y se

debe fomentar debates rigurosos que faciliten la toma de decisiones.
Segundo Semestre 71
Estrategias para la evaluacin externa de Centros

El xito de una evaluacin externa creemos que se basa fundamentalmente en la
negociacin del proceso a llevar a cabo, por ellos centramos las estrategias en la
clarificacin de las acciones que se propone realizar el equipo investigador y que deben
ser aceptadas por los miembros de la institucin, que es la primera visin que tendrn
que estar implicados en el proceso evaluativo, adems de tener, posteriormente que
aceptar los resultados (Santos Guerra, 1993).
Los profesores deben saber qu sentido tiene la evaluacin, al servicio de qui n

se va a poner, en qu condiciones se va a realizar, qui n va a leer los informes
Se ha de conseguir que el Equipo Directivo del Centro vigile el cumplimiento de los

requisitos aceptados en la negociacin previa a la puesta en marcha de la
evaluacin.
Debe conseguirse una autorizacin de los implicados, y acordar con ellos cmo y
hasta qu informacin se va poder llegar, toda de inter s para el objeto de la
evaluacin.
El equipo de evaluacin deberasegurar la no filtracin de informacin irrelevante
para que la evaluacin, a la que ha tenido acceso por su condicin privilegiada
pueda ser usada por agentes externos para otras acciones.
Se asegura la confidencialidad de los datos y el anonimato de los informantes.
El equipo evaluador garantiza la no publicacin del informe si los integrantes de la
Comunidad Educativa no estn de acuerdo con l. Se debe garantizar la
incorporacin al informe de las posibles discrepancias de algunos agentes del
centro.
Se debe redactar un documento de negociacin que recoja todos estos acuerdos,
teniendo en cuenta que puede ser modificado, pero por acuerdo de todos los
implicados.
Segundo Semestre 72

El Lugar de La Evaluación en La Investigación Científica

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

El Lugar de La Evaluación en La Investigación Científica

Uploaded by

Copyright:

Available Formats

CINADE Evaluacin de Instituciones y Sistemas Educativos

EL LUGAR DE LA EVALUACIN EN LA INVESTIGACIN

Hasta ahora hemos tratado de explorar algunos de los atributos de la evaluacin,

Este tipo de cuestionamientos es importante porque nos permite distinguir lo que

Actividad dirigida hacia la obtencin de conocimiento generalizable por

As la investigacin se dirige hacia la prueba de las hiptesis con la finalidad de

Como otras investigaciones, la evaluacin trata de describir, de

Por otro lado, si distinguimos a la investigacin bsica, en la cual se busca

Los criterios mediante los cuales se conduce la evaluacin no son

La validez interna. Que se refiere a la certificacin de que los resultados se deben a la

La validez externa. Que confiere a la manipulacin de muestras, la generalizacin de

La confiabilidad. Que se determina por el grado de replicabilidad de los resultados, es

La objetividad. Que se refiere al grado en que los instrumentos, los procedimientos de

En su validacin, la prueba debe seguir un diseo muestral para su

Finalmente para su aplicacin se expiden normas acerca de la poblacin a la que

METODOLOGA DE LA INVESTIGACIN EVALUATIVA.

A. Evaluacin del rendimiento.

Para llegar al establecimiento de los juicios valorativos (con o sin la intervencin

La tarea del evaluador consiste en idear la manera de proporcionar a los

Los procedimientos evaluativos con la intervencin de expertos provienen

En este modelo, Wolf propone la participacin de dos equipos de evaluacin que

Al trasladar el experimento a la evaluacin educativa se estipula la

La eleccin de los sujetos al azar proporciona la base contundente para

Una caracterstica bsica de las variables es que deben estar definidas

Stufflebeam y Shinkfield (1989) presentan algunos de los inconvenientes de este

Impone controles inalcanzables en un contexto educativo o perjudiciales para los

Se interfiere con las condiciones normales de los proyectos que se estn

Limita el estudio a unas pocas variables, lo cual limita las decisiones.

Proporciona resultados slo al final de la investigacin.

D. Congruencia entre objetivos y resultados.

Como una parte fundamental de este m todo evaluativo se encuentra el

Inicialmente concebido como un procedimiento evaluativo que pudieran manejar

El procedimiento de Tyler es sencillo en su planteamiento, aunque para llevarse

1. Establecer las metas u objetivos.

2. Ordenar los objetivos en amplias clasificaciones.

3. Definir los objetivos en t rminos de comportamiento.

4. Establecer situaciones o condiciones segn las cuales puede ser demostrada la

5. Explicar los propsitos de la estrategia al personal ms importante en las

6. Escoger o desarrollar las apropiadas medidas t cnicas.

7. Recopilar los datos de trabajo (las notas y calificaciones de los estudiantes).

8. Comparar los datos con los objetivos de comportamiento.

Antes de los aos sesentas no haba una aproximacin evaluativa adecuada a

La evaluacin de sistemas tiene tres caractersticas bsicas:

Est orientada hacia la toma de decisiones, no hacia la comprensin o

Su objetividad no es diagnosticar o demostrar, sino perfeccionar los programas

Se desarrolla como un sistema de informacin continua y sistemtica sobre los

Las limitaciones que presenta este m todo son precisamente su concepcin y

Aunque la evaluacin comprensiva no es un m todo particular de evaluacin,

Quien primeramente propone un m todo global y comprensivo de la evaluacin

El modelo comprensivo de Stake destaca descripciones y juicios como las bases

Otro de los modelos comprensivos es la evaluacin iluminativa propuesta por

La evaluacin iluminativa comprende tres etapas en su procedimiento: la

La evaluacin est ligada a la investigacin cientfica, sobre todo porque

Existen dos paradigmas bsicos en la investigacin evaluativa: el hipot tico-

Paradigma hipottico deductivo

Cuantitativo: Presume la necesidad, conveniencia e incluso la posibilidad de explicar

Objetivo: Es considerada la esencia del m todo cientfico: ser subjetivo significa

Anlisis parcial: Los diseos experimentados se centran alrededor de un nmero

Anlisis de sistemas fijos: Los diseos experimentales asumen que es posible

Confiabilidad, replicabilidad y consistencia: Son caractersticas deseables de los

Deduccin: Su inter s es la verificacin de teoras y el descubrimiento de leyes

Uniformidad: Bsqueda de la mejor manera de conducir los programas educativos.

A cada una de las caractersticas anteriores se oponen las correspondientes al