Evaluacin y construccin de

preguntas por niveles de

desempeo
Itemizacin SIMCE y su impacto
Profesor Miguel Miralles C.
Patricia Vera I.
Silvana Cubillos C.
 Qu es la evaluacin ?

Evaluacin Evaluacin
Evaluacin
Evaluacin como como Evaluacin
como
como Congruencia Recopilacin como
Medicin
Juicio de Toma de
Informacin Decisiones

La evaluacin de los aprendizajes es un proceso, a travs del cual se observa,

recoge y analiza informacin relevante, respecto del proceso de aprendizaje,
con la finalidad de reflexionar y tomar decisiones pertinentes y oportunas para
optimizarlo.

Fuente: Pedro Ahumada ,2001

Para qu sirve?
 Ciclo de evaluacin - aprendizaje
Replanteamiento ENSEANZA-
de planificacin APRENDIZAJE EN AULA

Recoleccin de
Toma de
informacin
decisiones
( pruebas)
ENSEANZA-
APRENDIZAJE EN AULA
Anlisis de
Anlisis de
resultados
resultados

Recoleccin de
informacin
( pruebas)
Recoleccin de Toma de
informacin decisiones
( pruebas)

Replanteamiento
ENSEANZA- de planificacin
APRENDIZAJE EN AULA
 Qu debe saber y poder hacer el
alumno para alcanzar uno de los tres
niveles de desempeo?

Qu significa que mis alumnos estn

en un nivel adecuado, elemental o
insuficiente?
HABILIDADES POR NIVELES COGNITIVOS EVALUAR
( TAXONIMIA DE BLOOM) juzgar
SNTESIS evaluar
planear clasificar
proponer estimar
ANLISIS valorar
distinguir disear
formular calificar
APLICACIN analizar seleccionar
diferenciar reunir
aplicar construir escoger
emplear calcular medir
COMPRENSIN experimentar crear
interpretar utilizar establecer
demostrar probar
CONOCIMIENTO traducir comparar organizar
reafirmar dramatizar dirigir
definir practicar contrastar
repetir describir criticar preparar
reconocer ilustrar
registrar operar discutir
memorizar explicar diagramar
expresar programar
nombrar dibujar inspeccionar
relatar ubicar debatir
informar esbozar
subrayar examinar
identificar revisar catalogar

5
 Puntajes de Corte 8 ao (2013): No solo depende de la cantidad de
aciertos, tambin influye el tipo de pregunta respondida de manera
consistente.
NIVEL INSUFICIENTE (No es NIVEL ELEMENTAL: Es consistente en NIVEL ADECUADO: Es consistente
consistente en los aciertos este tipo de preguntas, pero no en las en responder preguntas de ambos
de tems elementales. de nivel adecuado respondiendo tipos (elementales y adecuadas.).
Responde preferentemente estas ltimas de manera azarosa, Estudiantes resuelven con
tems insuficientes, y de pero consistente en las de nivel facilidad la prueba en su
manera azarosa) elemental globalidad.

Lenguaje 244 292

Matemticas 247 297

Naturaleza 248 297

Historia 243 296

Puntaje de corte 1 Puntaje de corte 2
 297
PREGUNTA DE NIVEL ADECUADO
(Puntaje mayor)
Uso de conceptos y
contenidos disciplinarios
propios del ciclo o nivel.
Aplicacin de la
comprensin lectora
utilizando un lenguaje NO
cotidiano.
Uso de fuentes de
informacin variadas o
complejas que permiten
aplicar una destreza o
habilidad.
Predominio de la
inferencia en el uso de
fuentes (procedimiento
complejo).
247
PREGUNTA DE NIVEL ELEMENTAL PREGUNTA DE NIVEL
(Puntaje medio) INSUFICIENTE (Puntaje menor)
Reconocimiento de datos
Uso de conceptos y
o conceptos que no
contenidos sencillos para
presentan mayor
el ciclo o nivel.
dificultad (recordar)
Aplicacin de la
comprensin lectora No se utilizan fuentes de
utilizando un lenguaje informacin adicional
cotidiano.
Uso de una fuente de
No se requiere de un
informacin simple que
procedimiento para lograr
permita aplicar la
la respuesta.
destreza.
Predominio de la
extraccin explcita en el
uso de fuentes
(Procedimiento simple).

Constituyente de fondo
Evala la habilidad del
objetivo de aprendizaje.
VALIDEZ DE CONSTRUCTO
Desde la perspectiva constructivista un buen
reactivo hace pensar a quien lo responde y
cuando el objetivo lo amerita es contextualizado
a la cultura local del estudiante.
Un buen reactivo
Constituyente de forma
Redaccin clara y precisa.
Redaccin exenta de trampas o tips
orientadores de la respuesta
Tiene un vocabulario y formas sintcticas que
los examinados no tienen problema para
comprender, buscando simultneamente la
exposicin ms breve.
Contempla el uso de fuentes de informacin
escritas o pictricas si el objetivo lo amerita.
Tiene un grado de dificultad acorde con el
criterio o indicador de logro del aprendizaje
que se espera.
Indica su puntuacin, la cual es congruente con
su peso y/o respuesta esperada.
 Jerarqua de reactivos 10. Reflexin critica o
creativa

9. Sntesis por medio de

organizadores grficos.

8. Anlisis conceptual o
metacognitivo
Tipo de
7. Resolucin de
reactivos problemas.

6. Operaciones
lgicas

5. Aplicacin Simple

4. Elaboracin
conceptual

3. Parafraseo

2. Recuerdo Cuales utilizas con mayor

frecuencia?
1. Reconocimiento
 Elaboracin de Pruebas Escritas
Cules utilizas con mayor frecuencia?
Cuales se acomodan a la(s ) asignatura(s) que impartes?
Cules responden a las Evaluaciones Externas?
Habr una mejor que otra?

TIPOS DE PRUEBAS ESCRITAS

Estructuradas Semi Estructuradas No Estructuradas
Pruebas de Prueba
Respuestas de Respuestas
Prueba de Respuestas
Restringidas Abiertas
Fijas
o breves Ensayos
o cerradas
Objetivas
Tipo Test Pruebas

PRUEBAS MIXTAS
 Pasos de la construccin de una prueba
escrita
1. Identificar los objetivos definidos para la prueba.
2. Definir las habilidades a valorar.
3. Definir una muestra de los contenidos a evaluar.
4. Construir una tabla de especificaciones, matriz de
. evaluacin.
5. Seleccionar o construir reactivos .
6. Conformar la prueba manteniendo un formato que facilite su
respuesta .
7. Elaborar pauta de correccin
8. Definir modalidad de devolucin de resultados.
Ejemplo de Tabla de especificaciones
Simce 8
Alt.
Curso AP claves Ejes Objetivo Pregunta Corr. Niv. Dif.
1 B Cono/Ins
OA 04) Identificar y describir las
ESTRUCTURA Y FUNCIN DE LOS
C. de la funciones de las principales estructuras 2 C Cono/Ins

6 Vida del sistema reproductor humano 3 B Cono/Ins

femenino y masculino.
4 A Apl/Elem
SERES VIVOS

Sexualida AE 4.02) Explicar qu es la sexualidad 5 D Cono/Ins

d 6 C Raz/ Adec.
humana y las dimensiones que
humana, involucra; aspectos biolgicos, afectivos,
7 consumo psicolgicos, sociales y ticos. 7 D
de drogas Cono/Ins
y AE 4.04) Describir factores de riesgo y 8 A Apl/Elem
autocuida medidas de prevencin relacionadas
9 C
do con el consumo de drogas. Cono/Ins
PREGUNTA NIVEL ADECUADO (8 BSICO)
La figura representa un tren que baja por una pendiente hasta una superficie
plana y recta: El alumno infiere
informacin utilizando 2
fuentes de informacin
grficas (inferencia)

Una vez que el tren lleg a la superficie se midi el tiempo cada 100 metros y
se calcul la rapidez que este alcanz. Los resultados se registraron en la
siguiente tabla El alumno debe manejar
un contenido especfico
de la asignatura

Segn los datos, Qu tipo de movimiento realiz el El alumno debe lidiar

tren entre los 100 a 400 metros? con un lenguaje no
a) Cada libre cotidiano (uso de
b) Movimiento rectilneo uniforme conceptos de fsica en
c) Movimiento curvilneo constante las alternativas)
d) Movimiento rectilneo uniforme acelerado
PREGUNTA NIVEL ELEMENTAL (8 BSICO)
En un hospital les tomaron muestras de sangre a grupos de nias de diferentes edades y
se les midi la concentracin de estrgeno. Los resultados se indican en el siguiente El alumno utiliza una
grfico. fuente de informacin
Qu pregunta se puede responder con este procedimiento? sencilla donde debe
extraer una
informacin explcita.

El alumno debe aplicar

una estrategia de
comprensin lectora
para su resolucin.

Utilizando un lenguaje
cotidiano o comn, el
a) Cuantas nias de 12 aos producen estrgeno. alumno puede
b) Hasta que edad producen estrgeno las mujeres. encontrar la respuesta
c) a qu edad comienzan a producir estrgeno las mujeres? (solo debe leer
comprensivamente el
d) Qu tipo de hormonas sexuales producen las mujeres?
grfico para descartar
procedimientos)
PREGUNTA NIVEL INSUFICIENTE (8 BSICO)
La siguiente imagen corresponde a Isaac Newton descansando bajo un manzano. En
ese momento la manzana cae al suelo.

El alumno reconoce una

situacin clsica
ampliamente conocida.

Cul alternativa indica la causa de la cada de la manzana desde el rbol?

El alumno no aplica un
a) La fuerza de roce.
procedimiento, solo
b) La fuerza muscular. recuerda.
c) La fuerza magntica.
d) La fuerza de gravedad
IMPORTANTE: SI UD DESEA CONFECCIONAR UNA PRUEBA QUE INVOLUCRE ESTA ESCALA CUALITATIVA,
RECUERDE QUE EL NIVEL DE DESEMPEO RADICA EN LA FORMA DE CONSTRUIR EL ITEM

Para esto, SIMCE aplica como herramienta la METODOLOGA DE TEORA DE RESPUESTA AL TEM (IRT) que
consiste en un grupo de procedimientos estadsticos que se usan para resumir el desempeo de los
estudiantes en un grupo de ejercicios donde se aplican similares conocimientos y habilidades.

PROBLEMA CENTRAL: QU SE ESTIMA EL DESEMPEO EN

CONSIDERA AL ITEM COMO LA
INFORMACIN NOS ENTREGA FUNCIN DEL ITEM EN
UNIDAD BSICA DE LOS TEST
EL TEM? PARTICULAR

Nivel de dificultad: ndice de dificultad

del tem
Se logra evaluar la calidad del
Modelo Factor de discriminacin: grado de tem y se mide el nivel de
Qu mide?
IRT aptitud del alumno habilidad y conocimiento del
estudiante
Factor de adivinanza: aciertos por azar
 Segn el tipo de respuestas
contestadas (complejidad)

IRT: De qu
depende el Segn la probabilidad de que
puntaje se conteste lo que realmente
obtenido en sabe (azar)
el SIMCE?

Segn el grado en que las

preguntas permiten descubrir Qu es capaz de
el nivel de desempeo del hacer el estudiante?
alumno (discriminar)
 Sntesis: como obtener un puntaje de corte SIMCE. Comit tcnico
(Aplica
Equipo Docente (Aplica Metodologa IRT -
Metodologa Bookmark) Psicometra)
Especialistas
crean tems Comit tcnico
para ser sanciona la
aplicados propuesta en
Estos base a la
(estos han Tras su
sugieren Metodologa IRT:
sido aplicacin, se
puntajes de Se calibran los
previamente ordena tems y se
corte a travs
seleccionados segn su Equipos puntan las
de un JUICIO pruebas (asignan
y validados) nivel de docentes
EXPERTO puntos a las
dificultad estiman el preguntas segn
(sobre esto
nivel de dificultad)
se aplican
desempeo
tcnicas
que requiere
estadsticas
su resolucin
preliminares)

Se discuten los niveles Lo importante es

mnimos para cada nivel marcar hasta que tems
(requisitos mnimos de contesta un estudiante
los estndares) de un determinado
nivel)
1 actividad: Finalizar taller de construccin de tems

Para finalizar justifique

por escrito las razones
que tiene para clasificar
cada tem en un nivel
determinado.

Relacionar con un objetivo e indicador del programa

Taller Prctico 2: Puntajes de corte segn nivel de
desempeo y procesamiento de datos en Excel
Objetivo: Construir tems por niveles de desempeo y generar con ellos, una
prueba que permita estimar dos puntajes de corte necesarios, para definir tres
niveles de desempeo. Utilizar Excel para graficar la informacin.
1) Analice los tems para identificar el nivel de cada pregunta y asgnele un
puntaje.
2) Ordene los tems desde el nivel adecuado hasta el insuficiente. Asigne un
puntaje a cada pregunta (ADECUADA 3 ptos; ELEMENTAL 2 ptos; INSUFICIENTE
1 pto)
3) Seale el puntaje mnimo que debe alcanzar un estudiante de cada nivel (para
este taller, ser la suma de puntos de todos los tems de los niveles inferiores +
1)
4) Genere una planilla Excel para graficar los rangos que permitirn observar el %
de estudiantes que existen en cada nivel de desempeo (use la 2 gua de
trabajo para este trabajo)
Bibliografa y sitios web
Mineduc. Estandares de Aprendizaje, Decreto supremo de educacin N
129/2013. Unidad de Curriculum y Evaluacin.
Mineduc. Resumen ejecutivo Aplicacin de la Metodologa para establecer
puntajes de corte en las pruebas SIMCE 4 bsico, SIMCE. Unidad de
Curriculum y Evaluacin.
www.simce.cl
Curso de UML Multiplataforma Adaptativo Basado en la Teora de
Respuesta al items, Edicin Numero 10, Agosto del 2004, disponible en:
http://www.inf.udec.cl/~revista/ediciones/edicion10/psalcedo01.pdf
Universidad de Chile. Evaluacin nacional de estudiantes SIMCE, Taller para
docentes, Facultad Economa y Negocios. Diciembre del 2012.