Manuel Miguel Ramos lvarez

Programa Anlisis tems

Programa informtico para el anlisis de tems de pruebas dicotmicas

Manuel Miguel Ramos-lvarez
junio de 2005
Universidad de Jan
mramos@ujaen.es
Resumen:
Los elementos que componen una prueba objetiva, ya sea un test un examen o algn
instrumento de este tipo, frecuentemente se basan en un formato dicotmico, de manera que
hay dos posibles respuestas que son de carcter excluyente. En este contexto, se pueden
analizar una serie de parmetros estadsticos individuales para cada uno de los tems que
constituyen el sustrato formal sobre el que se asientan las bases cientficas de cualquier
instrumento o tcnica de medida. El programa Analitem.xls es muy sencillo de manejar y se
implementa en Excel, todo lo que requiere es incorporar filas y/o columnas para ajustarse a la
muestra del investigador. El programa proporciona ndices de Dificultad, Discriminacin,
Homogeneidad, Fiabilidad y Validez; as como Alfa de Cronbach y Validez predictiva.
Tambin se proporciona un resumen de los conceptos fundamentales en el material que
figura a continuacin.

Para acceder al programa pulse aqu

ndice de contenidos
1.

ANLISIS DE DIFICULTAD. .........................................................................................................2

1.1.

2.

ANLISIS DE DISCRIMINACIN (IDN). ....................................................................................2

2.1.
2.2.

3.

RELACIN CON OTROS PARMETROS DEL TEST. ............................................................................2

CLCULO BASADO EN LA CORRELACIN TEM-TEST......................................................................3

RELACIN CON OTROS PARMETROS DEL TEST. ............................................................................3

ANLISIS DE FIABILIDAD Y VALIDEZ.....................................................................................4

3.1.
3.2.
3.3.

ANLISIS DE LA VALIDEZ (IVJ RJY).............................................................................................4

ANLISIS DE LA FIABILIDAD (IFJ RJJ) .........................................................................................4
RELACIN CON OTROS PARMETROS DEL TEST. ............................................................................4

 Manuel Miguel Ramos lvarez

Programa Anlisis tems

11..

A
AN
N
L
LIISSIISS D
DE
ED
DIIFFIIC
CU
UL
LT
TA
AD
D..
La proporcin de examinados que responden correctamente a ese tem.

ID d j =
Para elementos de eleccin mltiple:

ID d j =

A
N

E
k 1
N

Mejor llamarle ndice de facilidad.

1
1..1
1.. R
Reellaacciin
n ccoon
n oottrrooss ppaarrm
meettrrooss ddeell tteesstt..

En relacin con el test global:

X = p j ID d j
j

Adems, se relaciona fundamentalmente con la varianza del del tem y del test.

Para tems (dicotmicos) se cumple:

S 2j = p j q j IDd j (1 IDd j );
S j = IDd j (1 IDd j )

Para el test, se cumple:

][

S X = (S j ) (R jX ) IDd j (1 IDd j ) IDn j

j

En concreto, la Varianza ser mxima para los valores intermedios de Pj; en otras
palabras la Dificultad media maximiza la Varianza del tem. Luego, la mxima cantidad
de informacin acerca de las diferencias entre los examinados se obtiene cuando las
proporciones son intermedias (Pj = Qj = 0,5).

22..

A
AN
N
L
LIISSIISS D
DE
ED
DIISSC
CR
RIIM
MIIN
NA
AC
CII
N
N ((IID
DN
N))..
Un tem tiene elevado poder discriminativo si contribuye a la distincin, discriminacin, de
los que puntan alto en el test de los que puntan bajo en el mismo. Es decir, si contribuye a
diferenciar individuos que exhiben el constructo o rasgo de aquellos que no lo exhiben.
Convencionalmente se suele denominar grupo de personas competentes a aquellas que
puntan alto en la prueba e incompetentes a los que puntan bajo (nomenclatura un
tanto desafortunada pero inevitable).
Este anlisis se puede efectuar de dos maneras, bien estimando la relacin del tem con el
test o bien a travs de la divisin del grupo en dos subgrupos, los competentes y los
incompetentes, y estimando la proporcin de aquellos que eligen el tem en cada uno de los
subgrupos.

 Manuel Miguel Ramos lvarez

Programa Anlisis tems

2
2..1
1.. C
n tteem
Cllccu
m--tteesstt..
ulloo bbaassaaddoo een
n llaa ccoorrrreellaacciin

Como consecuencia de lo anterior podra definirse el ndice de discriminacin como la

correlacin entre las puntuaciones de los sujetos en el tem y sus puntuaciones en el test
(puntuacin total).
La correlacin a utilizar depender de los formatos de tems y test y teniendo en cuenta que
ha de descontarse la contribucin que hace el tem al test total ya que si no se estara
elevando impropia y espuriamente la estimacin.
Veamos los 4 casos ms importantes:
1) Biserial-puntual. Item dicotmico y el test es cuantitativo continuo.

IDn j Rbp =

X A X X pj

SX
qj

A se refiere a los Aciertos en el test.

p es la proporcin de los sujetos que aciertan el tem y q la de los que lo fallan (q= 1p).

X se refiere al test; por tanto

X X es la media del test y Sx su desviacin tpica.

2) Biserial. Item dicotomizado a partir de una variable continua normal y el test es

cuantitativo continuo (i.e. tems que admiten gradacin de Resp. pero se dicotomizan).

rb =

X A X X Pj
SX
y

y expresa la ordenada que corresponde al valor de la puntuacin tpica en la Normal

que deja por debajo un rea igual a "p".

No emplearlo si se sospecha una distribucin platicrtica o bimodal.

3) Coeficiente PHI. Item y test son casos dicotmicos. Es una mera aplicacin de
Pearson, luego se puede estimar con dicha frmula.
4) Tetracrica. Si las 2 estn dicotomizadas a partir de variables continuas y segn un
modelo de la Normal. Tambin es una aplicacin de Pearson y su clculo es complejo, luego se
puede usar Pearson como aproximacin.
5) Basado en Pearson. Si tanto el tem como el total son variables contnuas. Las
escalas tipo Likert (ordinales) requieren el ndice de Spearman que tambin se puede aproximar
mediante Pearson.

2
2..2
2.. R
Reellaacciin
n ccoon
n oottrrooss ppaarrm
meettrrooss ddeell tteesstt..
1) Variabilidad.
La variabilidad de un test es una medida de la capacidad discriminativa del mismo ya
que por ejemplo si la desviacin tpica valiese cero es porque no habra
discriminacin alguna, pues todos los sujetos manifiestan la misma puntuacin (no

 Manuel Miguel Ramos lvarez

Programa Anlisis tems

se diferencian en absoluto). Adems, es fcil ver que la capacidad discriminativa del

test (SX) est ntimamente relacionada con el IDn de los tems.

S X = S j R jX = ( S j ) ( IDn j )
j

Nota: Descontar la influencia del tem en el test global:

r j(x j) =

33..

r jx S x S j
S 2j + S 2x 2 r jx S jS x

A
Z..
AN
N
L
LIISSIISS D
DE
E FFIIA
AB
BIIL
LIID
DA
AD
DY
YV
VA
AL
LIID
DE
EZ
Pretendemos medir cunto de fiable o vlido resulta cada tem respecto al test total, lo que
sera pertinente a la hora de detectar tems concretos que pudieran estar fallando cuando la
fiabilidad/validez global fuera(n) baja(s).

3
3..1
1.. A
RjjjYYY))
An
nlliissiiss ddee llaa vvaalliiddeezz ((IIV
Vjjj R

La validez del tem expresa la correlacin del tem con el criterio. Se calcula como el ndice
de discriminacin pero correlacionando el componente con el criterio global en lugar del
test.
Ahora no existe el problema de tener que descontar el tem del total ya que se trata del
criterio que incluye otros elementos distintos para medir el constructo-.

3
3..2
2.. A
Rjjjjjj))
An
nlliissiiss ddee llaa ffiiaabbiilliiddaadd ((IIF
Fjjj R

Expresa la ponderacin del poder discirminativo en funcin de la dispersin del mismo.

Formalmente:
IFj=Rjj=Sj RjX

3
3..3
3.. R
Reellaacciin
n ccoon
n oottrrooss ppaarrm
meettrrooss ddeell tteesstt..
1) Variabilidad del test y homogeneidad de los tems.
Segn la formulacin que veamos ms arriba para relacionar variabilidaddiscriminacin, quedar claro que sta tambin se relaciona con la fiabilidad.

S X = S j R jX = ( S j ) ( IDn j ) = IF j
j

Tener en cuenta:

S j = Pj (1 P j ) S x = P j (1 P j ) r jx Para tems dicotmicos.

j

De aqu se desprende que la homogeneidad del tem y su discriminacin o fiabilidad

son conceptos diferentes aunque estrechamente relacionados. O de otra manera, que
el poder de discriminacin del test, a travs de la variabilidad, depende de la
dificultad y la discriminacin de los componentes y no slo de la discriminacin
de los mismos.
Es decir que depende de la variabilidad de los tems y de su poder de
discriminacin o alternativamente de su dificultad (recogido en Sj) y de su poder
de discriminacin.

 Manuel Miguel Ramos lvarez

Programa Anlisis tems

Luego, para maximizar la variabilidad del test hay

simultneamente la interaccin de los dos tipos de ndice.

que

considerar

2) Fiabilidad como consistencia

j S2j
n
1
=
2
n 1

S j r jx

Segn esta reescritura del coeficiente alfa de Cronbach, alfa se relaciona

ntimamente con la homogeneidad del tem y con su grado de discriminacin o de
fiabilidad. Adems lo hace de manera directa si consideramos que lo que va en el
denominador a su vez lo hace restando de la unidad.

 Manuel Miguel Ramos lvarez

Programa Anlisis tems

3) Validez del test.

S r

j jy

R xy =

S r

j jx

Pj (1 Pj ) r jy

Pj (1 Pj ) r jx

R xy =

Aqu queda tambin clara la relacin de validez con todos los conceptos vistos.
Tiene una relacin directa con los ndices de validez de los tems e inversa con los
ndices de fiabilidad o de discriminacin de los mismos. Esto recoge una paradoja
importante. Si optimizamos la fiabilidad al incrementar el poder de discriminacin
(ecuacin de alfa), esto rebajara la validez (ecuacin que acabamos de ver). Luego, se
debe buscar un punto de equilibrio.

Para tems dicotmicos