Clculo del ndice Kappa de Cohen (1960)

(Estudio de la fiabilidad en el procedimiento de observacin)

Supongamos que se pide a dos observadores que clasifiquen, cada uno de ellos, un conjunto de
N tems u objetos sobre una escala de K =3 categoras de respuesta. Las categoras de respuesta
deben ser nominales (por ejemplo, correspondiente a una clasificacin simple de los objetos). El
resultado de las respuestas de los observadores puede representarse en una tabla de contingencia
33 . En general, la ampliacin a cualquier nmero de categoras produce una tabla de
contingencia que, utilizando las frecuencias observadas (Tabla 1.a) para cada casilla de la tabla,
presenta la forma siguiente:

Tabla1.a: Frecuencias de clasificacin para el caso K K

Observador B
Categoras 1 2 ... K Marginales
1 n 11 n 12 ... n1K n 1
2 n 21 n 22 ... n2K n 2
Observador A
n kk '
K nK 1 nK 2 ... nK K nK
Marginales n1 n 2 ... n K N

Utilizando proporciones, la Tabla 1.b siguiente permite simplificar notablemente el proceso de

clculo, aunque sin perder de perspectiva la eficiencia computacional que puede verse deteriorada
por el uso de dichas proporciones.

Tabla 1.b: Proporciones de clasificacin para el caso K K

Observador B
Categoras 1 2 ... K Marginales
1 p 11 p 12 ... p1K p 1

2 p 21 p 22 ... p2K p 2
Observador A
p kk '
K pK1 pK2 ... pK K p K

Marginales p1 p2 ... p K 1
 Utilizaremos una tabla de contingencia 33 tomada del texto de Fleiss, Levin y Paik (2003, p.
606; vase tambin Gwett, 2001, p. 82), donde se estudi el acuerdo obtenido en el diagnstico
emitido por dos psiquiatras (observador A y B) en una institucin de salud mental, mediante la
clasificacin en una de tres posibles categoras diagnsticas (psicosis, neurosis y trastorno orgnico)
en una muestra de 100 pacientes psiquitricos (Tabla 2)..

Tabla 2 ( frecuencias y proporciones de clasificacin)

Observador B
Diagnstico psiquitrico de N = 100 pacientes
Categoras psicosis neurosis orgnico Marginales
psicosis 75 (.750) 1 (.010) 4 (.040) 80 (.800)
Observador A
neurosis 5 (.050) 4 (.040) 1 (.010) 10 (.100)
orgnico 0 (.000) 0 (.000) 10 (.100) 10 (.100)
100
Marginales 80 (.800) 5 (.050) 15 (.150)
(1.000)
Nota: Los valores en negrita son frecuencias; los valores entre parntesis son proporciones

En todos los casos se utiliza la proporcin de acuerdo observado, que se definepara todo
i= j como
M
p o= pij
i =1

Para los datos empricos del ejemplo de la Tabla2, la proporcin de acuerdo observada es en
concreto, p o=0.750.040.10=0.89 .

No obstante, lo que resulta inadecuado en el uso de la probabilidad de acuerdo observada ,

como apuntaron investigadores pioneros en el tema (e.g. Fleiss, Levin y Paik, 2003, Hsu y Feld,
2003) es que cabe esperar que cierta proporcin del acuerdo entre los observadores se
produzca por azar. La solucin ms lgica consiste en determinar y consecuentemente corregir
el supuesto grado de acuerdo producido por azar mediante la introduccin de un nuevo
parmetro: la probabilidad de acuerdo esperada por azar , p e.
Cohen (1960), propuso el coeficiente Kappa para corregir esta dificultad.

En el caso del coeficiente (Cohen, 1960) la proporcin de acuerdo esperado por azar es la suma
de los productos de las probabilidades marginales simtricas para cada categora.

M
p = p i. p. i= p1. p .1 p2. p.2 ... p M. p .M

e
i=1

Para los datos empricos del ejemplo,

p e =.80.80.10.05.10.15=.6600

y aplicando la frmula se obtiene, que el acuerdo corregido del azar es igual a :

p o pe .89.66
=

= =.676
1 p e
.34

Interpretacin del grado de acuerdo para el coeficiente

Grado de acuerdo
0.00 -0.20 Insignificante
0.21 0.40 Regular
0.41 0.60 Moderado
0.61 0.80 Sustancial
0.81 0.99 Excelente
Landis & Kock (1977)

Ana Benavente Reche y Juan Jos Lpez Garca.

Facultad de Psicologa. Universidad de Murcia