ORIGINAL

Una nueva aproximacin en el diagnstico de

la enfermedad de Alzheimer con biomarcadores:
descripcin del AD-CSF-Index
Jos L. Molinuevo, Juan D. Gispert, Jess Pujol, Santiago Rojas, Albert Llad, Mircea Balasa, Anna Antonell,
Raquel Snchez-Valle, Lorena Rami

Introduccin. Estudios realizados con biomarcadores determinados en el lquido cefalorraqudeo (LCR) en pacientes con
patologa confirmada de enfermedad de Alzheimer (EA) han demostrado que la disminucin de los niveles de A1-42 y un
aumento de los niveles de tau y tau fosforilada constituyen una caracterstica especfica de la patologa tipo EA.
Objetivo. Presentar la descripcin de un nuevo mtodo para determinar un ndice, el AD-CSF-Index, a travs de los valores
obtenidos con los biomarcadores de LCR para, de esta forma, optimizar el diagnstico de la EA.
Sujetos y mtodos. Se reclut un total de 61 sujetos en la unidad de Alzheimer y otros trastornos cognitivos del Hospital
Clnic de Barcelona, de los cuales 42 eran controles cognitivamente sanos y 19 fueron diagnosticados de EA segn los
nuevos criterios de investigacin propuestos por Dubois et al: alteracin de memoria episdica y atrofia de hipocampo
medida con la escala descrita por Scheltens. El AD-CSF-Index se construy a partir de la adicin de los valores normalizados
entre los valores mximos y mnimos de las protenas amiloide y tau.
Resultados. Los sujetos diagnosticados de EA presentaron valores medios del AD-CSF-Index significativamente ms altos
(1,17) que los sujetos sanos (0,72) (p < 0,001; intervalo de confianza al 95% de la diferencia = 0,32-0,57). En los resultados del anlisis ROC, el AD-CSF-Index obtiene los mejores resultados de todos los ndices evaluados, presentando una
sensibilidad del 92% y una especificidad del 89% para el punto de corte de 0,93.
Conclusin. El AD-CSF-Index representa una aproximacin novedosa que combina de forma ptima las alteraciones de biomarcadores observadas en el LCR, permitiendo establecer el diagnstico de la EA con elevada sensibilidad y especificidad.
Palabras clave. Alzheimer. Biomarcadores. Diagnstico. LCR.

Introduccin
La enfermedad de Alzheimer (EA) es una entidad
anatomoclnica de naturaleza degenerativa y curso
progresivo. Histricamente, la EA se considera una
entidad clinicopatolgica constituida por un fenoti
po clnico, fundamentalmente caracterizado por un
deterioro cognitivo progresivo que afecta inicial
mente a la memoria y, posteriormente, a otros do
minios cognitivos, generando una alteracin fun
cional [1], a la que subyace un patrn neuropatol
gico caracterizado por acmulo extracelular de la
protena amiloide (A), depsitos intracelulares
de protena tau, prdida neuronal y sinptica, y pro
liferacin glial. El diagnstico definitivo, hasta la
fecha, implica la existencia de un fenotipo clnico
compatible con demencia, junto con una anatoma
patolgica con los hallazgos caractersticos de la
enfermedad [1]. En la ltima dcada, con la finali
dad de realizar un diagnstico ms precoz y espec
fico, se han propuesto unos nuevos criterios de in
vestigacin para la EA de acuerdo con Dubois et al

www.neurologia.com Rev Neurol 2012; 54 (9): 513-522

Unidad de Alzheimer y otros

trastornos cognitivos; Hospital
Clnic (J.L. Molinuevo, A. Llad,
M. Balasa, A. Antonell, R. SnchezValle, L. Rami). Fundaci Pasqual
Maragall (J.L. Molinuevo, J.D.
Gispert). Institut dInvestigacions
Biomdiques August Pi i Sunyer,
IDIBAPS (J.L. Molinuevo, A. Llad,
M. Balasa, A. Antonell, R. SnchezValle, L. Rami). CRC Mar; Hospital
del Mar (J. Pujol). CRC Centre
dImatge Molecular; CRC Corporaci
Sanitria (S. Rojas). Barcelona,
Espaa.
Correspondencia:
Dr. Jos Luis Molinuevo Guix.
Unidad de Alzheimer y otros
trastornos cognitivos. Hospital
Clnic. Villarroel, 170. E-08036
Barcelona.
Fax:
+34 932 275 783.
E-mail:
jlmoli@clinic.ub.es

[2]. El principal cambio respecto a los bien estable

cidos criterios del National Institute for Neurolo
gical and Communicative Disorders and StrokeAlzheimers Disease and Related Disorder Associa
tion es que la presencia de deterioro significativo de
la memoria episdica, independientemente del gra
do de prdida funcional, junto con la presencia de
un biomarcador anormal, son suficientes para el
diagnstico de EA probable. De forma resumida, la
aplicacin de los nuevos criterios permite diagnos
ticar la EA cuando existe un dficit de memoria
episdica, junto con una atrofia del hipocampo de
tectada por resonancia magntica (RM), o la altera
cin caracterstica de biomarcadores en el lquido
cefalorraqudeo (LCR), acmulo de amiloide detec
tado por la tomografa por emisin de positrones o
presencia de una mutacin autosmica dominante
para la enfermedad. En consecuencia, esta nueva
propuesta de criterios de investigacin de la EA
permite tanto el diagnstico etiolgico como el es
tablecimiento de un diagnstico en la fase prodr
mica de la enfermedad [3-5]. En este sentido, nu

Declaracin de intereses:
J.L.M. ha asesorado cientficamente
a las siguientes compaas: Pfizer,
Eisai, Novartis, Lundbeck, Roche,
Bayer, Bristol-Myers Squibb, MSD,
Merz, GE Health Care, GlaxoSmithKline, Innogenetics.
Financiacin:
Este trabajo se ha realizado
gracias a los siguientes proyectos:
Consolider-Ingenio 2010 (CSD
2010-00045 IP: J.LM.); FIS-Fondo
europeo de desarrollo regional,
una manera de hacer Europa
(PI11/01071 IP: L.R.); proyecto
IMSERSO (197/2011 IPD: L.R.);
programa de investigadores del
sistema nacional Miguel Servet
(CP 08/00147; IP: L.R.); y a un
proyecto del JPND Research
(Biomarkapd IP: J.L.M. y J.D.G.).
Vallverd S.A. ha dado soporte
econmico a la investigacin.
Nota:
J.L.M. y J.D.G. han contribuido
por igual a la elaboracin del
manuscrito.
Aceptado tras revisin externa:
15.03.12.

513

J.L. Molinuevo, et al

Cmo citar este artculo:

Molinuevo JL, Gispert JD, Pujol J,
Rojas S, Llad A, Balasa M, et al.
Una nueva aproximacin en el
diagnstico de la enfermedad de
Alzheimer con biomarcadores:
descripcin del AD-CSF-Index.
Rev Neurol 2012; 54: 513-22.
2012 Revista de Neurologa

merosos estudios han demostrado que la medicin

tanto manual como automatizada del hipocampo y
del crtex entorrinal presenta una elevada sensibili
dad y especificidad para identificar aquellos sujetos
que en el futuro van a desarrollar una EA [6].
Estudios realizados con biomarcadores determi
nados en el LCR en pacientes con patologa confir
mada de EA han demostrado que la disminucin de
los niveles de A1-42 y un aumento de los niveles de
tau total (t-tau) y tau fosforilada (p-tau) constituyen
una caracterstica especfica de la patologa tipo EA
[7,8]. A su vez, estudios clnicos longitudinales han
demostrado que sujetos que presentan un deterioro
cognitivo leve, junto con la presencia de este patrn
caracterstico de biomarcadores en el LCR, acaban
desarrollando una demencia [9]. Paradjicamente,
cuando se han realizado estudios comparando con
troles y pacientes para determinar la capacidad
diagnstica de estos marcadores [10-13], los resul
tados muestran una mayor variabilidad. Una de las
razones subyacentes es que estos biomarcadores re
flejan el estado patlogico y no necesariamente el cl
nico [7,8,14]. En ese sentido, aproximadamente el
25% de las personas mayores no dementes presenta
unos valores anormales de A1-42 en el LCR [15-17],
cifra similar a la obtenida en estudios post mortem,
donde el 25% de sujetos presenta patologa cerebral
con deposicin de A1-42 sin que haya desarrollado
una EA clnica [18]. Estos hechos, necesariamente,
se traducirn en una baja especificidad de la deter
minacin de A1-42 para el diagnstico de la EA. No
obstante, si consideramos que los cambios de A1-42
se presuponen anteriores a la aparicin de los cam
bios de otros biomarcadores, tales como la t-tau o la
p-tau [19], e incluimos stos en el proceso diagns
tico, la sensibilidad y la especificidad mejoran. Pese
a ello, e independientemente de los distintos inten
tos realizados para combinar estos marcadores, su
capacidad diagnstica ha sido considerada subpti
ma o se basa en algoritmos complejos [13,20].
El objetivo de este trabajo es presentar la des
cripcin y los resultados preliminares de un nuevo
mtodo para determinar un ndice, el AD-CSF-Index, a travs de los valores obtenidos con los bio
marcadores de LCR, y de esta forma optimizar el
diagnstico de la EA.

Sujetos y mtodos
Muestra
Se reclutaron 61 sujetos en la unidad de Alzheimer
y otros trastornos cognitivos del Hospital Clnic de

514

Barcelona. Todos los sujetos firmaron un consenti

miento informado para realizar la puncin lumbar
y las pruebas de imagen. El proyecto fue aprobado
por el comit tico del Hospital Clnic.
Se incluyeron 42 sujetos controles definidos se
gn los siguientes criterios:
Ausencia de deterioro cognitivo (puntuacin por
encima de 1,5 desviaciones estndares de la pun
tuacin media en todas las pruebas cognitivas,
teniendo en cuenta la edad y el nivel educativo).
Ausencia de enfermedades neurolgicas.
Ausencia de patologa psiquitrica aguda.
Minimental State Examination (MMSE) > 24.
Con la finalidad de elevar la especificidad diagns
tica de los sujetos con EA, y que la determinacin
de las curvas ROC (receiver operating characteristic) implicara valores vinculados con un diagns
tico ms especfico, la EA fue diagnosticada apli
cando los nuevos criterios diagnsticos [2]. Se in
cluyeron 19 sujetos que cumplan los siguientes cri
terios:
Evidencia objetiva de la alteracin significativa de
la memoria episdica medida mediante el test
de recuerdo libre y facilitado de Buschke [21].
Prdida de volumen hipocampal evidenciado
por cambios cualitativos visuales observados en
la RM, medidos mediante la escala descrita de
Scheltens [22].
Ausencia de signos neurolgicos focales.
Ausencia de otros trastornos mdicos que sean
suficientes para causar la alteracin de memoria
o sntomas relacionados, como depresin mayor,
enfermedad cerebrovascular, alteraciones txi
cas, metablicas o procesos infecciosos.

Anlisis del lquido cefalorraqudeo

Se obtuvieron 10 mL de LCR de los sujetos a lo lar
go de la maana (de 09:00 a 12:00 h) del da de visi
ta, y se centrifugaron y almacenaron las muestras
en tubos de polipropileno a 80 C. En ellas, se de
terminaron los valores de A1-42, t-tau y p-tau me
diante un ensayo por inmunoabsorcin ligado a en
zimas (ELISA).

Adquisicin de imgenes de resonancia magntica

Los sujetos se sometieron a una exploracin por RM
en un equipo de 3 T (Magnetom Trio Trim, Siemens
Medical Solutions, Erlangen, Alemania). Se adqui
ri una imagen estructural ponderada en T1 median
te una secuencia de eco de gradiente (TR: 2.300 ms;
TE: 2,98 ms) con un tamao de matriz de 256 256

www.neurologia.com Rev Neurol 2012; 54 (9): 513-522

Diagnstico de la enfermedad de Alzheimer con biomarcadores: AD-CSF-Index

256 y un tamao de vxel isotrpico de 1 mm3. El

intervalo medio entre las adquisiciones de RM y la
puncin lumbar fue de 41 das, con un rango com
prendido entre 1 y 103 das.

Determinacin de la atrofia
del lbulo temporal medial
A partir de las imgenes de RM, se determin el ni
vel de atrofia del lbulo temporal medial mediante
la escala descrita de Scheltens [22]. Brevemente,
sta es una escala con cinco niveles (del 0 al 4) en
funcin de las alteraciones en el grosor de la fisura
coroide, el grosor del asta temporal de los ventrcu
los laterales y la altura de la formacin hipocampal.
En caso de obtener medidas diferentes para los he
misferios izquierdo y derecho, se escogi el valor
ms alto entre ambos. Posteriormente, y a efectos
de dicotomizar la presencia de alteraciones anat
micas, se estableci un umbral de corte, de modo
que los valores de atrofia del lbulo temporal me
dial de 0 y 1 se consideraron como no patolgicos, y
los valores entre 2 y 4 como patolgicos.
Las imgenes fueron evaluadas por un mismo
lector (S.R.) de forma ciega con respecto a la pre
sencia de alteraciones en la memoria de los sujetos.
Para comprobar la consistencia de esta medida, se
determin su reproducibilidad, repitindola en una
submuestra ciega y aleatoria de 16 de ellas. Con
esta submuestra, se determin la concordancia en
tre las calificaciones mediante la de Cohen pon
derada linealmente. Los valores de concordancia
entre las lecturas de las imgenes de RM fue de =
0,78 para la escala de cinco niveles y de = 0,81 tras
la dicotomizacin. Estos valores son muy similares
a los descritos en estudios recientes [23] y, al supe
rar el valor de = 0,75, se puede considerar que la
consistencia entre las valoraciones fue excelente.

Descripcin del AD-CSF-Index

Todos los procedimientos y anlisis descritos en
este trabajo se realizaron utilizando tanto los valo
res de t-tau como los de p-tau, con resultados muy
similares.
Conceptualmente, el ndice se construye a partir
de la concatenacin de las alteraciones en los valo
res de concentracin de las protenas del amiloide y
tau, normalizadas individualmente entre sus res
pectivos valores mximos y mnimos. Esta normali
zacin tiene como objetivo transformar los valores
originales de las concentraciones de los biomarca
dores en LCR en un valor comprendido entre 0 y 1,
de modo que 0 signifique la ausencia total de altera

www.neurologia.com Rev Neurol 2012; 54 (9): 513-522

ciones y 1 la presencia mxima de stas. De este

modo, se obtiene un valor entre 0 y 1 que cuantifica
las alteraciones asociadas a la A1-42, y otro para los
de la t-tau o p-tau. Finalmente, el ndice se calcula
como la suma de estos dos valores.
Siguiendo esta estrategia, se calcul el AD-CSFIndex de cada sujeto a partir de sus valores de A1-42
y t-tau o p-tau, segn la siguiente expresin:

(ec. 1)
Este ndice puede modificarse de forma trivial utili
zando los valores de t-tau o los de p-tau, o bien em
pleando ratios de A1-42/A1-40 en lugar de los valo
res absolutos de A1-42. De forma anloga, podran
ajustarse los valores mximos y mnimos en funcin
de la tcnica de cuantificacin de los biomarcadores
(ELISA o Luminex xMAP). En este trabajo, para de
terminar la frmula, se han utilizado los siguientes
valores mximos y mnimos: Amx = 1.200 pg/mL;
Amn = 125 pg/mL; t-taumx = 2.000 pg/mL; t-taumn
= 75 pg/mL (versin t-tau); p-taumx = 300 pg/mL;
p-taumn = 15 pg/mL (versin p-tau) . Ntese que es
tos valores no se corresponden con los mximos y
mnimos en nuestra muestra; los valores mnimos
coinciden con los lmites de la sensibilidad del kit
comercial (ELISA), y los valores mximos fueron se
leccionados segn los valores de numerosos estu
dios descriptivos de biomarcadores en sujetos con
EA y controles [10,24]. De esta forma, los valores
mnimos y mximos escogidos para la frmula com
prenden un rango de variacin de biomarcadores
del 95% de sujetos controles y pacientes con EA. Por
lo tanto, estos valores son independientes de la
muestra estudiada o de posibles sesgos entre medi
das de diferentes laboratorios. No obstante, se com
prob que los resultados obtenidos fueron idnticos
frente a amplias variaciones de ellos: Amx = 8001.400 pg/mL; Amn = 0-200 pg/mL; p-taumx = 210300 pg/mL; p-taumn = 0-40 pg/mL; t-taumx = 2.0002.500 pg/mL; t-taumn = 0-400 pg/mL.
Sustituyendo estos valores en la frmula (1), se
llega a la siguiente expresin para el AD-CSF-Index
(p-tau):

(ec. 2)
y para el ndice AD-CSF-Index (t-tau):

515

J.L. Molinuevo, et al

Figura 1. Representacin en escala de color de los valores del AD-CSFIndex en funcin de los valores de A1-42 y tau fosforilada.

Anlisis estadstico
Para evaluar el comportamiento del ndice en los
sujetos control y los afectos de EA, se compararon
los valores medios en cada grupo mediante una
prueba t de Student de dos colas (p < 0,05).
A continuacin, se compar la bondad diagns
tica del AD-CSF-Index mediante anlisis ROC y
mediante regresin logstica. Los resultados obte
nidos con el AD-CSF-Index se compararon con los
valores individuales de A1-42, p-tau y t-tau. Tam
bin se incluyeron en la comparativa otros dos ndi
ces compuestos a partir de los valores de A1-42 y
t-tau que han sido descritos previamente en la bi
bliografa: la ratio t-tau/A1-42 [25] y el descrito por
Hulstaert [11]. Este ltimo se calcula como:

(ec. 4)

Tabla I. Medias desviaciones estndares de los valores de biomarcadores, clnicos y demogrficos, del grupo control y el grupo con enfermedad de Alzheimer.
Control

Enfermedad
de Alzheimer

A1-42 a

579,9 205,2

308,38 57,6

p-tau a

65,9 35,2

111,4 49,9

t-tau a

380,7 329,6

815,9 430,1

68,3 6,7

74,2 5,9

Educacin (aos)

10 4,4

8,7 2,7

MMSE a

28,1 1,5

23,7 3,3

T@M a

45,4 4

28,9 5,4

24,4%

73,7%

Edad (aos) a

Alelo APOE4 a

MMSE: Minimental State Examination; T@M: test de alteracin de memoria. a p < 0,005.

(ec. 3)
En la figura 1 se representan los valores del AD-CSFIndex en funcin de los valores de los biomarcadores.

516

Mediante el anlisis ROC, se determin el rea

bajo la curva (AUC) y la especificidad al 85% de
sensibilidad de todos estos ndices. Mediante el
anlisis con regresin logstica, se calcul el por
centaje de casos correctamente clasificados y el
ajuste al modelo mediante la r2 de Nagelkerke, que
valora el porcentaje de variabilidad explicado por el
modelo. En el anlisis por regresin logstica, tam
bin se incluy un modelo bivariado, introduciendo
los valores de A1-42 y p-tau (o t-tau) simultnea
mente. Adems, se calcul el punto de corte ptimo
para la clasificacin y los valores de sensibilidad y
especificidad en ese punto.

Resultados
La tabla I muestra las medias y desviaciones estn
dar de los valores de biomarcadores, clnicos y de
mogrficos, del grupo control y del grupo con EA.
Tal y como se detalla en la tabla, se encontraron di
ferencias significativas entre los dos grupos en la
edad, el MMSE, el test de alteracin de memoria, el
nivel de todos los biomarcadores y la frecuencia del
alelo APOE4 (p < 0,005).
La figura 2 muestra un diagrama de dispersin
de los valores de A1-42 con respecto a los de p-tau
y clasificados por el nivel de atrofia del lbulo tem
poral medial. Se puede apreciar cmo las alteracio
nes en los dos biomarcadores son, en gran medida,
complementarias, ya que la prctica totalidad de
los valores se encuentra distribuida en los cuadran
tes inferior e izquierdo, asocindose a niveles bajos

www.neurologia.com Rev Neurol 2012; 54 (9): 513-522

Diagnstico de la enfermedad de Alzheimer con biomarcadores: AD-CSF-Index

de A1-42 y, fundamentalmente, a niveles elevados de

p-tau. El diagrama de dispersin realizado con los
valores de t-tau mostraba resultados similares.
Los sujetos diagnosticados de EA presentaron
valores medios del AD-CSF-Index (t-tau) significa
tivamente ms altos (1,19) que los sujetos sanos
(0,70): p < 0,001 (intervalo de confianza al 95% de la
diferencia, IC 95% = 0,35-0,64). De forma similar,
los sujetos diagnosticados de EA presentaron valo
res medios del AD-CSF-Index (p-tau) significativa
mente ms altos (1,12) que los sujetos sanos (0,70):
p < 0,001 (IC 95% = 0,31-0,53).
La tabla II muestra los resultados del anlisis
ROC, y en ella se puede apreciar cmo el AD-CSFIndex obtiene los mejores resultados de todos los
ndices evaluados tanto en trminos de AUC (t-tau:
0,938; p-tau: 0,928), como en especificidad al 85%
de sensibilidad (t-tau y p-tau: 89,2%). Del resto de
ndices evaluados, el que ofreci un mejor resulta
do fue el de Hulstaertt-tau (AUC: 0,927; especifici
dad al 85% de sensibilidad: 88,9%). Las curvas ROC
completas pueden apreciarse en la figura 3.
El anlisis por regresin logstica (Tabla III) arro
j resultados similares, ya que el AD-CSF-Index
consigui el mejor porcentaje de casos correcta
mente clasificados (t-tau: 88,7%; p-tau: 87,1%). En
cuanto al ajuste del modelo, obtuvo valores ligera
mente inferiores (t-tau: r2 = 0,586; p-tau: r2 = 0,624)
al mejor ndice segn este criterio (Hulstaertt-tau:
r2 = 0,673). A su vez, el ndice Hulstaertp-tau consi
gui clasificar correctamente el 86,9% de los casos.
Para cada ndice, la tabla III tambin muestra los
valores de corte ptimos y los respectivos valores
de sensibilidad y especificidad en este punto. La ta
bla IV muestra la sensibilidad y especificidad del
AD-CSF-Index para todos los puntos de corte. Es
evidente que la seleccin del punto de corte va a va
riar en funcin de la priorizacin de la sensibilidad
o de la especificidad. En general, pensamos que los
puntos de corte de 0,93 para el AD-CSF-Index con
t-tau y el de 0,92 para el de p-tau presentan un ren
dimiento ptimo en esta muestra, con una sensibi
lidad del 92% y una especificidad del 89% y 86%, res
pectivamente.

Figura 2. Distribucin conjunta de los valores de A1-42 y tau fosforilada

etiquetados por atrofia hipocampal segn la escala de atrofia del lbulo temporal medial.

Tabla II. Capacidad diagnstica de los diferentes ndices basados en

biomarcadores de lquido cefalorraqudeo segn el anlisis ROC.
rea bajo
la curva ROC

Especificidad al 85%
de sensibilidad

A1-42

0,916

80,6%

p-tau

0,769

41,7%

t-tau

0,813

55,6%

p-tau/A1-42

0,903

83,3%

t-tau/A1-42

0,920

77,8%

Hulstaert (p-tau)

0,924

86,1%

Hulstaert (t-tau)

0,927

88,9%

AD-CSF-Index (p-tau)

0,928

89,2%

Discusin

AD-CSF-Index (t-tau)

0,938

89,2%

Los resultados de este trabajo muestran que el ADCSF-Index representa una forma novedosa que
combina de forma ptima los resultados normali
zados de los valores A1-42 con los de t-tau o p-tau
determinados en el LCR, para establecer el diag
nstico de la EA mediante biomarcadores con una

A1-42: protena amiloide 1-42; p-tau: tau fosforilada; t-tau: tau total.

www.neurologia.com Rev Neurol 2012; 54 (9): 513-522

elevada sensibilidad y especificidad. Asimismo, la

capacidad diagnstica del AD-CSF-Index es supe
rior a la obtenida a travs de la combinacin de los

517

J.L. Molinuevo, et al

Figura 3. Curvas ROC para todos los ndices comparados en el presente estudio (los segmentos diagonales son producidos por los empates).

Tabla III. Capacidad diagnstica de los diferentes ndices basados en biomarcadores de lquido cefalorraqudeo segn el anlisis por regresin logstica.
Casos
correctamente
clasificados

Ajuste del
modelo (r2 de
Nagelkerke)

Valor
de corte

Sensibilidad
en el valor
de corte

Especificidad
en el valor
de corte

A1-42

83,9%

0,649

394,00

84%

83,8%

p-tau

79,0%

0,233

93,75

60%

91,9%

t-tau

75,8%

0,253

618,30

52%

91,9%

A1-42 y p-tau
(modelo bivariado)

83,9%

0,671

84%

83,8%

A1-42 y t-tau
(modelo bivariado)

85,5%

0,670

88%

83,8%

p-tau/A1-42

82,0%

0,492

0,1583

72%

88,9%

t-tau/A1-42

83,6%

0,447

1,1740

68%

94,4%

Hulstaert (p-tau)

86,9%

0,667

1,2880

92%

83,3%

Hulstaert (t-tau)

85,2%

0,673

0,5637

88%

83,3%

AD-CSF-Index (p-tau)

87,1%

0,624

0,9728

84%

89,2%

AD-CSF-Index (t-tau)

88,7%

0,586

0,9816

84%

91,9%

A1-42: protena amiloide 1-42; p-tau: tau fosforilada; t-tau: tau total.

518

valores de los biomarcadores. El AUC, la sensibili

dad y la especificidad del AD-CSF-Index permiten
la aplicacin y uso de estos biomarcadores clnica
mente, pues se encuentran en el rango ptimo defi
nido para la aplicacin de un biomarcador diagns
tico [26], superando, a su vez, los valores obtenidos
en estudios previos con medidas directas no nor
malizadas [13].
El AD-CSF-Index representa un mtodo sencillo
y prctico de establecer la progresin de la EA a
partir de las determinaciones de A1-42 y t-tau o p-tau
en el LCR. Tal como puede apreciarse en la figura 1,
estos valores no covaran ni existe una relacin sig
nificativa entre ellos. Este comportamiento es com
patible con el modelo hipottico propuesto por Jack
et al [19]. La independencia entre los valores de los
biomarcadores se confirm mediante regresin lo
gstica, valorando la capacidad diagnstica del ADCSF-Index y la de los valores A1-42, p-tau y t-tau
individuales. De hecho, el AD-CSF-Index muestra
una mejor capacidad diagnstica que los valores in
dividuales de los biomarcadores, tanto por separado
(ROC y regresin logstica) como conjuntamente (mo
delo bivariado en la regresin logstica).
En nuestra muestra, el ndice de Hulstaertp-tau
present, con una especificidad al 85%, un valor de
sensibilidad del 86,1% (Hulstaertt-tau: 88,9%), muy
similar al comunicado previamente [11]. Esta con
cordancia respalda la comparabilidad de los resul
tados de nuestro trabajo con la literatura existente.
El mejor ajuste del modelo de regresin del ndice
de Hulstaert podra deberse a que los parmetros
en la frmula (ec. 4), que no entraan ningn signi
ficado en particular, hubiesen sido optimizados con
este fin. En cambio, los parmetros necesarios para
calcular el AD-CSF-Index son simplemente valores
que comprenden un rango de variacin del 95% tan
to de sujetos sanos como de pacientes. De este modo
se calculan dos componentes independientes de las
alteraciones en la EA que sern sumados para cal
cular el ndice, presentando, por tanto, un rango de
variacin de 0 a 2. Esta aproximacin cuenta con la
ventaja de que no se necesita ninguna asuncin
previa sobre la distribucin de probabilidades de
los valores de los biomarcadores en sujetos sanos
ni en enfermos. Adems, se ha observado que el
ndice es robusto en un amplio rango de valores de
estos parmetros, y es independiente del porcenta
je de sujetos sanos y enfermos incluidos en el estu
dio. Los valores mximos y mnimos en la frmula
pueden ser ajustados sin merma de la capacidad
diagnstica en funcin de la tcnica de cuantifica
cin de los biomarcadores (ELISA o Luminex xMAP).
En tal caso, no esperamos variaciones significativas

www.neurologia.com Rev Neurol 2012; 54 (9): 513-522

Diagnstico de la enfermedad de Alzheimer con biomarcadores: AD-CSF-Index

en los resultados de sensibilidad, especificidad, AUC

o porcentaje de casos correctamente clasificados.
En cambio, los valores de corte ptimos para el
diagnstico deberan actualizarse adecuadamente
porque, en este estudio, se han derivado slo a par
tir de cuantificaciones mediante ELISA.
De forma similar al resto de indicadores de pro
gresin de la EA, el AD-CSF-Index es sensible a va
riaciones intra- e interlaboratorio de las mediciones
de A1-42, t-tau y p-tau. Esas variaciones pueden ser
causadas por factores preanalticos, analticos o re
lacionados con el ensayo, y ponen en peligro la in
troduccin de los biomarcadores en la rutina clni
ca y ensayos clnicos por todo el mundo. La estan
darizacin y normalizacin de las medidas de estos
y otros biomarcadores para la EA supera el mbito
del presente trabajo.
Es evidente que la precocidad del diagnstico de
la EA genera beneficios para el paciente en varios
niveles: mdico, personal y social [4]. Desde el pun
to de vista mdico, abordar la enfermedad precoz
mente facilita el manejo clnico, al poderse adelan
tar a la aparicin de los sntomas. A su vez, si consi
deramos que en el futuro dispondremos de frma
cos que modifiquen el curso evolutivo, es evidente
que su utilizacin deber aplicarse, si no es viable
en la fase preclnica, al menos en la fase prodrmi
ca de la enfermedad, aos antes de la aparicin de
demencia [27,28]. En este sentido, los nuevos crite
rios de investigacin para el diagnstico de la EA
han sido un primer paso y un avance significativo
para clasificar a los pacientes cuando presentan sin
tomatologa muy leve y todava no se ha instaurado
una demencia. Sin embargo, los criterios requieren
an mayor desarrollo, caracterizacin, protocoliza
cin y normalizacin de los diferentes marcadores
biolgicos propuestos [29]. Ello es especialmente
aplicable al anlisis de los biomarcadores en el LCR,
dada la variabilidad que existe en las determinacio
nes intercentros [30]. La aproximacin realizada con
el AD-CSF-Index se basa en la obtencin y combi
nacin de valores normalizados de marcadores de
amiloide y tau, lo cual permite superar algunas de las
limitaciones asociadas al diagnstico basado en la
combinacin de valores directos de los diferentes
biomarcadores. En primer lugar, al utilizar valores
normalizados de dos biomarcadores, evita la rigi
dez dicotmica establecida basada en un punto de
corte aplicado sobre valores directos de un solo
marcador. En segundo lugar, la adicin de los valo
res normalizados de los marcadores de amiloide y
tau permite establecer con mayor sensibilidad y es
pecificidad el diagnstico, pues la combinacin de
ambos refleja la alteracin caracterstica de estos

www.neurologia.com Rev Neurol 2012; 54 (9): 513-522

Tabla IV. Coordenadas de la curva ROC para el AD-CSF-Index (versiones t-tau y p-tau).
AD-CSF-Index (p-tau)

AD-CSF-Index (t-tau)

EA si

Sensibilidad

Especificidad

EA si

Sensibilidad

Especificidad

0,2444

0,027

0,2949

0,027

0,3917

0,054

0,4401

0,054

0,4442

0,081

0,4835

0,081

0,4522

0,108

0,4872

0,108

0,4578

0,135

0,4961

0,135

0,4651

0,162

0,5041

0,162

0,4768

0,189

0,5061

0,189

0,4985

0,216

0,5104

0,216

0,5183

0,243

0,5140

0,243

0,5242

0,270

0,5291

0,270

0,5314

0,297

0,5480

0,297

0,5435

0,324

0,5604

0,324

0,5602

0,351

0,5891

0,351

0,5736

0,378

0,6143

0,378

0,5987

0,405

0,6242

0,405

0,6315

0,432

0,6324

0,432

0,6446

0,459

0,6442

0,459

0,655

0,486

0,6559

0,486

0,6734

0,514

0,6709

0,514

0,694

0,541

0,6997

0,541

0,7087

0,568

0,7186

0,568

0,7275

0,595

0,7254

0,595

0,7427

0,622

0,7307

0,622

0,7440

0,649

0,7377

0,96

0,622

0,7492

0,676

0,7684

0,96

0,649

0,7594

0,703

0,7940

0,96

0,676

0,7950

0,96

0,703

0,7943

0,96

0,703

0,8288

0,96

0,730

0,8089

0,96

0,730

0,834

0,96

0,757

0,8394

0,96

0,757

0,8485

0,96

0,784

0,8712

0,96

0,784

0,8625

0,92

0,784

0,8894

0,96

0,811

519

J.L. Molinuevo, et al

Tabla IV. Coordenadas de la curva ROC para el AD-CSF-Index (versiones t-tau y p-tau) (cont.).
AD-CSF-Index (p-tau)
EA si

Sensibilidad

Especificidad

EA si

Sensibilidad

Especificidad

0,8775

0,92

0,811

0,8960

0,96

0,838

0,8918

0,92

0,838

0,9003

0,92

0,838

0,9175

0,92

0,865

0,9068

0,92

0,865

0,9512

0,88

0,865

0,9269

0,92

0,892

0,9597

0,88

0,892

0,9474

0,88

0,892

0,9698

0,84

0,892

0,9728

0,84

0,892

0,9816

0,84

0,919

0,9917

0,80

0,892

0,9988

0,80

0,919

0,9943

0,76

0,892

1,0250

0,76

0,919

1,0066

0,72

0,892

1,0381

0,72

0,919

1,0212

0,72

0,919

1,0457

0,68

0,919

1,0327

0,68

0,919

1,0558

0,68

0,946

1,0400

0,64

0,919

1,0732

0,64

0,946

1,0414

0,60

0,919

1,0951

0,64

0,973

1,048

0,56

0,919

1,1058

0,60

0,973

1,0602

0,52

0,919

1,1086

0,56

0,973

1,0858

0,52

0,946

1,1156

0,52

0,973

1,1098

0,48

0,946

1,1492

0,48

0,973

1,1170

0,48

0,973

1,1989

0,44

0,973

1,1261

0,44

0,973

1,2308

0,40

0,973

1,1456

0,40

0,973

1,2598

0,36

0,973

1,1661

0,36

0,973

1,2812

0,32

0,973

1,1775

0,32

0,973

1,3032

0,28

0,973

1,1943

0,28

0,973

1,3264

0,24

0,973

1,2161

0,24

0,973

1,3624

0,20

0,973

1,2430

0,20

0,973

1,4030

0,16

0,973

1,2698

0,16

0,973

1,4403

0,12

0,973

1,3359

0,12

0,973

1,5460

0,08

0,973

1,4484

0,08

0,973

1,8005

0,04

0,973

1,5369

0,08

1,9795

0,04

1,5810

0,04

EA: enfermedad de Alzheimer.

520

AD-CSF-Index (t-tau)

biomarcadores en la fase clnica de la enfermedad,

evitando los potenciales falsos positivos vinculados
a la positividad del A1-42 en la fase preclnica de
la enfermedad [31-33]. Ello tambin explica que la
sensibilidad y especificidad sean superiores a las
observadas con la ratio, pues el ndice contempla el
curso temporal de la evolucin de los biomarcado
res primero ocurren las alteraciones en amiloide
y, despus, en tau [19], mientras que la ratio no lo
hace. A su vez, el ndice, al tener un valor mximo
ya definido, tendra la capacidad hipottica de dis
criminar sujetos con valores muy elevados de tau y
normales de amiloide, como ocurre en algunas de
mencias rpidamente progresivas distintas a la EA
[34], mientras que la ratio podra clasificar a estos
sujetos como con EA, aun con niveles normales de
amiloide.
El AD-CSF-Index presenta otras ventajas con
ceptuales respecto a la determinacin de los valores
aislados y frente a la ratio, pues no slo nos ofrece
un valor con una sensibilidad y especificidad deter
minadas para establecer el diagnstico de la EA,
sino que su magnitud nos da una idea aproximada
de en qu punto del continuo entre la normalidad y
la EA en fase de demencia leve se encuentra el suje
to. En el ya mencionado modelo de Jack et al [19], la
alteracin de A1-42 en el LCR precede al deterioro
cognitivo, pudiendo iniciarse los procesos patolgi
cos de la EA una dcada antes de la aparicin de los
sntomas [35]. El hecho de que el AD-CSF-Index se
base en la normalizacin y combinacin de dos bio
marcadores, probablemente permitir aplicar este
ndice para determinar el momento del proceso
biolgico en el que se encuentra un determinado
sujeto dentro del continuo de la EA. En este senti
do, sera interesante en el futuro realizar trabajos de
correlacin del ndice con aquellas caractersticas
anatomoclnicas de la enfermedad que varan a lo
largo del continuo de la enfermedad, pues nos per
mitir establecer la relacin existente de los valores
del AD-CSF-Index con caractersticas estructurales,
metablicas y cognitivas concretas de la EA. El re
sultado final sera que un determinado valor del n
dice lo podramos asociar a la atrofia de estructuras
concretas, cambios funcionales e incluso a la mag
nitud de los cambios cognitivos en tests concretos.
En definitiva, el mdico recibe una informacin do
ble a travs del ndice, por una parte diagnstica y
por otra del punto evolutivo en que se encuentra el
sujeto dentro del continuo de la enfermedad.
Otra de las dificultades asociadas al diagnstico
vinculado a los biomarcadores de LCR es su inter
pretacin y su aplicacin clnica. En este sentido, la
aplicacin clnica de los biomarcadores diagnsti

www.neurologia.com Rev Neurol 2012; 54 (9): 513-522

Diagnstico de la enfermedad de Alzheimer con biomarcadores: AD-CSF-Index

cos implica que se den dos condiciones fundamen

tales [26]: por una parte, deben demostrar una bue
na sensibilidad y especificidad; y, por otra, deben
tener una fcil aplicacin e interpretacin. Sin duda,
el AD-CSF-Index cumple ambas caractersticas,
pues valores superiores al punto de corte sugerido
generan una elevada certeza diagnstica. Entre las
limitaciones de este trabajo destacan tanto que la
muestra contiene un nmero limitado de sujetos
como su carcter unicntrico. En este sentido, tra
bajos futuros deberan confirmar en poblaciones
independientes que el AD-CSF-Index mantiene la
capacidad diagnstica observada en este trabajo y
determinar el valor del ndice que permite discri
minar de forma efectiva los pacientes de los contro
les en otras poblaciones independientes.
En resumen, el AD-CSF-Index representa una for
ma sencilla de interpretar los resultados obtenidos
del anlisis del LCR, permitiendo realizar el diag
nstico biolgico de la EA con una elevada sensibi
lidad y especificidad, y potencialmente determinar
el momento del proceso biolgico en el que se en
cuentra un determinado sujeto dentro del continuo
de la enfermedad de Alzheimer.

10.

11.

12.

13.

14.

15.

16.

17.

Bibliografa
1. McKhann GM, Knopman DS, Chertkow H, Hyman BT,
Jack CR Jr, Kawas CH, et al. The diagnosis of dementia due
to Alzheimers disease: recommendations from the National
Institute on Aging-Alzheimers Association workgroups on
diagnostic guidelines for Alzheimers disease. Alzheimers
Dement 2011; 7: 263-9.
2. Dubois B, Feldman HH, Jacova C, Dekosky ST, BarbergerGateau P, Cummings J, et al. Research criteria for the diagnosis
of Alzheimers disease: revising the NINCDS-ADRDA.
Lancet Neurol 2007; 6: 734-46.
3. Rami L, Sol-Padulls C, Fortea J, Bosch B, Llad A,
Antonell A, et al. Applying the new research diagnostic
criteria: MRI findings and neuropsychological correlations
of prodromal AD. Int J Geriatr Psychiatry 2012; 27: 127-34.
4. Valls-Pedret C, Molinuevo JL, Rami L. Diagnstico precoz
de la enfermedad de Alzheimer: fase prodrmica y preclnica.
Rev Neurol 2010; 51: 471-80.
5. Berthier ML, Dvila G. Anticipando el futuro: diagnstico
de la enfermedad de Alzheimer en las fases predemencia
y prodrmica. Rev Neurol 2010; 51: 449-50.
6. Ewers M, Walsh C, Trojanowski JQ, Shaw LM, Petersen RC,
Jack CR Jr, et al. Prediction of conversion from mild cognitive
impairment to Alzheimers disease dementia based upon
biomarkers and neuropsychological test performance.
Neurobiol Aging 2010; Dec 13. [Epub ahead of print].
7. Shaw LM, Vanderstichele H, Knapik-Czajka M, Clark CM,
Aisen PS, Petersen RC, et al. Cerebrospinal fluid biomarker
signature in Alzheimers disease neuroimaging initiative
subjects. Ann Neurol 2009; 65: 403-13.
8. Engelborghs S, De Vreese K, Van de Casteele T, Vanderstichele H,
Van Everbroeck B, Cras P, et al. Diagnostic performance of
a CSF-biomarker panel in autopsy-confirmed dementia.
Neurobiol Aging 2008; 29: 1143-59.
9. Hansson O, Zetterberg H, Buchhave P, Londos E, Blennow K,
Minthon L. Association between CSF biomarkers and

www.neurologia.com Rev Neurol 2012; 54 (9): 513-522

18.
19.

20.

21.
22.

23.

24.

25.

26.

incipient Alzheimers disease in patients with mild cognitive

impairment: a follow-up study. Lancet Neurol 2006; 5: 228-34.
Sunderland T, Linker G, Mirza N, Putnam KT, Friedman DL,
Kimmel LH, et al. Decreased beta-amyloid 1-42 and increased
tau levels in cerebrospinal fluid of patients with Alzheimer
disease. J Am Med Assoc 2003; 289: 2094-103.
Hulstaert F, Blennow K, Ivanoiu A, Schoonderwaldt HC,
Riemenschneider M, DeDeyn PP, et al. Improved discrimination
of AD patients using beta-amyloid(1-42) and tau levels in CSF.
Neurology 1999; 52: 1555-62.
Vanmechelen E, Vanderstichele H, Hulstaert F, Andreasen N,
Minthon L, Winblad B, et al. Cerebrospinal fluid tau and
beta-amyloid(1-42) in dementia disorders. Mech Ageing
Dev 2001; 122: 2005-11.
Galasko D, Chang L, Motter R, Clark CM, Kaye J, Knopman
D, et al. High cerebrospinal fluid tau and low amyloid beta42
levels in the clinical diagnosis of Alzheimer disease and
relation to apolipoprotein E genotype. Arch Neurol 1998;
55: 937-45.
Vanderstichele H, Bibl M, Engelborghs S, Le Bastard N,
Lewczuk P, Molinuevo JL, et al. Standardization of preanalytical
aspects of cerebrospinal fluid biomarker testing for Alzheimers
disease diagnosis: a consensus paper from the Alzheimers
Biomarkers Standardization Initiative. Alzheimers Dement
2011; Oct 31. [Epub ahead of print].
Antonell A, Fortea J, Rami L, Bosch B, Balasa M, SnchezValle R, et al. Different profiles of Alzheimers disease
cerebrospinal fluid biomarkers in controls and subjects with
subjective memory complaints. J Neural Transm 2011; 118:
259-62.
Mintun MA, Larossa GN, Sheline YL, Dence CS, Lee SY,
Mach RH, et al. [11C]PIB in nondemented population: potential
antecedent marker of Alzheimer disease. Neurology 2006;
67: 446-52.
Fagan AM, Roe CM, Xiong C, Mintun MA, Morris JC,
Holtzman DM. Cerebrospinal fluid tau/beta-amyloid(42)
ratio as a prediction of cognitive decline in nondemented
older adults. Arch Neurol 2007; 64: 343-9.
Morris JC, Price AL. Pathologic correlates of nondemented
aging, mild cognitive impairment, and early-stage Alzheimers
disease. J Mol Neurosci 2001; 17: 101-18.
Jack CR, Knopman DA, Jagust WJ, Shaw LM, Aisen PS,
Weiner MW, et al. Hypothetical model of dynamic biomarkers
of the Alzheimers pathological cascade. Lancet Neurol 2010;
9: 119-28.
Lewczuk P, Zimmermann R, Wiltfang J, Kornhuber J.
Neurochemical dementia diagnostics: a simple algorithm
for interpretation of the CSF biomarkers. J Neural Transm
2009; 116: 1163-7.
Buschke H. Cued recall in amnesia. J Clin Neuropsychol 1984;
6: 433-40.
Scheltens P, Leys D, Barkhof F, Huglo D, Weinstein HC,
Vermersch P, et al. Atrophy of medial temporal lobes on
MRI in probable Alzheimers disease and normal ageing:
diagnostic value and neuropsychological correlates. J Neurol
Neurosurg Psychiatry 1992; 55: 967-72.
Wattjes MP, Henneman WJ, Van der Flier WM, De Vries O,
Trber F, Geurts JJ, et al. Diagnostic imaging of patients in a
memory clinic: comparison of MR imaging and 64-detector
row CT. Radiology 2009; 253: 174-83.
Kester MI, Boelaarts L, Bouwman FH, Vogels RL, Groot ER,
Van Elk EJ, et al. Diagnostic impact of CSF biomarkers in a
local hospital memory clinic. Dement Geriatr Cogn Disord
2010; 29: 491-7.
Chen K, Ayutyanont N, Langbaum JB, Fleisher AS, Reschke C,
Lee W, et al. Characterizing Alzheimers disease using a
hypometabolic convergence index. Neuroimage. 2011;
56: 52-60.
Consensus report of the Working Group on Molecular and
Biochemical Markers of Alzheimers Disease. The Ronald
and Nancy Reagan Research Institute of the Alzheimers
Association and the National Institute on Aging Working
Group. Neurobiol Aging 1998; 19: 109-16.

521

J.L. Molinuevo, et al

27. Sperling RA, Johnson KA. Dementia: new criteria but no

new treatments. Lancet Neurol 2012; 11: 4-5.
28. Forman MS, Trojanowski JQ, Lee VM. Neurodegenerative
diseases: a decade of discoveries paves the way for
therapeutic breakthroughs. Nat Med 2004; 10: 1055-63.
29. Foster NL. A new framework for the diagnosis of Alzheimers
disease. Lancet Neurol 2007; 6: 667-9.
30. Mattsson N, Andreasson U, Persson S, Arai H, Batish SD,
Bernardini S, et al. The Alzheimers Association external
quality control program for cerebrospinal fluid biomarkers.
Alzheimers Dement 2011; 7: 386-95.
31. Dubois B, Feldman HH, Jacova C, Cummings JL, Dekosky
ST, Barberger-Gateau P, et al. Revising the definition of
Alzheimers disease: a new lexicon. Lancet Neurol 2010;
9: 1118-27.
32. Sperling RA, Aisen PS, Beckett LA, Bennett DA, Craft S,
Fagan AM, et al. Toward defining the preclinical stages of
Alzheimers disease: recommendations from the National

Institute on Aging-Alzheimers Association workgroups

on diagnostic guidelines for Alzheimers disease. Alzheimers
Dement 2011; 7: 280-92.
33. Hulette CM, Welsh-Bohmer KA, Murray MG, Saunders AM,
Mash DC, McIntyre LM. Neuropathological and neuropsychological changes in normal aging: evidence for preclinical
Alzheimer disease in cognitively normal individuals.
J Neuropathol Exp Neurol 1998; 57: 1168-74.
34. Van Everbroeck B, Green AJ, Vanmechelen E, Vanderstichele H,
Pals P, Snchez-Valle R, et al. Phosphorylated tau in
cerebrospinal fluid as a marker for Creutzfeldt-Jakob
disease. J Neurol Neurosurg Psychiatry 2002; 73: 79-81.
35. Buchhave P, Minthon L, Zetterberg H, Wallin AK, Blennow K,
Hansson O. Cerebrospinal fluid levels of -amyloid 1-42, but
not of tau, are fully changed already 5 to 10 years before the
onset of Alzheimer dementia. Arch Gen Psychiatry 2012; 69:
98-106.

A new approach to the Alzheimers disease diagnosis with biomarkers: description of the AD-CSF-Index
Introduction. Studies with cerebrospinal fluid (CSF) biomarkers in patients with confirmed Alzheimers disease (AD)
pathology have shown that decreased levels of A1-42 and increased levels of tau and p-tau, are a specific feature of the
AD type pathology.
Aim. To describe a new method for determining the AD-CSF-Index, through the values obtained with CSF biomarkers and
thus optimize AD diagnosis.
Subjects and methods. We recruited a total of 61 subjects in the Alzheimers unit and other cognitive disorders of the
Hospital Clnic of Barcelona, of which 42 were cognitively healthy controls and 19 were diagnosed with AD according
to the new research criteria proposed by Dubois et al: episodic memory impairment and atrophy of medial temporal
areas using the Scheltens scale. The AD-CSF-Index was constructed from the addition of normalized values between the
minimum and maximum values of amyloid and tau proteins.
Results. Subjects diagnosed with AD presented a significantly higher AD-CSF-Index (1.17) than healthy subjects (0.72)
(p < 0.001; 95% CI of the difference = 0.32-0.57). In the ROC analysis, the AD-CSF-Index obtained the best results of all,
showing the cut-off point of 0.93 a sensitivity of 92% and a specificity of 89%.
Conclusion. The AD-CSF-Index represents a novel approach that combines optimally the observed CSF biomarkers alterations,
which allows establishing the diagnosis of AD with high sensitivity and specificity.
Key words. Alzheimer. Biomarkers. CSF. Diagnosis.

522

www.neurologia.com Rev Neurol 2012; 54 (9): 513-522