ESTIMACIN POR MXIMA VEROSIMILITUD

I.

MTODO DE MXIMA VEROSIMILITUD

El mtodo de Mxima Verosimilitud, popularizado por Fisher (1912), es un mtodo potente

que genera estimadores con muy buenas propiedades asintticas. En otras palabras, se
puede demostrar que, bajo ciertas condiciones generales, los estimadores de mxima
verosimilitud (MV) poseen propiedades interesantes, tales como, consistencia,
insesgamiento asinttico y la eficiencia asinttica (mnima varianza).
El mtodo consiste en obtener aquellos estimadores de los parmetros que maximizan la
verosimilitud (probabilidad) de observar los datos obtenidos de la muestra. Su mayor
limitacin es que requiere el conocimiento de la distribucin poblacional.
Definimos a la funcin
L = f (; 1 ; 2 ;.; )
Como la funcin de Verosimilitud (FV)
Donde:
1 ; 2 ;.;
independientes.

son las observaciones muestrales, que se asume son

Representa un vector de parmetros desconocidos.

Representa una funcin de densidad conjunta para

1 ; 2 ;.; que se asume conocida.

Dado que se asume observaciones independientes, entonces:

= (; 1 ; 2 ;.; ) = (; 1 ) (; 2 ) . (; )

PROCEDIMIENTO PARA ENCONTRAR LOS ESTIMADORES DE MV

1
2
3
4

Plantear la funcin de verosimilitud (L)

Obtener el logaritmo de la funcin de verosimilitud (ln L)
Derivamos (ln L) con respecto a e igualamos dichas derivadas a cero
Se resuelve el sistema de ecuaciones resultante y se obtiene .

Ejemplo 1:
Sean 1 ; 2 ;.; observaciones muestrales independientes, provenientes de una
distribucin de Poisson con parmetro . Encuentre el estimador de MV de .
Desarrollo:

1 L = f (; 1 ; 2 ;; ) = f (; 1 ) * f (; 2 ) * . * f (; )
=

1
1 !

2
2 !

*.*

=1

=1 !

2 ln L = (=1 ) ln n ln(=1 !)
3

=1

=1

=0

= =1

=
Ejemplo 2:
Sea 1 ; 2 ;.; observaciones muestrales independientes, provenientes de una
distribucin exponencial con parmetro . Encuentre el estimador de MV de .
Desarrollo:
1 L = f (; 1 ; 2 ;; ) = f (; 1) * f (; 2 ) *. * f (; )
=

=
1

2 ln L = n ln =1

*
1

=1

*.*

= +

4 (

=0

)=0

= =

Ejemplo 3:
Sean 1 ; 2 ;.; observaciones muestrales independientes obtenidas de la siguiente
funcin de densidad.

f (y)

Y>0

0,

c.o.v

Encuentre el estimador de MV de .
1

1
2

2 .

1
2

= 2 =1 =1

2 ln L = 2n ln + ni=1 ln Yi
3
4

dln L
d

n
i=1 Yi

MV

2n

n
i=1 Yi
2

ni=1 Yi

=0

= 2n
n

Y
MV = i=1 i
2n

LA DISTRIBUCIN NORMAL MULTIVARIANTE

La funcin de densidad conjunta normal para 1 ; 2 ;.; est dada por:

f (1 ; 2 ;.; ) =

2 [( ) ( )]

(2) 2 ||2

Donde:

Representa la matriz varianzas-covarianzas.

Representa el vector de medias.

Si 1 ; 2 ;.; son variables aleatorias independientes y si tienen media y varianza comn

(varianza homocedstica), entonces:

= 2
|| = | 2 | = 2

1 = ( 2 )1 =

f (1 ; 2 ;.; ) =
f (1 ; 2 ;.; ) =

(2) 2

( 2 ) 2

[() ()]
2

[( ) ]
2

2
(2) 2 ( 2 ) 2

Ntese que:
f (; 2 ; 1 ; 2 ;.; ) =

1
1
(2)2

. .

f (; 2 ; 1 ; 2 ;.; ) =

1
(2 )2

2
1

1
1
(2)2

[(1 ) ]

1
(2 )2

[(

1
(2)2
) ]

1
(2 )2

[(2 ) ]
2

2
1

(2) 2 ( 2 ) 2

[( ) ]
2

ESTIMACIN EN EL MODELO CLSICO DE MV

= + , considerando que se distribuye normalmente y asumiendo
homocedasticidad y no autocorrelacin, la funcin de densidad conjunta esta dada por:

f (1 ; 2 ;.; ) =

(2) 2 ( 2 ) 2

[ ]
2

Luego, es fcilmente demostrable que (1 ; 2 ; ; ) = (1 ; 2 ;.; ) Por lo tanto:

1 L = f (; 2 ; 1 ; 2 ;.; )
=

(2) 2

(2 ) 2

[ ]
2

2 ln = 2 ln 2 2 ln 2

1
22

[( ) ( )]

= 22 [2 + 2] = 0

=
= ( )

= 22 + 24 = 0 Simplificando, y remplazando por

2 =

2 2

Insesgado asintticamente

COTA DE CRAMER-RAO
Si la funcin de densidad de un estimador insesgado cumple ciertas condiciones de
regularidad, entonces la varianza de dicho estimador es al menos igual a:
[()]1

2
= ( [
])

Donde () se conoce como el nmero informacional de Fisher. Si el estimador cumple con

la cota de Cramer-Rao entonces es un estimador eficiente.

PROPIEDADES DE LOS ESTIMADORES DE MV

En muestras finitas:
Si un estimador en muestras finitas cumple con la cota de Cramer-Rao, ste es el
estimador de MV.

Propiedades Asintticas:
Invarianza: El estimador de mxima verosimilitud (MV) de una funcin de , g (),
.
es simplemente la funcin evaluada en el estimador de MV de ,
)
[()] = (
=
Consistencia:

El estimador de MV se distribuye asintticamente como una normal.

[; [()]1 ]

Asintticamente insesgado
Asintticamente eficiente
Ejemplo:
Encuentre la cota de Cramer-Rao para el estimador de MV correspondiente a una
exponencial.
Sabemos que,
1

ln L = n ln =1 . Por lo tanto la derivada del logaritmo de la funcin de

verosimilitud es:

2
2

= +
=

y su segunda derivada est dada por

2
3

2 ln

2
[
] = ( 2) 3 [
]
2

=(

( )
)
2
3

= ( 2) 3

)
2
2

= 2

=(

2 ln
( [
])
2

)=
(

CASO MULTIVARIANTE
1

[()]1

2 ln
= ( [
])

Suponiendo k parmetros podemos representarlo as:

2 ln
1 2
2 ln
[()] = 2 1

2 ln
1

2 ln
1 2
2 ln
2 2

2 ln
1

2 ln
2

2 ln
2

2 ln
2

Matriz

Obtencin de la Cota de Cramer-Rao en el Modelo Clsico

1
[( ) ( )]}
ln = ln(2) ln 2 {
2
2
2 2

=
=

1
2

[ + ] =
2

2 2

2 4

[]
2

2 ln
2

2 ln

2 ln L

( 2 )2

2 4

Obteniendo las esperanzas con signo cambiado:

[24

]=

]=

]=

1
4

1
6

( ) 24

2 24

24 =

2
24

= 24

( ) = 0

Finalmente:

[()]1

2
= [
0

0
]
2 4

2 ( )1
=[

ESTIMACIN DE MV EN EL MODELO GENERALIZADO

Partimos de que
(; 2 ) =

1
(2) 2 ||2

2 [( ) ( )]

en el modelo generalizado = 2
(; 2 ) =

1
(2) 2 (2 ) 2 ||2

1
22

[( ) ( )]

0
2 4 ]

Obteniendo el logaritmo:
ln =

1
1
ln(2) ln 2 ln|| 2 [( ) ( )]
2
2
2
2
ln
1 [( ) ( )]
= 2
=0

ln

ln

ln

= 0, pero =

= 0, sin embargo =

= 0,

Lo que nos indica que el estimador de MV no es mas que un estimador de MCO del modelo
transformado, con perturbaciones .
Conclusin: Si se conoce , entonces el estimador de MV del modelo generalizado es
simplemente el estimador de MCG. Si no se conoce entonces no necesariamente se
cumple que el estimador de MV sea igual al estimador de MCGF (Exposicin No 3:
Estimacin de Mxima Verosimilitud en el modelo con Heterocedasticidad y en el Modelo
con un esquema AR (1)).

TEST ASINTTICOS
La llamada trada de test asintticos est conformada por los siguientes test:
Test de la Razn de Verosimilitud
Test de Wald
Test del Multiplicador de Lagrange
En este documento, solamente revisaremos los dos primeros
ln L
ln L/

LNR
lnL

RV

ln L

LR

c() Restriccin

Wald

NR

1. TEST DE LA RAZN DE VEROSIMILITUD (RV)

Este test nos permite testear hiptesis tanto lineales como no lineales. Sin embargo su
aplicacin se justifica nicamente en muestras grandes.
NR y
R
Supondremos el modelo no restringido (NR) y el modelo restringido (R). Sean
los estimadores de MV, del modelo no restringido y restringido, respectivamente, y sean
LNR y LR las funciones de verosimilitud no restringida y restringida.
Sea

=R

LNR

A este coeficiente se lo conoce como la RAZN DE VEROSIMILITUD;

Ntese que siempre se cumplir que 0 < 1 , ya que LR LNR

Si es cercano a 1, existe evidencia de que las restricciones son vlidas; mientras que lo
contrario sucede a medida que se aleja de 1. Por lo tanto un valor de cercano a uno
constituye evidencia para no rechazar la hiptesis nula.
El estadstico sigue una distribucin 2 con q grados de libertad, donde q es el
nmero de restricciones.
Tambin podemos escribir:
2[lnLR lnLNR ]

Qu sucede si suponemos densidades normales?

Por ejemplo el MCRL con perturbaciones normales.

2
2

ln L = ln(2) ln
2

2MV =

, sabemos que

, por lo tanto

n
n

n
]
ln L = ln(2) ln [
2
2
n
2

n
n
n
n
ln L = ln(2) ln[

] + ln n
2
2
2
2
n
n
n n
ln L = ln(2) + ln n ln(

)
2
2
2 2
A

ln L = A

n
ln(

)
2

Por lo tanto:
n

2 [A 2 ln(

)R A +

n
2

ln(

)NR ]

RV = [n ln(

)R n ln(

)NR ]

2. TEST DE WALD (W)

NR el vector de estimadores del modelo no restringido. Dado un conjunto
Suponga que
de restricciones (hiptesis), estas se pueden escribir como:
0 : () =
Es importante recalcar que las hiptesis que pueden ser lineales y no lineales. El test de
NR debera
Wald se basa en la idea de que si las restricciones son vlidas, entonces
) sea
satisfacer al menos aproximadamente dichas restricciones, es decir que (
cercano a cero.
El estadstico
) ] [ ((
) )]1 [(
) ]
= [(
Sigue una distribucin 2 con q grados de libertad (Igual al nmero de restricciones o
hiptesis). Bajo el supuesto de normalidad converge en distribucin a una 2 con q
grados de libertad. Pero aun sin el supuesto de normalidad se puede demostrar que se
distribuye asintticamente como una 2 con q grados de libertad.

) ]?
A qu es igual [(
Utilizando series de Taylor se puede demostrar que:
) ] = [ (
)]
[(
Donde =

()

Reemplazando este resultado, obtenemos:

) ] [ (
) ]1 [(
) ]
= [(
Ejemplo:
Suponga el siguiente modelo lineal
= 1 + 2 2 + 3 3 + 4 4 +
:

2
=2
3
1

(3 + 4 )2 = 5

4 = 1

Construya
0
=

0
[0

1
3
0
0

2
3 2

1
1
(3 + 4 )2
2
0

0
1
1
(3 + 4 )2
2
]
1

, por lo que usamos los

En la prctica se trabaja con
A qu se reduce el estadstico W si testeamos hiptesis lineales en una regresin lineal?
Ejemplo:
: 2 + 3 = 2
3 = 4
4 = 0
) ) es (
) y = , de tal manera que
En ese caso ntese que ((
0
[0
0

1
2 + 3
2 + 3 2
1 1 0
2
0
2
0 1 0] = [ 3 ] [4] = [ 3 4 ] = [0]

0 0 1 3
0
0
4
4 0

[
4 ]

)
(

En este caso:

] [ (
) ]1 [
] 2
= [
Con q grados de libertad para hiptesis lineales.
Ntese que ya que el test R utiliza una distribucin F de Fisher y supone
normalidad. Por otro lado, el test slo es vlido para n grandes

Cmo se relaciona con la F?

Recurdese que:
] [ 2 () ]1[
]
[
F=

Reordenando trminos y multiplicando el numerador y denominador por 2 obtenemos

 ] [ 2 () ]1 [
]
[
F=
2
( 2)

Qu sucede si con el test F?

2
2
2
( 2 ) =
=
=1

2
2
2 (XX)1 = 2

1
1
] [ 2

[
] [ ]

Es decir que cuando el test F se puede expresar como:

=

1
] [ (
) ]1 [
]
[

Con lo que finalmente, la relacin entre el test F y el test de Wald est dada por:

2 con q grados de libertad