CADENAS DE MARKOV INTRODUCCION CADENAS DE MARKOV

Introduccin Un proceso o sucesin de eventos que se desarrolla en el tiempo en el cual el resultado en cualquier etapa contiene algn elemento que depende del azar se denomina proceso aleatorio o proceso estocstico. Por ejemplo, la sucesin podra ser las condiciones del tiempo en Paran en una serie de das consecutivos: el tiempo cambia da a da de una manera que en apariencia es algo aleatoria. O bien, la sucesin podra consistir en los precios de las acciones que cotizan en la bolsa en donde otra vez interviene cierto grado de aleatoriedad. Un ejemplo simple de un proceso estocstico es una sucesin de ensayos de Bernoulli, por ejemplo, una sucesin de lanzamientos de una moneda. En este caso, el resultado en cualquier etapa es independiente de todos los resultados previos (esta condicin de independencia es parte de la definicin de los ensayos de Bernoulli). Sin embargo, en la mayora de los procesos estocsticos, cada resultado depende de lo que sucedi en etapas anteriores del proceso. Por ejemplo, el tiempo en un da determinado no es aleatorio por completo sino que es afectado en cierto grado por el tiempo de das previos. El precio de una accin al cierre de cualquier da depende en cierta medida del comportamiento de la bolsa en das previos. El caso ms simple de un proceso estocstico en que los resultados dependen de otros, ocurre cuando el resultado en cada etapa slo depende del resultado de la etapa anterior y no de cualquiera de los resultados previos. Tal proceso se denomina proceso de Markov o cadena de Markov (una cadena de eventos, cada evento ligado al precedente). Estas cadenas reciben su nombre del matemtico ruso Andrei Andreevitch Markov (1856-1922). Como mencionamos antes, estas cadenas tiene memoria, recuerdan el ltimo evento y eso condiciona las posibilidades de los eventos futuros. Esto justamente las distingue de una serie de eventos independientes como el hecho de tirar una moneda. Este tipo de proceso presenta una forma de dependencia simple, pero muy til en muchos modelos, entre las variables aleatorias que forman un proceso estocstico. Se utilizan, por ejemplo, para analizar patrones de compra de deudores morosos, para planear necesidades de personal, para analizar el reemplazo de un equipo, entre otros. Definicin Una cadena de Markov es una sucesin de ensayos similares u observaciones en la cual cada ensayo tiene el mismo nmero finito de resultados posibles y en donde la probabilidad de cada resultado para un ensayo dado depende slo del resultado del ensayo inmediatamente precedente y no de cualquier resultado previo.

Propiedad de Markov: Dada una secuencia de variables aleatorias ...... , , , X1 X2 X3, tales que el valor de Xn es el estado del proceso en el tiempo n. Si la distribucin de probabilidad condicional de Xn+1 en estados pasados es una funcin de Xn por s sola, entonces:

Donde xi es el estado del proceso en el instante i. Esta identidad es la denominada propiedad de Markov: El estado en t + 1 slo depende del estado en t y no de la evolucin anterior del sistema.

Matriz de transicin Al trabajar con cadenas de Markov, a menudo es til pensar la sucesin de ensayos como experimentos efectuados en cierto sistema fsico, cada resultado dejando a este sistema en cierto estado. Por ejemplo, consideremos una sucesin de elecciones polticas en cierto pas: el sistema podra tomarse como el pas mismo y cada eleccin lo dejara en cierto estado, es decir en el control del partido ganador. Si slo hay dos partidos polticos fuertes, llamados A y B, los que por lo regular controlan el gobierno, entonces podemos decir que el pas se encuentra en el estado A o B si el partido A o B ganara la eleccin. Cada ensayo (o sea cada eleccin), coloca al pas en uno de los dos estados A o B. Una sucesin de 10 elecciones podra producir resultados tales como los siguientes:

A, B, A, A, B, B, B, A, B, B La primera eleccin en la sucesin deja en el poder al partido A, la segunda fue ganada por el partido B, y as sucesivamente, hasta que la dcima eleccin la gane el partido B. Supongamos que las probabilidades de que el partido A o B ganen la prxima eleccin son determinadas por completo por el partido que est en el poder ahora. Por ejemplo podramos tener las probabilidades siguientes: Si el partido A est en el poder, existe una probabilidad de que el partido A ganar la prxima eleccin y una probabilidad de de que el partido B gane la eleccin siguiente. Si el partido B est en el poder, hay una probabilidad de 1/3 de que el partido A gane la eleccin siguiente y una probabilidad de 2/3 que el partido B permanezca en el poder. En tal caso, la sucesin de elecciones forman una cadena de Markov, dado que las probabilidades de los dos resultados de cada eleccin estn determinadas por el resultado de la eleccin precedente. Lo descrito anteriormente puede representarse grficamente usando la siguiente red:

Los crculos A y B se denominan nodos y representan los estados del proceso, las flechas que van de un nodo a si mismo o al otro son los arcos y representan la probabilidad de cambiar de un estado al otro. La informacin probabilstica que se acaba de dar se puede representar de manera conveniente por la siguiente matriz:

Esta matriz se denomina matriz de transicin. Los elementos de la matriz de transicin representan las probabilidades de que en el prximo ensayo el estado del sistema del partido indicado a la izquierda de la matriz cambie al estado del partido indicado arriba de la matriz. Definicin: Consideremos un proceso de Markov en que el sistema posee n estados posibles, dados por los nmeros 1, 2, 3, ., n. Denotemos pij a la probabilidad de que el sistema pase al estado j despus de cualquier ensayo en donde su estado era i antes del ensayo. Los nmeros ij p se denominan probabilidades de transicin y la matriz nxnP = (pij) se conoce como matriz de transicin del sistema. Observaciones: 1) La suma 1 ..... pi1 + pi2 + ......+ pin = 1. Esta suma representa la probabilidad de que el sistema pase a uno de los estados 1, 2, ., n dado que empieza en el estado i. Ya que el sistema ha de estar en uno de estos n estados, la suma de probabilidades debe ser igual a 1. Esto significa que los elementos en cualquier rengln de la matriz de transicin deben sumar 1. 2) Cada elemento pij 0 CADENAS DE MARKOV Definicin: (proceso estocstico) Un proceso estocstico es una coleccin indexada de variables aleatorias: { Xt } donde tT (conjunto de enteros no negativos) y XtZ (conjunto de caractersticas medibles en t. Z = {0, 1, 2, ..., M). Definicin: (cadena de Markov) Una cadena de Markov es un proceso estocstico que cumple la siguiente propiedad (llamada propiedad Markoviana) P[Xt+1 = j X0 = k0, X1 = k1, , Xt-1 = kt-1, Xt = i] = P[Xt+1 = j Xt = i], para todo t=0, 1, y cualesquiera estados i, j, kr Z; a la probabilidad P[Xt+1 = j Xt = i] = pij la llamaremos probabilidad de transicin del estado i al estado j. Definicin: Si se cumple que P[Xt+1 = j Xt = i] = P[X1 = j X0 = i] para todo i, j Z. y todo t = 0,1, entonces se dice que las probabilidades de transicin, de un paso, son estacionarias. Se puede demostrar que lo anterior implica que P[Xt+n = j Xt = i] = P[Xn = j X0 = i], para todo t = 0,1, Esta probabilidad la denotamos pij que:
(n)

= probabilidad de transicin de n pasos, la cual cumple adems

1) pij

(n)

0, 2)

las cuales se presentan en la Matriz de probabilidades de transicin

ECUACIONES CHAPMAN-KOLMOGOROV: La siguiente relacin se cumple para las probabilidades de una cadena de Markov finita con probabilidades estacionarias:

Para m = 1 tenemos resulta que las probabilidades de transicin de n pasos las podemos obtener a partir de las probabilidades de transicin de un paso de manera recursiva. Por

ejemplo para n = 2 tenemos: que corresponde a la expresin que calcula, por (2) 2 (n) ndefinicin, el producto de matrices. Por lo tanto P = PxP = P . Por induccin obtenemos P = PxP 1 n =P .

PROBABILIDADES NO CONDICIONALES DE UN ESTADO En una cadena de Markov, las probabilidades de transicin son probabilidades condicionales. Si se desea la probabilidad no condicional P[Xn = j]. Especifiquemos P[X0 = i] = ai para i = 0, 1, 2. entonces: P[Xn = j] = P[X0 = 0].p n + P[X0 = M].p MJ +
n 0J

+ P[X0 = 1].p

n 1J

+ P[X0 = 2].p

n 2J

++

CLASIFICACION DE ESTADOS: Definiciones: 1) El estado j es accesible desde el estado i si existe n tal que p ij
(n)

> 0.

2) Si i es accesible desde j y j es accesible desde i se dice que i y j se comunican (i C j) La relacin C cumple las siguientes propiedades: iCi si i C j entonces j C i si i C j y j C k entonces i C k. Recordar que si A es un conjunto no vaco y R es una relacin en A, se dice que R es una relacin de equivalencia en A si R es reflexiva, simtrica y transitiva. Adems toda relacin de equivalencia induce una particin en el conjunto donde se define. C es una relacin de equivalencia en el conjunto de estados de una cadena de Markov, entonces ella define clases (o una particin) en dicho conjunto de estados. 3) Si existe solo una clase entonces se dice que la cadena de Markov es irreducible 4) Un proceso que est en estado i regresar a l? Sea fii la probabilidad de que un proceso regrese al estado i estando en dicho estado. i se llama recurrente si fii = 1

i se llama transitorio si fii < 1 i se llama absorbente si pii = 1

PROPIEDADES DE fii El nmero esperado de perodos que el proceso est en estado i es infinito si un estado es recurrente. Si un estado es transitorio y la probabilidad de que regrese al estado i es f ii entonces la probabilidad de que no regrese al estado i ser 1 - fii y el nmero esperado de perodos en que el proceso est en estado i es 1/(1 - fii). La recurrencia es una propiedad de clase es decir todos los estados de una clase son recurrentes (o transitorios). No todos los estados pueden ser transitorios. Esto implica que en una cadena de Markov irreducible todos los estados son recurrentes.

Proposicin: El estado i es recurrente si

y es transitorio si

Corolario: Si el estado i es recurrente y se comunica con el estado j entonces j es recurrente.

PROPIEDADES A LARGO PLAZO: Consideramos dos propiedades adicionales de las cadenas de Markov.

Definicin: El estado i se dice que tiene perodo d si cuando quiera que n no es divisible por d y d es el mayor entero con esta propiedad. Un estado con perodo 1 se dice que es aperidico. Se puede demostrar que la periodicidad es una propiedad de clase, es decir, si el estado i tiene perodo d y los estado i y j se comunican entonces j tambin tiene perodo d. Ejemplo: Comenzando en estado i. Puede ser posible que el proceso entre en el estado i en los tiempos 2, 4, 6, 8, , en este caso decimos que el estado i tiene perodo 2. Definicin: Si un estado i es recurrente, se dice que es recurrente positivo si, comenzando en i el tiempo esperado hasta que el proceso retorne al estado i es finito. Se puede demostrar que la recurrencia positiva es una propiedad de clase. Pueden existir estados recurrentes que no son recurrentes positivos. Estados recurrentes positivos aperidicos son llamados ergdicos. Enunciado:

Para una cadena de Markov irreducible y ergdica el independiente de i. Adems pJ es solucin nica no negativa de:

existe y es

, as como

Los

se llaman probabilidades de estado estable de la cadena de Markov y se cumple

que TIEMPOS DE PRIMERA PASADA

donde

es el tiempo esperado de recurrencia.

Algunas veces es necesario referirse al nmero de transiciones que hace el proceso al ir del estado i al estado j por primera vez. A este lapso de tiempo se le llamatiempo de primera pasada. Si i = j se llama tiempo de recurrencia del estado i. Los tiempos de primera pasada son variables aleatorias cuyas distribuciones de probabilidad dependen de las probabilidades de transicin. Si fij denota la probabilidad de que el tiempo de primera pasada del estado i al estado j es n, tenemos las siguientes frmulas recursivas:
(n)

fij

(1)

= pij

(1)

= pij ;

fij

(2)

fij

(n)

Para i y j fijos fij son nmeros no negativos tales que primera pasada del estado al estado j, se define as:

(n)

.El tiempo esperado de

Siempre que mij satisface la ecuacin Lo que significa que la primera transicin desde el estado i puede ser al estado j o algn otro estado k. Si es al estado j el tiempo de primera pasada es 1. Ahora si la primera transicin es a un estado k, (k j)

lo que ocurre con probabilidad pik, el tiempo esperado de primera pasada condicional del estado i al estado j es 1 + pikmkJ, al sumar todas las posibilidades se obtiene la frmula: