Carrera de Ingeniera Industrial

Cadenas de Markov
2da Parte

Docente : Ing. Juan Contreras Salazar

Objetivo : Sesin
Caractersticas de Markov :
Tiempos de Primer Pasada
Estados Estacionario / Estable
Estados Recurrentes
Estados Absorbentes

Revisar algunos ejemplos de Aplicacin de las Cadenas

de Markov

Procesos Estocsticos
Es
un
Proceso
que
evoluciona en el tiempo de
manera probabilstica.
Con ello podemos predecir
el desarrollo futuro de
procesos:
fenmenos
fsicos,
econmicos,
atmosfricos, entre otros

Cadena de Markov
Una cadena de Markov es una serie
de eventos, en la cual la
probabilidad de que ocurra un
evento
depende
del
evento
inmediato anterior.
Las cadenas de este tipo tienen
memoria. " Recuerdan" el ltimo
evento y esto condiciona las
posibilidades de los eventos futuros.
Esta dependencia del evento
anterior distingue a las cadenas de
Markov de las series de eventos
independientes, como tirar una
moneda al aire o un dado.

Elementos

Pnij

Diagrama Transicin
0 : Clima Seco
1 : Clima LLuvioso

Diagrama de Transicin

Diagrama Transicin
Inventario Final

Diagrama de Transicin

Estado Accesible
8

1
3
7

Si es accesible en ambas direcciones se dice que los estados i , j se

comunican. Si los estados se comunican, se dicen que pertenecen a
una misma clase.

Estado Transitorio
Pij > 0
1

Ejemplo :
- Proceso evolutivo de la salud de una persona
- Ejecucin de un proyecto ( Gantt )
- Participacin de Mercado de una empresa

Estado Recurrente

Ejemplo :
- Estado del Clima
- Niveles de Inventario
- Morosidad de Clientes

Estado Absorbente
Un estado se llama absorbente, si
despus de haber entrado ah, el proceso
nunca saldr de l, Por consiguiente, el
estado i es un estado absorbente si y
slo si

Pij = 1

Estado Absorbente
4
1

La probabilidad de pasar a cualquiera de los otros son cero.

Ejemplo :
- Termino de un proyecto
- Juego al azar
- Evolucin de seres humanos

5
6

Ecuaciones de
Chapman - Kolmogorov
Modelo matemtico que nos permite calcular
las probabilidades de transicin en el tiempo
( n pasos )

Pn = Pn-1 * P
Multiplicacin de Matrices

Probabilidad Estacionaria
Condicin de estado estacionario es la condicin
en la que la probabilidad de encontrarse en
cualquier estado no vara de un perodo a otro.

Tiempo de Primer Paso

Es el nmero de pasos que necesita la cadena de
Markov para pasar del estado i al estado j por primera
vez. Se identifica con Tij.

Tiempo de Primer Paso

Ejemplos :
a.- El tiempo en que la compaa pasa por primera vez por
una crisis financiera.
b.- El tiempo en que pase un paciente pase de un estado de
salud 1 al estado de salud 2 , por primera vez.
c.- El tiempo en que un problema de fabricacin suceda por
primera vez.

Problema 01:
El fabricante de un dentfrico llamado Brillo controla
actualmente el 60% del mercado de una ciudad. Datos
del ao anterior muestran que 88% de consumidores de
brillo continan usndola, mientras que 12% de los
usuarios de Brillo cambiaron a otras marcas. Adems
85% de los usuarios de la competencia permanecieron
leales a estas otras marcas, mientras que 15% restante
cambio a Brillo. Considerando que esta tendencias
continan, determnese la parte del mercado que
corresponde a Brillo: a) en 5 aos, b) a largo plazo

Solucin - Problema 01 :
Sea :
1 : Estado de consumo de dentfrico Brillo
2 : Estado de consumo de una marca de la competencia

Matriz de transicin
Participacin de mercado ---- >

0.6

0.4

Problema 02
El programa de entrenamiento para los supervisores de
produccin de cierta compaa contiene dos fases. La fase 1,
que incluye 3 semanas de trabajo en el aula, va seguida por la
fase 2, consistente en un programa de aprendizaje de tres
semanas bajo la direccin de los supervisores ya trabajando.
De la experiencia pasada, la compaa espera que 60% de
aquellos que inician el entrenamiento en el aula logren pasar a
la fase de aprendizaje, con el restante 40% que abandona
completamente el programa de entrenamiento. De aquellos
que pasan a la fase de aprendizaje, 70% se gradan como
supervisores, 10% debern repetir la segunda fase y 20%
quedan completamente fuera del programa. Cuantos
supervisores puede esperar la compaa de su programa actual
de entrenamiento, si hay 45 personas en la fase de aula y 21
personas en la fase de aprendizaje?.

Solucin - Problema 02 :
Sea :
1.2.3.4.-

Estado: Quedar fuera del programa

Estado: Ser entrenado en aula
Estado : Ser aprendiz
Estado : Ser supervisor

Distribucin inicial --------

0,

45/66 , 21/66,

Ejemplo Aplicacin en Salud

Desde comienzos de los aos 80, el SIDA se ha
convertido en una de las mayores pandemias de
nuestra poca. En la actualidad, Espaa es uno de los
pases del oeste de Europa ms afectados por el virus
(EuroHIV, 2005), por lo que el conocimiento de la
evolucin futura de la epidemia es un objetivo
prioritario
para
establecer
polticas
sanitarias
adecuadas. Los siguientes slides muestran cmo llevar
a cabo un anlisis de la epidemia de VIH-SIDA
utilizando una cadena de Markov homognea con
tiempos de observacin anuales.

Ejemplo : Estados
Uno de los modelos ms sencillos para el estudio de la epidemia de SIDA
establece que cada sujeto de la poblacin puede estar exclusivamente en uno
de los siguientes estados: susceptible (S), infectado por VIH (VIH), con SIDA
(SIDA) o muerto como consecuencia de la enfermedad (M).

El sujeto susceptible no est infectado (estado 1, -S-).

Tras el contacto con un infectado desarrollar la infeccin y podr contagiar a
otros individuos de la poblacin (estado 2, -VIH-).
Cuando el sujeto infectado desarrolla la enfermedad se convertir en un caso
de SIDA (estado 3, -SIDA-),
Seguidamente el sujeto infectado podra morir por causa de la enfermedad
(estado 4, -M-).

Ejemplo : Estados
Estados Transitorios : S , VIH , Sida
Estado Absorbente : M

Ejemplo : Modelo a emplear

Como es de esperar la observacin de los sujetos se realiza de forma
anual, por lo que tanto los estados como los instantes de tiempo del
proceso son discretos. Adems, el estado futuro en que se encuentre
un individuo depender solo de su estado actual, pero no de su historia
pasada. Por ello, el proceso estocstico es una cadena de Markov
discreta.
Si las polticas de prevencin de VIH y las pautas de tratamiento no
varan, tanto la incidencia de VIH-SIDA como la tasa de mortalidad
entre los casos de SIDA permanecern constantes, por lo que las
probabilidades de transicin no cambiarn en el tiempo. Bajo esta
hiptesis, la cadena de Markov discreta ser adems homognea,
siendo ste el modelo markoviano ms apropiado para estudiar la
evolucin de la epidemia.

Ejemplo : Probabilidades de
Transicin
En epidemias humanas, la matriz de transicin suele obtenerse a
partir de los datos de poblacin, incidencia, prevalencia y
mortalidad publicados en los registros oficiales. En el momento de
redactar este trabajo, las ltimas cifras registradas sobre la
epidemia de VIH-SIDA en Espaa correspondan a 2004 (EuroHIV,
2005), informacin que ser utilizada para calcular las
probabilidades de transicin.
Los datos publicados muestran que el nmero estimado de nuevos
casos fue de 2750 en una poblacin de 43197,684 habitantes, lo
que supone una tasa de contagio de 64 casos por milln de
habitantes (CNE, 2005). Como consecuencia, p12=0,000064. Segn
el modelo establecido, un sujeto en estado susceptible no puede
pasar directamente al estado SIDA ni al estado M, por tanto. La
suma de las probabilidades de una fila de la matriz de transicin ha
de ser 1, por lo que p11=1-p12-p13-p14=0,999936.

Ejemplo : Probabilidades de
Transicin
La segunda fila de la matriz corresponde a las transiciones que
pueden realizarse desde el estado VIH. As, un individuo infectado
no volver a ser susceptible, por lo que p21=0. La incidencia de
SIDA en 2004 fue de 804 nuevos casos (EuroHIV, 2005) en una
poblacin prevalente estimada de 125,000 individuos con VIH
(Caas et al., 2003), por lo que p23=0,006432. Siguiendo el modelo
propuesto, un sujeto VIH+ no puede pasar directamente al estado
M, por tanto p24=0. Adems, puesto que los valores de la fila han
de sumar 1, se tendr p22=1-p21-p23-p24=0,993568.
Los sujetos que han desarrollado SIDA no retornarn al estado S o
VIH, por tanto p31=p32=0. En 2004 se produjeron 542 muertes
entre un total de 6609 casos de SIDA (EuroHIV, 2005), lo que
supone p34=0,0082. Por ltimo, p33=1-p31-p32-p34=0,917991.

Ejemplo : Probabilidades de
Transicin
Puesto que M es un estado absorbente y los sujetos
permanecen en l, se tiene p44=1 y p41=p42=p43=0.
La matriz de transicin para la epidemia de VIH-SIDA en Espaa
ser por tanto

Ejemplo : Evolucin de la
Epidemia en el tiempo
La evolucin de la epidemia en el tiempo. La matriz de
transicin contiene las probabilidades de paso de un
estado a otro en un ao, es decir, la probabilidad de que
un sujeto susceptible est infectado al ao siguiente es
0,000064. Sin embargo, para conocer la evolucin de la
epidemia es necesario calcular la probabilidad de que un
sujeto susceptible actualmente pueda estar infectado
dos aos despus.
Las ecuaciones de Chapman-Kolmogorov permiten
calcular estas probabilidades multiplicando la matriz de
transicin por ella misma y obteniendo la matriz de
transicin en dos tiempos, es decir

Ejemplo : Evolucin de la
Epidemia en el tiempo

As, la probabilidad de que un sujeto susceptible en la actualidad est

infectado dos aos despus es 0,000128 o, de forma equivalente,
dentro de dos aos habr 128 nuevos infectados por milln de
habitantes. Anlogamente, es posible calcular la probabilidad de que
un individuo que actualmente se encuentra en un estado est en otro
determinado dentro de tres aos, a partir de la matriz de transicin en
tres tiempos P3=P2*P

Ejemplo : Evolucin de la
Epidemia en el tiempo
Si la incidencia y mortalidad de VIH-SIDA no se
modifica, los casos de VIH y SIDA seguirn una
tendencia creciente en Espaa. En 2024 el nmero de
infectados por VIH habr ascendido a 3,744 por milln
de habitantes, el nmero de enfermos de SIDA ser de
248 por milln de habitantes y las muertes por SIDA
llegarn a ser de 46 por milln de habitantes.
Estas cifras significan que en 20 aos el nmero de
infecciones se habr incrementado en un 29%, los
casos de SIDA aumentarn un 62% y las muertes por la
enfermedad sern un 154% superior.

Ejemplo : Evolucin de la
Epidemia en el tiempo

Ejemplo : Clases Sociales

Este es un ejemplo de la movilidad de las clases sociales.
Supongamos que en la sociedad slo existen los estratos
socioeconmicos alto, medio y bajo.
Veremos a continuacin la matriz de transicin de un paso, es decir
las probabilidades de pasar en una generacin una clase social a
otra.
Estado A : Clase Alta
Estado M : Clase Media
Estado B : Clase Baja

Ejemplo : Clases Sociales

Por ejemplo el 1% de las personas que tuvieron padres de

clases baja logran llegar a ser personas de clase alta.

Ejemplo : Clases Sociales

A = 0.07
M = 0.62
B = 0.31

Despus de muchas generaciones, la probabilidad de

pertenecer a la clase alta, media y baja tiende a
0.07, 0.62, 0.31 respectivamente, es decir as se
estabiliza la sociedad.

Carrera de Ingeniera Industrial

Estado Absorbente

Docente : Ing. Juan Contreras Salazar

Estado Absorbente
4
1

La probabilidad de pasar a cualquiera de los otros son cero.

Ejemplo :
- Termino de un proyecto
- Juego al azar
- Evolucin de seres humanos
- Empresa en Bancarrota

5
6

Estado Absorbente
La teora de los procesos estocsticos
permite demostrar :

ik = Pij * ik
Para i = 0 , 1 , 2 , M
ik = 0
kk = 1

Ejemplo : Estado Absorbente

Considere una tienda que clasifica el saldo de la cuenta de su cliente
como pagada (estado 0), 1 a 30 das (estado 1), 31 a 60 das de retraso
(estado 2) o mala deuda (estado 3). Las cuentas se revisan cada mes y se
determina el estado de cada cliente.
En general, los crditos no se extienden y se espera que los clientes
paguen sus cuentas dentro de 30 das. En ocasiones, los clientes pagan
slo una parte de su cuenta. Si esto ocurre cuando el saldo queda dentro
de los 30 das de retraso, la tienda considera que este cliente esta dentro
de los 30 das. Si esto ocurre cuando el saldo est entre 31 y 60 das de
retraso, la tienda considera que el cliente se mueve al estado 1.
Los clientes que tienen ms de 60 das de retraso se clasifican en la
categora de mala deuda; y enva las cuentas a una agencia de cobro. Los
clientes que pagaron su saldo (en el estado 0) y despus se retrasan en el
pago de nuevas compras se consideran clientes nuevos que inician en el
estado 1.

Ejemplo : Estado Absorbente

Despus de examinar los datos de aos anteriores, la tienda ha
desarrollado la siguiente matriz de transicin:

La Tienda le interesa determinar la probabilidad de que un cliente

llegue a ser un mal deudor, dado que su comportamiento del
cliente es el estado 1 y/o 2.

Ejemplo : Estado Absorbente

ik = Pij * ik

2
13 = P10 * 03 + P11 * 13 + P12 * 23 + P13 * 33
13 = 0.7 * 03 + 0.2 * 13 + 0.1* 23 + 0* 33

Ejemplo : Estado Absorbente

ik = Pij * ik

1
23 = P20 * 03 + P21 * 13 + P22 * 23 + P23 * 33
23 = 0.5 * 03 + 0.1 * 13 + 0.2 * 23 + 0.2 * 33

Ejemplo : Estado Absorbente

Como 03 = 0 y 33 = 1

13 = 0.2 * 13 + 0.1* 23
23 = 0.1 * 13 + 0.2 * 23 + 0.2
13 = 0.032
23 = 0.254

.. 3.2%
.. 25.4%

Alrededor del 3% de los clientes cuyas cuentas tienen

de 1 a 30 das de retraso y alrededor de 25% de los
clientes con 31 a 60 das de retraso llegan a ser malos
deudores.

Ejemplo : Produccin
Un proceso de produccin incluye una mquina que se
deteriora con rapidez tanto en calidad como en cantidad
de produccin con el trabajo pesado, por lo que se
inspecciona al final de cada da. Despus de la inspeccin
se clasifica la condicin de la mquina en uno de cuatro
estados posibles:

Ejemplo : Produccin
El proceso se puede modelar como una cadena de Markov con matriz de
transicin (de un paso) P dada por:

a.- Elabore el diagrama de transicin

b.- Encuentre las probabilidades de estado estable
c.- Si los costos respectivos por estar en los estados 0 , 1 , 2 y 3 son
respectivamente $ 0/ $ 1,000 / $ 3,000 y $ 6,000 Cul es el costo
esperado a largo plazo?

Bibliografa
Frederick S. Hillier & Gerald J. Lieberman, Investigacin de Operaciones,
9na Edicin - Ao 2010 - Editorial Mcgraw-Hill
David R. Anderson / Dennis J. Sweeney, et al, Mtodos Cuantitativos para
los Negocios, 11va Edicin - Ao 2011 - Editorial Cengage Learning
G. D. Eppen, Larry R. Weaterford , Jeffrey H. Moore, Investigacin de
Operaciones en la Ciencia Administrativa, 5ta Edicin - Ao 2000 - Editorial
Prentice Hall
Taha, H., Investigacin de Operaciones, 7 ed., Mxico: Pearson Educacin,
2004
W. Winston, Investigacin de Operaciones. Aplicaciones y algoritmos", 4ta
Edicin - Ao 2005 - Editorial Thomson .