Resumen

Procesos de Markov de Saltos Puros

Definici
on 1. Un proceso estoc
astico es Markov de Saltos Puros si se cumple:
(i) No explota.
(ii) Tiene la propiedad de Markov
Para todo T tiempo de paro tal que T < es entonces el tiempo trasladado (XT +t )t0 bajo la ley
P(|XT = x) es independiente de L y tiene la ley Px = P(|X0 = x)
(iii) 0 X0
Lema 1. Si (Xt )t0 es un proceso de Markov de saltos puros, entonces para todo x E estado no absorbente

Px (0 > t + s|0 > t) = P( > s),

s, t 0

Lema 2. La familia de probabilidades de transici

on (P(t), t 0) satisface la ecuaci
on integral

Zt
X
qx t
xz Pzy (t s) ds
Pxy (t) = x (y)e
+ qx eqx s
zE\{x}

Definici
on 2. Las ecuaciones Backward y Forward de Kolmogorov son

P0 (t) = QP(t)

P0 (t) = P(t)Q

respectivamente.
Resultado 1. Para el proceso de Yule, tenemos que las probabilidades de transicion para cualquier tiempo
t 0 est
an dadas por:


y 1 xt
e
(1 et )yx , y x
Pxy (t) =
x1

0 en otro caso
Definici
on 3. Para x, y E decimos que x y (x accede a y) si

Px (Xt = y) > 0 para algun t > 0

Y diremos que x se comunica con y o viceversa si se tiene que x y e y x.
Lema 3. El proceso estoc
astico de los estados visitados por el proceso (Xt )t0 es decir, (Yn = Xn )n0 es
una cadena de Markov con matriz de transici
on . Nos referiremos a (Yn )n0 como la cadena subyacente.
Definici
on 4. Las entradas de la matriz de saltos estan dadas por:
 qij

si i 6= j y qi 6= 0
0 si qi =
6 0
q
i
ij =
ii =
1 si qi = 0
0
si i =
6 j y qi = 0

Donde qi = qii

Teorema 4. Para x, y E tales que x 6= y se tiene que las siguientes afirmaciones son equivalentes
(i) x y
(ii) x y para la cadena subyacente.
(iii) qxx1 qx1 x2 qxn y > 0 para algunos estados x1 , x2 , ..., xn E.
(iv) Pxy (t) > 0 para alguna t > 0.
(v) Pxy (t) > 0 para toda t > 0.
1

Resumen

Procesos de Markov de Saltos Puros

TIEMPOS DE LLEGADA
Definici
on 5. El tiempo de entrada a un conjunto A E es la v.a. DA definida por
DA () = nf{t 0 : Xt () A}
Si H A es el tiempo de entrada para la cadena subyacente, se tiene que
{H A < } = {DA < }
La probabilidad, iniciando en i de que (Xt )t0 alguna vez llegue a A es
A
A
hA
i = Pi (D < ) = Pi (H < )

Cuando A es una clase derrada, hA

on.
i es llamada probabilidad de absorci
Teorema 5. El vector de probabilidades de llegada hA = {hA
nima soluci
on al sistema de
i : i E} es la m
ecuaciones lineales
hA
i =1
X

qij hA
j

para i E
para i
/E

=0

jE

Teorema 6. Supongamos que qi > 0, i

/ A. El vector de tiempos esperados de llegada k A = {kiA : i E}
es la mnima soluci
on al sistema de ecuaciones lineales
kiA = 0

qij kjA

para i A
para i
/A

=1

jE

Definici
on 6. Decimos que el estado i E es recurrente si

Pi ({t : Xt = i}es no acotado) = 1

Decimos que el estado i E es transitorio si

Pi ({t : Xt = i}es no acotado) = 0

Teorema 7. Sea (Xt )t0 Markov (, Q). Entonces (Xt )t0 no explota si cualquiera de las siguientes condiciones se satisface:
(i) E es finito.
(ii) sup qi <
iE

(iii) X0 = i y se tiene que i es un estado recurrente para la cadena de saltos.

Teorema 8. (i) Si i es recurrente para la cadena subyacente (Yn )n0 , entonces i es recurrente para
(Xt )t0 .
(ii) Si i es transitorio para la cadena subyacente (Yn )n0 , entonces i es recurrente para (Xt )t0 .
(iii) Todo estado es transitorio o recurrente.
(iv) La recurrencia o transitoriedad son propiedades de clase.
Teorema 9. La siguiente dicotoma se satisface:
2

Resumen

Procesos de Markov de Saltos Puros

(i) Si qi = 0 o Pi (Ti < ) = 1, entonces i es recurrente y

Pii (t)dt = .

(ii) Si qi > 0 o Pi (Ti < ) < 1, entonces i es transitorio y

Pii (t)dt < .

Teorema 10. Sea h > 0 fijo, definimos Zn = Xnh , n N

(i) Si i es recurrente para (Xt )t0 , entonces i es recurrente para (Zn )n0 .
(ii) Si i es transitorio para (Xt )t0 , entonces i es transitorio para (Zn )n0 .
Definici
on 7. Un vector se dice invariante para Q si
Q = 0
Teorema 11. Sea una Qmatriz con matriz de saltos y un vector
(i) es invariante.
(ii) = donde i = i qi .
Teorema 12. Supongamos que Q es irreducible y recurrente. Entonces Q tiene un vector invariante u
nico
(salvo multiplicaci
on por escalares).
Definici
on 8. Si i es un estado recurrente y se tiene que el tiempo esperado de retorno mi = Ei (Ti ) < ,
decimos que el estado i es recurrente positivo. Decimos que i es recurrente nulo en caso contrario.
Teorema 13. Sea una Qmatriz irreducible. Los siguientes son equivalentes:
(i) Cada estado es positivo recurrente.
(ii) Alg
un estado es positivo recurrente.
(iii) Q es no explosiva y tiene una distribuci
on estacionaria . Adem
as, en caso de que (iii) se cumpla
mi =

1
, i E
i qi

Teorema 14. Sea Q una matriz irreducible y recurrente y un vector. Los siguientes son equivalentes
(i) Q = 0
(ii) P(s) =
Teorema 15. Sea Q una matriz irreducible, no explosiva con semigrupo P(t) con distribuci
on invariante .
Entonces i, j E.
Pij (t) j
t

Teorema 16. Sea una Qmatriz irreducible y una distribuci

on. Si (Xt )t0 es Markov (, Q). Entonces:

P(Xt = j)

1
mj qj

Teorema 17 (Teorema Erg

odigo). Sea Q una matriz irreducible y cualquier distribuci
on. Si (Xt )t0 es
Markov (, Q), entonces:
 Z t

1
1
1Xs =i ds
=1
P
t mi qi
t 0