Cadenas de Markov y Teora de potencial

Johel Beltran
May 26, 2011
Contents
1 Preliminares 2
1.1 S
Z
+
, proyecciones y cilindros . . . . . . . . . . . . . . . . . . . . 2
1.2 Trayectorias y tiempos de llegada . . . . . . . . . . . . . . . . . . 4
1.3 Probabilidad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3.1 -algebras . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.4 Probabilidades sobre S
Z
+
. . . . . . . . . . . . . . . . . . . . . . 10
2 Cadena de Markov 14
2.1 Propiedad de Markov . . . . . . . . . . . . . . . . . . . . . . . . 16
2.2 Propiedad fuerte de Markov . . . . . . . . . . . . . . . . . . . . . 19
2.3 La traza . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3 Minimizacion de la energa 25
3.1 Energa y resultado previo . . . . . . . . . . . . . . . . . . . . . . 25
3.2 Problema . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.3 Forma de Dirichlet . . . . . . . . . . . . . . . . . . . . . . . . . . 28
3.4 Conservacion de la forma de Dirichlet . . . . . . . . . . . . . . . 30
3.5 Prueba de la conjetura . . . . . . . . . . . . . . . . . . . . . . . . 31
1
Chapter 1
Preliminares
En este captulo introducimos los conceptos fundamentales para estudiar en el
proximo captulo las cadenas de Markov.
1.1 S
Z
+
, proyecciones y cilindros
Fijaremos un conjunto S enumerable o nito con al menos dos elementos. En
toda la monografa, vamos a denotar por Z
+
el conjunto de enteros no negativos:
Z
+
= 0, 1, 2 . . . . Para cada entero k 1, S
k
denotara el producto cartesiano
de k copias de S:
S
k
:=
_
(a
1
, a
2
, . . . , a
k
) : a
j
S j = 1, . . . , k
_
.
Por supuesto, S
1
= S. S
Z
+
denotara el espacio de todas las sucesiones sobre S:
S
Z
+
:=
_
(x
0
, x
1
, . . . ) : x
i
S i Z
+
_
.
Usaremos smbolos como x, y para denotar los elementos de S
Z
+
.
Ejercicio 1.1 Cada conjunto S
k
es enumerable. El conjunto S
Z
+
es enumer-
able? Ni siquiera 0, 1
Z
+
es enumerable.
Denimos las proyecciones
X
n
: S
Z
+
S , para cada n 0 ,
como X
n
(x) = x
n
si x = (x
0
, x
1
, . . . ), es decir X
n
(x) indica la n-esima coorde-
nada de x. Ademas, para cualquier subconjunto nito n
0
, n
1
, . . . , n
k
Z
+
,
k 0, la proyeccion
(X
n
0
, X
n
1
, . . . , X
n
k
) : S
Z
+
S
k+1
,
se dene como (X
n
0
, X
n
1
, . . . , X
n
k
)(x) :=
_
X
n
0
(x), X
n
1
(x), . . . , X
n
k
(x)
_
.
2
Ejercicio 1.2 Supongamos que existen k 1, A S
k
, m 1 y B S
m
de
modo que
x S
Z
+
: (X
0
, . . . , X
k1
)(x) A = x S
Z
+
: (X
0
, . . . , X
m1
)(x) B .
Pruebe que si k = m entonces B = A y si k < m entonces B = AS S
. .
(k m) veces
.
Estaremos interesados en el siguiente tipo de subconjuntos de S
Z
+
.
Denicion 1.1 Llamaremos cilindros a los subconjuntos de S
Z
+
que tienen la
siguiente forma:
(X
0
, . . . , X
k
)
1
(A) =
_
x S
Z
+
: (X
0
, . . . , X
k
)(x) A
_
,
para alg un k 0 y alg un subconjunto A S
k+1
. En particular, S
Z
+
y son
cilindros (verique).
Ejercicio 1.3 (a) Pruebe que X
1
n
(A) S
Z
+
es cilindro, para todo n 0 y
A S.
(b) Pruebe que para cualquier k 1, proyeccion (X
n
0
, X
n
1
, . . . , X
n
k1
) y
cualquier A S
k
, el conjunto
_
x S
Z
+
: (X
n
0
, X
n
1
, . . . , X
n
k1
)(x) A
_
es un cilindro.
Ejercicio 1.4 (a) Si C
1
, . . . , C

son cilindros, pruebe que para todo m 1

existe k m y existen A
1
, . . . , A

S
k
de modo que
C
i
= (X
0
, . . . , X
k1
)
1
(A
i
) , i = 1, . . . , .
(b) Pruebe que la interseccion de cualquier n umero nito de cilindros es un
cilindro.
(c) Pruebe que la union de cualquier n umero nito de cilindros es un cilindro.
Para simplicar la notacion, de ahora en adelante escribiremos
_
(X
n
0
, X
n
1
, . . . , X
n
k
) A
_
=
_
x S
Z
+
: (X
n
0
, X
n
1
, . . . , X
n
k
)(x) A
_
.
En particular, para A
i
S, i = 0, . . . , k denotaremos
X
n
0
A
0
, X
n
1
A
1
, . . . , X
n
k
A
k

:=
_
x S
Z
+
: X
n
0
(x) A
0
, X
n
1
(x) A
1
, . . . , X
n
k
(x) A
k
.
Usando esta notacion, es claro que
X
n
0
A
0
, X
n
1
A
1
, . . . , X
n
k
A
k
=
k
i=0
X
n
i
A
i
.
3
1.2 Trayectorias y tiempos de llegada
Nuestro plan es usar S
Z
+
como el conjunto de todas las trayectorias que un indi-
viduo que se desplaza sobre S puede realizar. Por ejemplo, dado (a
0
, . . . , a
k
)
S
k+1
, el cilindro X
0
= a
0
, X
1
= a
1
, . . . , X
k
= a
k
es interpretado como el
conjunto de todas las trayectorias que comienzan en a
0
y en cada instante n
(desde n = 0 hasta n = k) se encuentran en a
n
. Nada es dicho en el cilindro
X
0
= a
0
, X
1
= a
1
, . . . , X
k
= a
k
sobre la trayectoria despues del instante
n = k.
Ejercicio 1.5 Como se escribira el cilindro que representa el conjunto de
trayectorias que comienzan en a S y luego de 4 pasos estan en u S?
Estamos usando el conjunto Z
+
= 0, 1, 2, . . . para representar el tiempo.
Las siguientes funciones seran interesantes.
Denicion 1.2 Dado A S no vaco, denimos la funcion
T
A
: S
Z
+
Z
+

del siguiente modo. Fijada una trayectoria x S
Z
+
, si el conjunto de instantes
n 1 : X
n
(x) A es no vaco hacemos
T
A
(x) := minn 1 : X
n
(x) A .
Si n 1 : X
n
(x) A = hacemos T
A
(x) = .
Notacion: En la denicion anterior, si A = x escribiremos T
x
:= T
{x}
.
Ahora es mas facil escribir el siguiente conjunto de trayectorias. Comienzo
en i S y llego a a S antes de llegar a u S:
x S
Z
+
: X
0
(x) = i , T
a
(x) < T
u
(x) S
Z
+
. (1.2.1)
Otro ejemplo. Salgo de e S y alg un da en el futuro (n 1) vuelvo a e:
x S
Z
+
: X
0
(x) = e , T
e
(x) < S
Z
+
. (1.2.2)
Para simplicar la notacion, los conjuntos en (1.2.1) y (1.2.2) seran escritos
como
X
0
= i , T
a
< T
u
y X
0
= e , T
e
< ,
respectivamente. Aplicaremos la misma simplicacion de notacion en conjuntos
similares.
Ejercicio 1.6 Demuestre que los subconjuntos (1.2.1) y (1.2.2) NO son cilin-
dros.
4
Muchos subconjuntos de S
Z
+
que no son cilindros son bastante interesantes
y frecuentes de encontrar cuando uno estudia las trayectorias. Los cilindros son
importantes por lo siguiente. Para estudiar una cadena de Markov tendremos
que denir una probabilidad encima del espacio de trayectorias. En un prin-
cipio, los unicos subconjuntos de S
Z
+
sobre los cuales podremos asignar una
probabilidad seran los cilindros. Fijadas las probabilidades sobre los cilindros,
veremos que las probabilidades de una coleccion mayor de subconjuntos (como
(1.2.1) y (1.2.2)) seran determinadas de manera unica. Los cilindros funcionaran
entonces como subconjuntos basicos para denir probabilidades sobre el espacio
de trayectorias.
1.3 Probabilidad
Para denir probabilidad jemos un contexto mas abstracto. Sea un conjunto
cualquiera. En un caso simple, en que es nito o enumerable, jar una
probabilidad sobre consiste en indicar una probabilidad por cada elemento
de (sumando un total de uno) y luego declarar que la probabilidad de cada
subconjunto de es la suma de las probabilidades de sus elementos.
Por ejemplo, para cada k 1, S
k
es un conjunto enumerable. Denotemos
por T(S
k
) el conjunto potencia de S
k
. Cualquier funcion p : S
k
[0, 1], tal que

uS
k
p(u) = 1, determina una probabilidad P : T(S
k
) [0, 1] como siendo
P(E) =

uE
p(u) , E T(S
k
) . (1.3.1)
Es decir, la probabilidad de cada subconjunto E S
k
es declarada como

uE
p(u), donde la suma es cero si E es vaco. Eso nos funciona para cada
S
k
, pero no para S
Z
+
que no es enumerable.
Una probabilidad sera una funcion que asocia a ciertos subconjuntos de un
n umero en [0, 1] y cumplira ciertas propiedades. Denotemos por C una coleccion
de subconjuntos de . Queremos denir una aplicacion
P : C [0, 1] .
Has intentado denir una transformacion lineal sobre un conjunto cualquiera?
Para que transformacion lineal sea un concepto interesante, necesitas que en
ese conjunto se pueda (al menos) sumar. Para las propiedades que pedire a P
necesito que C cumpla (al menos) con lo siguiente:
Denicion 1.3 Una coleccion C de subconjuntos de es llamado -sistema si
cumple con las siguientes propiedades.
(1) C
(2) Si E, F C y E F entonces F E C.
5
(3) Si (E
n
: n = 1, 2, . . . ) es una sucesion de elementos de C tales que
E
n
E
n+1
, n 1 , (sucesion creciente) (1.3.2)
entonces

n=1
E
n
tambien debe pertenecer a C.
Ejercicio 1.7 Prueba que si C es un -sistema entonces valen las siguientes
propiedades:
(a) C.
(b) Si E C entonces E
c
C.
(c) Si E
1
, E
2
, . . . , E
m
son elementos de C disjuntos dos a dos entonces

m
i=1
E
i
C.
(d) Si E
i
: i I es una familia enumerable de elementos de C, disjuntos
dos a dos, entonces
iI
E
i
C.
Denamos probabilidad
Denicion 1.4 Sea C un -sistema de subconjuntos de . Diremos que la
aplicacion P : C [0, 1] es una probabilidad si vale lo siguiente.
(P1) P() = 1.
(P2) Si E, F C son tales que E F entonces
P(F E) = P(F) P(E) .
(P3) Si (E
n
: n = 1, 2 . . . ) es una sucesi on creciente (cumpliendo (1.3.2)) de
elementos de C entonces
lim
n
P(E
n
) = P(E) , donde E :=

n=1
E
n
.
Cada propiedad (i), i = 1, 2, 3, sobre C, otorga mas sentido al respectivo
requisito (Pi) pedido de P.
Es bastante claro que (P1) y (P2) son requisitos mnimos para ser proba-
bilidad. (P3) tal vez no tanto. Sin embargo, con (P1) y (P2) solo alcanza para
resolver los problemas de dados, siempre que los tires una cantidad nita de
veces. (P3) nos permite determinar la probabilidad de conjuntos complejos a
partir de las probabilidades de conjuntos mas elementales.
Las propiedades (1.3.3) y (1.3.4) en el siguiente ejercicio son muy importantes
para el calculo de probabilidades. Estas propiedades son consecuencia de nuestra
denicion.
Ejercicio 1.8 Si P es una probabilidad denida sobre un -sistema C vale lo
siguiente.
6
(a) P() = 0.
(b) E C, P(E
c
) = 1 P(E).
(c) Si E, F C son disjuntos entonces
P(E F) = P(E) + P(F) . (1.3.3)
(d) Si E
i
: i I es una coleccion enumerable de elementos de C, disjuntos
dos a dos, entonces
P(
iI
E
i
) =

iI
P(E
i
) . (1.3.4)
(e) Si (E
n
: n = 1, 2, . . . ) es una sucesi on decreciente de elementos de C, es
decir, E
n
E
n+1
n 1, entonces
lim
n
P(E
n
) = P(E) , donde E :=

n=1
E
n
.
Ejercicio 1.9 Pruebe que P : T(S
k
) [0, 1] denido en (1.3.1) es una prob-
abilidad seg un Denici on 1.4. Verique que toda probabilidad denida sobre el
conjunto potencia de un conjunto enumerable es generado de ese modo.
Ejercicio 1.10 Sea P : T(S
k
) [0, 1] una probabilidad para alg un k 1 y sea
E T(S
k
). Pruebe que para todo > 0 existe un subconjunto nito A E tal
que
P(E) P(A) P(E) .
Los mas experientes deben haber escuchado hablar de -algebras.
1.3.1 -algebras
Las propiedades de -sistema son sucientes para denir probabilidad. Sin
embargo, no son sucientes para tratar con conceptos importantes en probabil-
idad como independencia. Deniremos a continuacion un tipo mas restricto de
coleccion de subconjuntos llamado -algebra.
Un -algebra es un -sistema que cumple con la siguiente propiedad adi-
cional.
Denicion 1.5 Una coleccion C es llamada -sistema si se cumple la siguiente
condicion:
() Si E, F C entonces E F C .
Denicion 1.6 Una colecci on C es llamada -algebra si ademas de ser -
sistema cumple con la propiedad ().
7
Un -algebra C representa una coleccion de eventos que pertenecen a un
cierto nivel de informacion. A C si y solo si la ocurrencia o no del evento A
es informacion disponible en el nivel de informacion asociado a C. Es por eso
natural pedir que la ocurrencia simultanea AB sea una informacion disponible
si la ocurrencia tanto de A como de B son informaciones disponibles.
Ejercicio 1.11 C es un -algebra si y solo si valen las siguientes propiedades:
(i) C.
(ii) Si E C entonces E
c
C.
(iii) Si E
i
: i I es una familia enumerable de elementos de C, entonces

iI
E
i
C.
Ademas, si C es un -algebra vale lo siguiente.
Si E
i
: i I es una familia enumerable de elementos de C entonces

iI
E
i
C.
Observacion 1.7 Nosotros hemos denido probabilidad como siendo una funcion
denida sobre un sistema C, cumpliendo con las propiedades (P1), (P2) y
(P3). En otros textos, llaman probabilidad a P solo en el caso especial de que
C cumpla ademas con la propiedad (). Pero observe que ninguna propiedad
adicional es requerida de la probabilidad P.
En este texto, el dominio de las probabilidades que veremos seran siempre
-algebras.
Denicion 1.8 Un espacio medible es una dupla (, F) donde es un conjunto
no vaco y F es un -algebra. Un espacio de probabilidad es un trio (, F, P)
donde (, F) es un espacio medible y P : F [0, 1] es una probabilidad.
Ejercicio 1.12 Sea (, F) un espacio medible. Pruebe que P : F [0, 1] es
probabilidad si y solo si ella cumple con las siguientes propiedades:
(i) P() = 1.
(ii) Si E
i
: i I es una coleccion enumerable de elementos de C, disjuntos
dos a dos, entonces
P(
iI
E
i
) =

iI
P(E
i
) .
Ejercicio 1.13 Prueba que los cilindros en S
Z
+
forman un -sistema y NO un
-sistema (por lo tanto tampoco un -algebra).
Ejercicio 1.14 Verique que las colecciones de subconjuntos de ,
_
,
_
y 2

:= todos los subconjuntos de

son ambos -sistemas y tambien -algebras.
8
Ejercicio 1.15 Prueba que si C

: I es una coleccion arbitraria de -

sistemas (resp. -algebras) en entonces
I
C

es tambien un -sistema
(resp. -algebra) en .
Si C no es ni -algebra ni -sistema, podemos agregarle mas subconjuntos
de para tornarlo uno usando el siguiente procedimiento.
Denicion 1.9 Sea C una coleccion de subconjuntos de . Denotemos

C
:= D : D es -sistema en y C D
y
C
:= D : D es -algebra en y C D .
Entonces denimos
(C) :=

D
C
D y (C) :=

D
C
D .
Observacion 1.10 Esta denicion no tendra sentido si
C
o
C
fueran vacos.
Afortunadamente, no lo son. Por que?
Gracias al Ejercicio 1.15, las nuevas colecciones de subconjuntos (C) y (C)
denidas arriba son, respectivamente, un -sistema y un -algebra. Ademas,
por denicion, si C D y D es un -sistema concluimos de inmediato que
(C) D. Igualmente, si C D y D es un -algebra concluimos de inmediato
que (C) D. Resumimos estas armaciones diciendo
Observacion 1.11 (C) es el menor -sistema conteniendo a C y (C) es el
menor -algebra conteniendo a C.
Teorema 1.12 Si C es un -sistema entonces (C) = (C).
Prueba: (C) es un -sistema que contiene a C. Pero (C) es el menor -sistema
conteniendo a C (ver la Observacion 1.11), por tanto (C) (C). Siguiendo el
mismo argumento, para concluir la inclusion contraria (C) (C) basta probar
que (C) es un -algebra. Es decir, debemos probar que (C) es un ()-sistema.
En este punto usamos la propiedad () de C. Denamos,
G := E (C) : E B (C) , para todo B C .
Se sigue de inmediato que
C G (C) .
Ademas, G resulta un -sistema (probar como ejercicio). Por lo tanto (nueva-
mente Observacion 1.11) G = (C). Hasta aqu tenemos que E B (C) para
todo par E (C), B C. Entonces, si denimos
H := E (C) : E B (C) , para todo B (C) ,
9
podemos ahora armar que
C H (C) .
Pero H es tambien -sistema, entonces H = (C). Eso signica que (C) es un
()-sistema y por tanto un -algebra.
Para terminar esta seccion, veamos el siguiente resultado util. Sea P una
probabilidad denida sobre un -sistema L. Consideremos una coleccion C
contenida en L. Nos gustara saber cuan grande debe ser C para que los valores
de P sobre C determinen los valores de P sobre todo L. Probaremos que basta
pedir que L sea generado por C.
Proposicion 1.13 Sea C una colecci on de subconjuntos de . Sean P y Q dos
probabilidades denidas sobre (C). Si P(C) = Q(C) para todo C C entonces
P(E) = Q(E) para todo E (C).
Prueba: Denamos
D := E (C) : P(E) = Q(E) .
Dos cosas obvias: C D y D (C). Pruebe ahora como ejercicio que D es un
-sistema (facil). Pero como (C) es el menor -sistema conteniendo C y C D
entonces (C) D. Por la doble inclusion concluimos que (C) = D. Es decir
que cada elemento de (C) satisface la propiedad que dene a D. Terminamos.
El siguiente corolario es inmediato gracias al Teorema 1.12.
Corolario 1.14 Sean P y Q dos probabilidades denidas sobre un -algebra F
y sea C F tal que (C) = F. Supongamos que P(C) = Q(C), C C. Si C
es un -sistema, entonces P(E) = Q(E), E F.
Prueba: Sabemos por la proposicion anterior que P y Q coinciden en todos los
elementos de (C). Pero por el Teorema 1.12, (C) = (C) = F. Eso concluye
la prueba.
1.4 Probabilidades sobre S
Z
+
Recuerde que S es un conjunto enumerable o nito con al menos dos elementos
y S
Z
+
denota el espacio de trayectorias sobre S. Denotemos por Cil la coleccion
de cilindros de S
Z
+
. Como fue visto en un ejercicio, Cil forma un -sistema.
Entonces, por el Teorema 1.12, el menor -algebra y el menor -sistema conte-
niendo Cil coinciden y denotaremos a tal coleccion de subconjuntos por B(S
Z
+
):
B(S
Z
+
) := (Cil) = (Cil) .
10
La cuestion que nos toca resolver es la siguiente. Supongamos que tenemos
denida una funcion

P : Cil [0, 1]. No tendra sentido preguntarse si

P es
probabilidad ya que Cil no es siquiera -sistema. Pero, podra ser

P la restriccion
de una probabilidad denida sobre B(S
Z
+
). Nos gustara entonces conocer
condiciones sobre

P que nos garanticen la existencia de dicha probabilidad.
Recuerde de un ejercicio que la union de dos cilindros es todava un cilindro.
Diremos que (C
n
: n = 1, 2, . . . ) es una sucesion decreciente de cilindros si
C
n
C
n+1
n 1.
El siguiente teorema es un caso especial del Teorema de Caratheodory.
Teorema 1.15 Sea

P : Cil [0, 1] una funcion tal que

P() = 0,

P(S
Z
+
) = 1.
Supongamos que se cumplen las siguientes dos propiedades.
(i) Si C y D son cilindros disjuntos entonces

P(C D) =

P(C) +

P(D).
(ii) Si (C
n
: n = 1, 2, . . . ) es una sucesion decreciente de cilindros tales que

n=1
C
n
= , entonces

P(C
n
) 0.
Entonces, existe una unica probabilidad P : B(S
Z
+
) [0, 1] de modo que P(C) =

P(C) para todo cilindro C.

Observe que las condiciones (i) y (ii) son de hecho necesarias para que

P
sea la restriccion de una probabilidad. En nuestro problema de denir cadenas
de Markov, sera mas inmediato usar el Teorema 1.17 enunciado mas abajo,
consecuencia de este ultimo teorema.
Denicion 1.16 Por cada k 1 sea
k
: T(S
k
) [0, 1] una probabilidad.
Diremos que la sucesion (
k
: k 1) es consistente si para todo k 1 y
subconjuntos A
1
, . . . , A
k
S tenemos que

k+1
(A
1
A
k
S) =
k
(A
1
A
k
) .
El siguiente ejercicio justica esta denicion.
Ejercicio 1.16 Sea P : B(S
Z
+
) [0, 1] una probabilidad.
Si : T(S) [0, 1] es denido como (A) := PX
0
A, A S,
verique que es una probabilidad.
Si por cada k 1,
k
: T(S
k
) [0, 1] es denido como

k
(E) := P(X
0
, . . . , X
k1
) E , E S
k
,
entonces
k
es una probabilidad.
Si (
k
: k = 1, 2, . . . ) es la sucesion de probabilidades denidas en el item
anterior, pruebe que dicha sucesi on es consistente.
11
Ejercicio 1.17 Por cada k 1 sea
k
: T(S
k
) [0, 1] una probabilidad.
Supongamos que (
k
: k = 1, 2, . . . ) es una sucesion consistente. Si 1 n < m
y A S
n
entonces

m
(AS S
. .
(m-n) veces
) =
n
(A) .
Teorema 1.17 Por cada k 1 sea
k
: T(S
k
) [0, 1] una probabilidad.
Si (
k
: k = 1, 2, . . . ) es una sucesion consistente, entonces existe una unica
probabilidad P : B(S
Z
+
) [0, 1] tal que
P(X
0
, X
1
, . . . , X
k1
) E =
k
(E) , para todo k 1 y todo E S
k
.
Prueba: Denamos una funcion

P : (il [0, 1] del siguiente modo. Si C es un
cilindro entonces existe k 1 y A S
k
tal que C = (X
0
, . . . , X
k1
) A.
Luego, hacemos

P(C) =
k
(A). Hay que vericar que

P esta bien denida.
Supongamos que existen n 1, A S
n
, m 1 y B S
m
de modo que
C = (X
0
, . . . , X
n1
) A = (X
0
, . . . , X
m1
) B .
Sin perdida de generalidad podemos suponer que k m. Si k = m, entonces
A = B y obviamente
k
(A) =
m
(B). Si k < m, por el ejercicio 1.2 tendremos
que

m
(B) =
m
(AS S
. .
(m-n) veces
) =
n
(A).
En la ultima igualdad hemos usado el Ejercicio 1.17. Eso prueba que

P esta
bien denida. Ahora resta probar las condiciones del Teorema 1.15.
Para probar (i) jemos dos cilindros E y F disjuntos. Por la parte (a) del
Ejercicio 1.4 sabemos que existe k 1 y subconjuntos A, B S
k
de modo que
E = (X
0
, . . . , X
k1
) A y F = (X
0
, . . . , X
k1
) B. Ya que
E F = (X
0
, . . . , X
k1
) A B
tendremos

P(E F) =
k
(A B) =
k
(A) +
k
(B) =

P(E) +

P(F) .
La segunda igualdad sigue de ser
k
una probabilidad y la ultima igualdad sigue
de la denicion de

P.
Para probar (ii), procedemos por contradiccion. Sea (C
n
: n = 1, 2, . . . ) una
sucesion de cilindros tal que C
n
C
n+1
, n 1 y supongamos que existe > 0
tal que

P(C
n
) > 0, n 1. Vamos a probar que
n1
C
n
,= .
Ya que C
1
es un cilindro, existe un entero k
1
1 y un subconjunto A

1
S
k
1
de modo que C
1
:= (X
0
, . . . , X
k
1
1
)
1
(A

1
). Por el Ejercicio 1.10, existe un
subconjunto nito A
1
A

1
de modo que

P(C
1
K
c
1
) /3 , (1.4.1)
12
donde K
1
:= (X
0
, . . . , X
k
1
1
)
1
(A
1
) C
1
.
Notemos que K
1
C
2
es un cilindro. Por la parte (a) del Ejercicio 1.4,
existe k
2
k
1
y A

2
S
k
2
de modo que K
1
C
2
= (X
0
, . . . , X
k
2
1
)
1
(A

2
).
Nuevamente por el Ejercicio 1.10, existe un subconjunto nito A
2
A

2
tal que

P(K
1
C
2
K
c
2
) (/3)
2
, (1.4.2)
donde K
2
:= (X
0
, . . . , X
k
2
1
)
1
(A
2
) K
1
C
2
. Siendo C
2
C
1
, tenemos

P(C
2
K
c
2
) =

P(K
1
C
2
K
c
2
)+

P(K
c
1
C
2
)

P(K
1
C
2
K
c
2
)+

P(K
c
1
C
1
) .
De (1.4.1) y (1.4.2) concluimos que K
2
satisface

P(C
2
K
c
2
) (/3) + (/3)
2
.
Procediendo por induccion, probamos que existe una sucesion de enteros 1
k
1
k
2
. . . , una sucesion de conjuntos nitos A
n
S
k
n
y una sucesion decre-
ciente de cilindros (K
n
: n = 1, 2, . . . ) de modo que K
n
:= (X
0
, . . . , X
k
n
1
)
1
(A
n
),
K
n
C
n
y

P(C
n
K
c
n
)
n

i=1
(/3)
i
, n 1 .
De la ultima desigualdad y la suposicion sobre (C
n
: n = 1, 2, . . . ) tenemos que
para todo n 1

P(K
n
) =

P(C
n
)

P(C
n
K
c
n
)

P(C
n
)
n

i=1
(/3)
i

i=1
(/3)
i
= /2 .
En particular, K
n
,= y por tanto A
n
,= , para todo n 1.
Entonces es posible tomar una sucesion x
n
K
n
, n 1. Por cada n 1,
denotemos

n
(X
0
, . . . , X
k
n
1
) .
De este modo
1
(x
n
) A
1
, n 1. Ya que A
1
es nito, entonces existe un
a
(1)
A
1
y una subsucesion (x
(1)
n
: n 1) tal que
1
(x
(1)
n
) = a
(1)
para todo
n 1. Ahora,
2
(x
(1)
n
) A
2
para todo n 1. Siendo A
2
nito, existe un
a
(2)
A
2
y una subsucesion (x
(2)
n
: n 1) de (x
(1)
n
: n 1) de modo que

2
(x
(2)
n
) = a
(2)
para todo n 1. Lo importante es notar que
1
(x
(2)
n
) = a
(1)
y
por lo tanto

1
(a
(2)
) = a
(1)
,
donde

1
: S
k
2
S
k
1
es la proyeccion en las k
1
primeras coordenadas. Tomando
progresivamente subsucesiones podemos entonces obtener una sucesion a
(n)

A
n
cumpliendo con

n
(a
(n+1)
) = a
(n)
, n 1 ,
donde

n
: S
k
n+1
S
k
n
es la proyeccion en las k
n
primeras coordenadas. Esto
es suciente para garantizar que existe un elemento a S
Z
+
tal que
n
(a) = a
(n)
para todo n 1. Ahora es facil vericar que a K
n
para todo n 1. Eso
termina la prueba.
13
Chapter 2
Cadena de Markov
Fijaremos un conjunto S enumerable o nito con al menos dos elementos. Con-
sideremos una coleccion de n umeros p(x, y) [0, 1], (x, y) S S. En este
captulo, deniremos una cadena de Markov como una familia de probabili-
dades sobre el espacio de trayectorias en S y asociados a p(x, y) : x, y S del
modo que describimos mas abajo.
Denicion 2.1 Considere una coleccion de n umeros p(x, y) [0, 1], (x, y)
S S. Decimos que
p(x, y) : x, y S
forma una coleccion de probabilidades de transicion sobre S si

yS
p(x, y) = 1 , x S . (2.0.1)
Usamos p(x, y) : x, y S para determinar una dinamica sobre S del sigu-
iente modo. En el instante cero situamos a un individuo en alg un lugar en S,
digamos a S. Viendose en a, el individuo decidira una nueva posicion en S
de acuerdo a las probabilidades p(a, ). Desde la nueva posicion, digamos b S,
decidira su siguiente posicion (para el instante dos) de acuerdo a las probabili-
dades p(b, ). El individuo continuara de este modo decidiendo su posicion para
el instante k + 1 de acuerdo a su posicion x en el instante k y las probabili-
dades p(x, ). Observe entonces que, luego de jar un punto inicial, un elemento
de S
Z
+
es producido aleatoriamente bajo este algoritmo determinado por los
n umeros p(x, y) : x, y S.
Con esta descripcion podemos calcular las siguientes probabilidades.
Ejercicio 2.1 Supongamos que la posicion inicial del individuo es a S.
(a) Cual es la probabilidad de que el individuo salte al punto b S y luego
al punto c S?
Rpta: p(a, b)p(b, c).
14
(b) Cual es la probabilidad de que el individuo se encuentre en c S luego
de dos saltos?
Rpta:

yS
p(a, y)p(y, c).
(c) Cual es la probabilidad de que el individuo vuelva al punto a S luego
de 3 saltos y no antes?
Rpta:

yS\{a}

zS\{a}
p(a, y)p(y, z)p(z, a).
Todos los subconjuntos en el Ejercicio 2.1 son cilindros! La descripcion
hecha sobre la dinamica nos permite determinar directamente, a partir de las
probabilidades de transicion p(x, y) : x, y S, una familia de funciones sobre
los cilindros. Usaremos el Teorema 1.17 para determinar una probabilidad sobre
(S
Z
+
, B(S
Z
+
)) a partir de las probabilidades de transicion.
Sea una probabilidad sobre S. Para cada k 2, determinamos una prob-
abilidad
k
sobre S
k
estableciendo

k
(a) = (a
0
)p(a
0
, a
1
) . . . p(a
k2
, a
k1
) , a = (a
0
, a
1
, . . . , a
k1
) S
k
.
As tenemos la familia
k
: k = 1, 2, . . . donde
1
.
Ejercicio 2.2 La familia
k
: k = 1, 2, . . . denida arriba es consistente.
Usando entonces el Teorema 1.17 podemos concluir que
Teorema 2.2 Dadas las probabilidades de transicion p(x, y) : x, y S y la
probabilidad sobre S, existe una unica probabilidad P

: B(S
Z
+
) [0, 1] tal
que
P

X
0
a = (a) para todo a S.
P

X
0
= a
0
; X
1
= a
1
; . . . ; X
k
= a
k
= (a
0
)p(a
0
, a
1
) . . . p(a
k1
, a
k
) para
todo k 1 y (a
0
, . . . , a
k
) S
k+1
.
Estamos escribiendo (a) := (a).
Denicion 2.3 Llamaremos cadena de Markov a cada probabilidad P

sobre
(S
Z
+
, B(S
Z
+
)). Los ingredientes S, B(S
Z
+
), p(x, y) : x, y S y seran
llamados, respectivamente, el espacio de estados, el espacio de trayectorias, las
probabilidades de transicion y la distribucion inicial de la cadena de Markov P

.
Cuando existe a S tal que la distribucion inicial (a) = 1, denotaremos a
la cadena de Markov correspondiente por P
a
.
Ejercicio 2.3 Pruebe que para todo E B(S
Z
+
) y toda probabilidad sobre S
tenemos
P

(E) =

xS
(x)P
x
(E) .
Ejercicio 2.4 Sea n 1 y A S no vaco.
15
1. Pruebe que T
A
= n y T
A
> n son cilindros.
2. Para un a S, calcule P
a
T
A
= n y P
a
T
A
> n en funcion de las
probabilidades de transicion p(x, y) : x, y S.
Lema 2.4 Para todo A S no vaco, T
A
= B(S
Z
+
). Ademas, si A, B
son subconjuntos disjuntos no vacos de S entonces T
A
< T
B
B(S
Z
+
).
Prueba: Primero, podemos escribir T
A
< =

n=1
T
A
= n. Entonces,
por el Ejercicio 2.4, concluimos que T
A
< B(S
Z
+
). Eso prueba que
T
A
= B(S
Z
+
). Ahora, el conjunto T
A
< T
B
se puede escribir como

n=1
_
T
A
< T
B
T
A
= n
_
=

n=1
_
n < T
B
T
A
= n
_
.
Eso acaba la prueba ya que n < T
B
y T
A
= n son cilindros para todo
n 1.
Podemos calcular las siguiente probabilidades? Supongamos que a S es la
posicion inicial.
(A) La probabilidad de que el individuo llegue alg un da a b S y que suceda
antes de llegar a c S.
(B) La probabilidad de salir de a y nunca mas regresar.
Las probabilidades en (A) y (B) se pueden escribir, respectivamente, como
P
a
T
b
< T
c
y P
a
T
a
= .
2.1 Propiedad de Markov
Para calcular la probabilidad de eventos mas complicados como los enunciados
al nal de la seccion anterior, enunciaremos los Teoremas 2.6, 2.7, 2.12 y 2.13.
Estos teoremas son asociados a la propiedades markovianas de la dinamica que
hemos denido. Entre otras aplicaciones, veremos como estos teoremas nos
permiten escribir las probabilidades que queremos calcular como soluciones de
un sistema de ecuaciones.
Vamos a denotar
p
(n)
(a, x) := P
a
X
n
= x ,
de modo que p
(1)
(a, x) = p(a, x).
Ejercicio 2.5 Exprese p
(n)
(a, x) en terminos de p(x, y) : x, y S.
Denicion 2.5 Para cada n 1, el operador
(n)
: S
Z
+
S
Z
+
es denido
como

(n)
(x) = (x
n
, x
n+1
, . . . ) , x = (x
0
, x
1
, x
2
, . . . ) S
Z
+
.
Ademas escribimos :=
(1)
.
16
Teorema 2.6 Sea P

una cadena de Markov. Para todo E B(S

Z
+
) vale
P

(n)
E =

xS
P

(X
n
= x) P
x
(E) , (2.1.1)
En particular, para todo a, b S tenemos
P
a
X
n
= b ;
(n)
E = p
(n)
(a, b) P
b
(E) . (2.1.2)
Ejercicio 2.6 Pruebe que Q(E) := P

(n)
E, E B(S
Z
+
) dene
una probabilidad
Pruebe que Q

(E) :=

xS
P

(X
n
= x) P
x
(E), E B(S
Z
+
) dene una
probabilidad.
Pruebe que Q(C) = Q

(C) para todo C cilindro. Concluya el resultado del

Teorema 2.6.
Podemos mejorar el teorema anterior del siguiente modo. Para simplicar
la notacion, denotemos por

k
(X
0
, X
1
, . . . , X
k
) , k 0 .
El siguiente teorema nos dice que, jada la posicion del presente, el pasado y el
futuro resultan independientes.
Teorema 2.7 Sea k 1, E B(S
Z
+
) y A S
k+1
. Tenemos
P

k
A; X
k
= x;
(k)
E
_
= P

k
A; X
k
= x
_
P
x
(E) .
Prueba: Por el Ejercicio 2.3, basta mostrar el enunciado para P

= P
a
. Di-
vidiendo A como union enumerable de sus elementos, podemos suponer que
A = (b
0
, . . . , b
k
). Para descartar casos triviales, podemos suponer que b
k
= x
y b
0
= a. Basta probar entonces que
P
b
0
_
X
1
= b
1
, . . . , X
k
= b
k
;
(k)
E
_
= P
b
0
_
X
1
= b
1
, . . . , X
k
= b
k
_
P
b
k
(E) .
Si P
b
0
_
X
1
= b
1
, . . . , X
k
= b
k
_
= 0 no hay nada mas que hacer. Caso contrario
E P
b
0
_
X
1
= b
1
, . . . , X
k
= b
k
;
(k)
E
_
/P
b
0
_
X
1
= b
1
, . . . , X
k
= b
k
_
,
dene una probabilidad sobre B(S
Z
+
). Es facil vericar que esta probabilidad
coincide con P
b
k
sobre los cilindros. Por tanto ellos deben ser iguales, probando
lo que queramos.
Ejercicio 2.7 Sean A, B dos subconjuntos disjuntos no vacos de S. Si E =
T
B
< T
A
pruebe que
E X
1
= b = X
1
= b para todo b B.
17
E X
1
= a = para todo a A.
E X
1
= y = E X
1
= y, para todo y , A B.
Lema 2.8 Si denimos f : S [0, 1] como f(x) = P
x
T
B
< T
A
para cada
x , B A y 1 f(a) = f(b) = 1 para todo a A y b B, entonces
P
x
T
B
< T
A
=

yS
p(x, y)f(y) , x S .
En particular,

yS
p(x, y)f(y) = f(x) para todo x , A B.
Prueba: Si E = T
B
< T
A
observemos que
P
x
(E) =

yS
P
x
(EX
1
= y) =

yB
P
x
X
1
= y+

y
P
x
( EX
1
= y) ,
donde = S (A B). La ultima expresion se escribe como

yB
p(x, y)f(y) +

y
P
x
( E X
0
= y) .
Usando el Teorema 2.7, esta ultima expresion coincide con

yB
p(x, y)f(y) +

aS
p(x, a)P
a
(E X
0
= y)
=

yB
p(x, y)f(y) +

y
p(x, y)P
y
(E) .
Eso concluye la prueba.
Este resultado inspira la siguiente denicion
Denicion 2.9 Asociamos a las probabilidades de transicion p(x, y) : x, y
S el siguiente operador. A cada f : S R limitado, Mf : S R es denido
como
Mf(x) :=

yS
p(x, y)f(y) .
Usaremos el Lema 2.8 en el proximo captulo, para expresar en terminos de
cadenas de Markov la soluci on de un sistema de ecuaciones.
La probabilidad P
a
T
a
< de volver alg un da resulta ser uno cuando el
conjunto de estados S es nito y la familia de probabilidades de transicion es
irreductible. Si S no es nito, esto no es mas verdad en general, es decir, hay
probabilidad positiva de nunca volver (incluso en el caso irreductible). Denimos
a continuacion irreductibilidad.
Ejercicio 2.8 Sea p(x, y) : x, y S una familia de probabilidades de tran-
sicion. Fijemos x, y S tal que x ,= y. Son equivalentes:
18
(a) Existe n 1 tal que p
(n)
(x, y) > 0.
(b) P
x
(T
y
< ) > 0.
Notacion: Dada una cadena de Markov y dos elementos x, y S distintos,
escribiremos x y para decir que x, y cumplen con el item (a) (o equivalente-
mente item (b)) del Ejercicio 2.8.
Denicion 2.10 Diremos que una familia de probabilidades de transicion p(x, y) :
x, y S es irreductible si x y para todo par x, y S, x ,= y.
Ejercicio 2.9 Sea A un subconjunto no vaco de S. Pruebe que si g : S [0, 1]
es denido como g(x) = P
x
T
A
< para x , A y g(a) = 1 para todo a A,
entonces
P
x
T
A
< = Mg(x) , x S .
Usando este ejercicio podemos resolver el siguiente que prueba en particular
que P
a
T
a
< = 1 para S nito en el caso irreductible.
Ejercicio 2.10 Sea p(x, y) : x, y S una familia de probabilidades de tran-
sicion irreductible. Pruebe que si S es nito entonces P
x
T
A
< = 1 para
todo x S y todo subconjunto no vaco A S.
2.2 Propiedad fuerte de Markov
Extenderemos ahora el Teorema 2.7 al caso en que el futuro y pasado es deter-
minado por tiempos aleatorios.
Fijado un subconjunto A S no vaco, denamos el siguiente operador sobre
el subconjunto T
A
< S
Z
+
.
Denicion 2.11 Denimos
T
A
: T
A
< S
Z
+
como

T
A
(x) :=
T
A
(x)
(x) .
El siguiente resultado es el analogo al Teorema 2.6 para tiempos aleatorios
del tipo T
a
.
Teorema 2.12 Para todo a S y para toda probabilidad sobre S tenemos
P

(T
a
<
T
a
E) = P

T
a
< P
a
(E)
para todo E B(S
Z
+
).
Prueba: Ejercicio. Divida T
a
< =
n1
T
a
= n y use el Teorema 2.7.
Podemos extender el resultado anterior del siguiente modo. Para cada k 0,
denotemos por T
k
B(S
Z
+
) la coleccion de todos los conjuntos de la forma
(X
0
, . . . , X
k
) A para alg un A S
k+1
. Observe que T
1
T
2
. . .
19
Teorema 2.13 Sea a S y sea probabilidad sobre S. Supongamos que L
B(S
Z
+
) es tal que L T
a
= k T
k
para todo k 1 . Entonces
P

(L T
a
<
T
a
E) = P

(L T
a
< )P
a
(E)
para todo E B(S
Z
+
).
Prueba El lado izquierdo se escribe como

k=1
P

(L T
a
= k
k
E) .
Como L T
a
= k T
k
entonces, usando el Teorema 2.7, esta expresion es
igual a

k=1
P

(L T
a
= k) P
a
(E) .
Eso prueba el enunciado.
Como ejemplo de L en este teorema, pruebe el siguiente ejercicio.
Ejercicio 2.11 Sea A S un subconjunto no vaco y a A. Considere L =
T
A
= T
a
. Pruebe que L T
a
= k T
k
para todo k 1.
Usaremos el caso de este ejercicio en la siguiente seccion.
2.3 La traza
Una familia de probabilidades de transicion p(x, y) : x, y S determina
entonces una dinamica sobre S. Fijado un subconjunto no vaco A S, vamos
a restringir la dinamica al conjunto A. Esto sera la traza de p(x, y) : x, y S
sobre A.
Para esta seccion vamos a suponer que S es nito y que las probabilidades
de transicion p(x, y) : x, y S es irreductible como fue denido en la seccion
anterior. Deniremos la traza de manera inductiva.
Fijemos un punto z S.
Denicion 2.14 Llamaremos traza de p(x, y) : x, y S sobre S z a la
familia de probabilidades de transici on p

(x, y) : x, y S z denido por

p

(x, y) = p(x, y) +
p(x, z)p(z, y)
1 p(z, z)
, x, y S z . (2.3.1)
Ejercicio 2.12 Pruebe que p

(x, y) : x, y Sz es una familia irreductible

de probabilidades de transicion.
20
Ahora, jado un nuevo punto w S z, podemos tomar la traza de
p

(x, y) : x, y S z sobre S z, w. De ese modo obtenemos otra familia

irreductible de probabilidades de transicion p

(x, y) : x, y Sz, w denida

ahora sobre el conjunto reducido de estados S z, w.
Iterando este metodo podemos retirar de la dinamica un n umero nito de
puntos en S.
Denicion 2.15 Dado un subconjunto A S no vaco y una familia irre-
ductible p(x, y) : x, y S de probabilidades de transici on, la traza de p(x, y) :
x, y S sobre A es la familia de probabilidades de transici on p(x, y) : x, y
A obtenido despues de retirar cada punto en S A va ecuacion (2.3.1).
Ya hemos observado que la traza p(x, y) : x, y A resulta una familia irre-
ductible de probabilidades de transicion como consecuencia de la irreductibilidad
de p(x, y) : x, y A.
Siendo p(x, y) : x, y A una nueva familia de probabilidades de transicion
ella dene una familia de cadenas de Markov con espacio de estados A. Vamos
a mostrar la relacion entre las cadenas asociadas a p(x, y) : x, y S y las
cadenas asociadas a su traza sobre A.
El siguiente ejercicio es un paso inicial. Este ejercicio ademas explica la
intencion que hubo en la forma de escribir la ecuacion (2.3.1).
Ejercicio 2.13 Pruebe que si p(x, y) : x, y A es la traza de p(x, y) : x, y
S sobre A, entonces
P
a
T
A
= T
x
= p(a, x) , x, a A ,
donde P
a
es la cadena de Markov asociada a p(x, y) : x, y S.
Sea A S no vaco. Recordemos que
T
A
:= infn 1 : X
n
A .
Vamos a denir inductivamente la sucesion T
(k)
A
: k 1. Primero T
(1)
A
=
T
A
. Luego, denido T
(k)
A
, denimos
T
(k+1)
A
:= T
A

T
(k)
A
, sobre T
(k)
A
<
y T
(k+1)
A
sobre T
(k)
A
= .
En el caso particular de esta seccion, en que el espacio de estados S es
nito y p(, ) es irreductible tenemos que todos estos tiempos son nitos casi
ciertamente, para todas las cadenas asociadas a p(, ). Es el siguiente ejercicio.
Ejercicio 2.14 (a) Pruebe que T
(k)
A
< para todo k 1 B(S
Z
+
).
21
(b) Pruebe que x S y para todo subconjunto A S,
P
x
T
(k)
A
< para todo k 1 = 1 .
Denotemos
H := T
(k)
A
< para todo k 1 .
sobre H podemos entonces denir la sucesion
Y
k
(x) := X
T
(k)
A
(x)
(x) , k 1 .
Es decir (Y
k
: k 1) es denida como la traza de (X
n
: n 1) sobre A.
Hagamos Y
0
X
0
. Tenemos denida as una funcion Y : H S
Z
+
,
Y (x) := (Y
0
(x), Y
1
(x), . . . ) , x H .
Ejercicio 2.15 Pruebe que para todo E B(S
Z
+
) tenemos Y
1
(E) B(S
Z
+
).
Fijemos un punto a A arbitrario. Denamos
Q
a
(E) := P
a
(H Y E) , E B(S
Z
+
) . (2.3.2)
donde P
a
es la cadena de Markov partiendo de a S y de probabilidades de
transicion p(, ).
Ejercicio 2.16 Verique que Q
a
es una probabilidad para todo a A.
Procedamos ahora a relacionar Q
a
con la familia de probabilidades de tran-
sicion p(x, y) : x, y A. Si jamos x A, observe que
Q
a
X
1
= x = P
a
(H Y
1
= x) .
Ya que H tiene probabilidad uno, esta probabilidad en la ecuacion de arriba
coincide con
P
a
T
A
= T
x
; T
x
< = P
a
T
A
= T
x
.
Por el Ejercicio 2.13, concluimos que
Q
a
X
1
= x = p(a, x) , a, x A. (2.3.3)
Continuando, tomemos ahora un par de puntos x, y A. Tendremos
Q
a
X
1
= x, X
2
= y = P
a
(H Y
1
= x, Y
2
= y). (2.3.4)
Denotando E := Y
0
= x, Y
1
= y H observamos que
H Y
1
= x, Y
2
= y =
T
A
E T
A
< .
Esta ultima expresion coincide con

T
x
E T
x
< T
A
= T
x
.
22
Entonces la probabilidad en (2.3.4) se puede escribir como
P
a
(
T
x
E T
x
< T
A
= T
x
) .
Por el Teorema 2.13 y el Ejercicio 2.11, esta probabilidad es igual a
P
a
(T
x
< T
A
= T
x
) P
x
(E) = P
a
T
A
= T
x
P
x
Y
1
= y .
En la ultima igualdad hemos usado que P
a
(T
x
< = 1. Hemos probado as
que
Q
a
X
1
= x; X
2
= y = p(a, x) p(x, y) . (2.3.5)
As, repitiendo la prueba de (2.3.5), y usando (2.3.3), podemos concluir por
induccion que
Lema 2.16 Para todo n 2 y x
1
, . . . , x
n
A tenemos
Q
a
X
1
= x
1
; . . . ; X
n
= x
n

:= P
a
Y
1
= x
1
; . . . ; Y
n
= x
n

= p(a, x
1
) p(x
n1
, x
n
) ,
cualquiera que sea el punto inicial a A.
En el lema anterior hemos escrito
P
a
Y
1
= x
1
; . . . ; Y
n
= x
n
:= P
a
_
H Y
1
= x
1
; . . . ; Y
n
= x
n

_
para simplicar la notacion. El hecho de que H tiene probabilidad uno, nos
permite hacerlo.
El Lema 2.16 nos permite entonces decir que las probabilidades de transicion
p(x, y) : x, y A
estan determinando la dinamica de Y , quien es la traza que va dejando la
dinamica de X sobre A, cuando X se esta moviendo de acuerdo a las probabil-
idades de transicion p(x, y) : x, y S.
Con un poco mas de esfuerzo, podemos concluir la siguiente proposicion a
partir del Lema 2.16.
Proposicion 2.17 Sea p(x, y) : x, y S la traza de p(x, y) : x, y S sobre
A. Para cada a A, la probabilidad Q
a
, inducida por Y como en la ecuacion
(2.3.2), es la cadena de Markov partiendo de a A y de probabilidades de
transicion p(x, y) : x, y S.
23
Prueba: Si P
A
a
denota la cadena de Markov asociada a la traza
p(x, y) : x, y S ,
debemos probar que P
A
a
Q
a
. El Lema 2.3.2 nos permite concluir que P
A
a
y Q
a
coinciden sobre los cilindros. Eso implica que coinciden sobre todo B(S
Z
+
).
Usaremos el concepto de traza en el siguiente captulo para resolver un prob-
lema interesante sobre la minimizacion del funcional de energa para funciones
denidas en grafos nitos. Luego de haber asociado el funcional de energa con
cadenas de Markov sobre los vertices del grafo, podremos reducir el n umero de
vertices, tomando la traza de las cadenas, sin alterar el funcional de energa.
24
Chapter 3
Minimizacion de la energa
En este captulo resolveremos un problema sobre la minimizacion de la energa
sobre grafos nitos, usando el concepto de cadena de Markov. Probaremos
que el problema se puede simplicar, cambiando el grafo por otro que resulta
equivalente para el problema. Esta simplicacion es hecha va la idea de traza
de una cadena de Markov, introducida al nal del captulo anterior.
3.1 Energa y resultado previo
Fijemos un grafo G simple y conexo cuyo conjunto de vertices S es nito. Es-
cribamos x y si los vertices x, y S son unidos por alguna arista. Vamos a
denotar por deg(x) el grado del vertice x S, es decir
deg(x) =

yS
1
{yx}
.
Para cada f : S R denamos la energa de f como
c(f) =
1
2

xS

yS
f(y) f(x)
2
1
{xy}
.
Ejercicio 3.1 Pruebe que c(f) = 0 si y solo si f es constante.
Fijados dos subconjuntos A, B S disjuntos denotemos
F(A, B) := f : S R : f 1 sobre A y f 0 sobre B
Nosotros estamos interesados en el siguiente n umero
Denicion 3.1 Para cada par de subconjuntos disjuntos A, B S denimos
la capacidad de A y B como
cap(A, B) := infc(f) : f F(A, B) .
25
Obviamente 0 cap(A, B) < .
Ejercicio 3.2 Probar que cap(A, B) = cap(B, A).
Denamos,
c(f, g) :=
1
2

xS

yS
f(y) f(x)g(y) g(x)1
{xy}
.
De modo que c(f) = c(f, f).
Ejercicio 3.3 Verique que c(, ) es bilineal, simetrica y denida positiva.
El Ejercicio 3.4 abajo nos permite dar una expresion bastante util para
la energa. Para ello introducimos primero los siguientes dos ingredientes, un
operador sobre las funciones y un producto interno.
Denimos M como el operador que a cada f : S R asocia la funcion
Mf : S R denida por
Mf(x) :=
1
deg(x)

yS
f(y)1
{yx}
.
Ademas, escribamos I para denotar el operador identidad, es decir If f.
Por otro lado, para cada par de funciones f, g : S R, denamos
f, g =

xS
f(x)g(x)deg(x) .
El siguiente ejercicio nos expresa la energa usando M y el producto , .
Ejercicio 3.4 Pruebe que para todo f, g : S R tenemos
c(f, g) = (I P)f, g = f, (I P)g .
Queremos probar que existe una unica funcion en F(A, B) tal que c(f) =
cap(A, B). Denotaremos := S (A B). Probemos el siguiente lema.
Lema 3.2 Si f F(A, B) es solucion de la ecuacion
(I M)f 0 sobre , (3.1.1)
entonces f es la unica funcion en F(A, B) tal que c(f) = cap(A, B).
Prueba: Primero observemos que si f es como en el enunciado entonces g
c(f, g) es constante sobre todo F(A, B). En particular c(f, g) = c(f, f) para
todo f F(A, B). Eso prueba que para todo g F(A, B) tenemos
0 c(g f, g f) = c(g, g) c(f, f) .
26
Entonces c(f) c(g), g F(A, B) y si f

F(A, B) es tal que c(f

) = c(f)
entonces c(f

f) = 0 y por lo tanto f f

.
Pero ya conocemos una solucion para (3.1.1). Consideremos la familia de
probabilidades de transicion p(x, y) : x, y S denida por
p(x, y) =
1
deg(x)
1
{yx}
. (3.1.2)
Entonces Mf(x) =

yS
p(x, y)f(y). Si denimos f
AB
1 sobre A, f
AB
0
sobre B y
f
AB
(x) = P
x
T
A
< T
B
, x , (3.1.3)
entonces f
AB
F(A, B) es solucion de (3.1.1). Eso prueba que
Proposicion 3.3 La funcion f
A,B
denida en (3.1.3) es la unica funcion en
F(A, B) que minimiza la energa, es decir, c(f
AB
) = cap(A, B).
De manera un poco mas general, dado un subconjunto no vaco S
0
S y
una funcion f : S
0
R podemos denir
F
f
(S
0
) := g : S R : g f sobre S
0
.
Observe que F
f
(S
0
) = F(A, B) si S
0
= A B, con A, B disjuntos y f = 1
A
.
Ahora podemos denir
cap(f, S
0
) := infc(g) : g F
f
(S
0
) ,
de modo que cap(f, S
0
) = cap(A, B) en el caso particular S
0
= AB, con A, B
disjuntos y f = 1
A
.
Ejercicio 3.5 Probar que si

f F
f
(S
0
) es solucion de
(I M)

f 0 , sobre S S
0
, (3.1.4)
entonces

f es la unica funcion en F
f
(S
0
) que minimiza la energa.
Recuerde las probabilidades de transicion denidas en (3.1.2).
Ejercicio 3.6 Sea

f F
f
(S
0
) la funcion denida por

f(x) =

aS
0
f(a)P
x
T
S
0
= T
a
, x S S
0
, (3.1.5)
donde P
x
es la cadena de Markov asociada a p(x, y) : x, y S. Pruebe que

f
es la unica solucion de (3.1.4) en F
f
(S
0
).
El ultimo ejercicio prueba que
Proposicion 3.4 La funcion

f F
f
(S
0
) denida en (3.1.5) es la unica funcion
en F
f
(S
0
) que minimiza la energa c, es decir
c(

f) = cap(f, S
0
) .
27
3.2 Problema
Para esta seccion, hemos jado un subconjunto no vaco de vertices S
0
y una
funcion f : S
0
R. Continuaremos denotando por

f : S R, la solucion del
problema en la Proposicion 3.4. Es decir

f es una extension de S
0
de modo que
la energa haya sido minimizada.
Consideremos ahora un subconjunto no vaco D S S
0
y denotemos por
C
D
el conjunto de funciones que son constantes sobre D. Por cada g C
D
denotemos por g(D) dicha constante.
Queremos ahora minimizar la energa, pero sujetos a que las funciones deben
ser constantes sobre un subconjunto D S S
0
. Denamos
cap
D
f
(S
0
) := infc(g) : g C
D
F
f
(S
0
) .
Es claro que cap
f
(S
0
) cap
D
f
(S
0
).
Intente probar como ejercicio la siguiente proposicion. Sugiero intente primero
el caso D = S S
0
.
Proposicion 3.5 Dentro de C
D
F
f
(S
0
), existe una unica funcion f

C
D

F
f
(S
0
) tal que
c(f

) = cap
D
f
(S
0
) .
Mas a un, si S (S
0
D) ,= entonces f

debe satisfacer
(I M)f

0 , sobre S (S
0
D) .
Esta ultima proposicion nos permite extender la funcion f de un segundo
modo f

. En este modo, hemos obligado a la extension f

ser constante sobre

un subconjunto D.
Es natural pensar que si f

, al igual que

f, minimiza la energa, entonces f

no puede ser demasiado diferente a

f sobre D. Nuestro problema es mostrar lo
siguiente.
Conjetura:
min

f(x) : x D f

(D) max

f(x) : x D .
Vamos a generalizar un poco mas lo que tenemos hasta ahora asociando la
energa con un elemento denido a partir de la cadena de Markov.
3.3 Forma de Dirichlet
Vamos a jar una familia irreductible de probabilidades de transicion
p(x, y) : x, y S .
Vamos a suponer que tenemos el siguiente caso especial.
28
Denicion 3.6 Diremos que p(x, y) : x, y S es reversible si existe una
funcion m : S (0, ) tal que
m(x)p(x, y) = m(y)p(y, x) , x, y S . (3.3.1)
Observe que si m satisface (3.3.1), los m ultiplos de m tambien lo hacen.
Ejercicio 3.7 Siendo p(x, y) : x, y S irreductible pruebe que si m, m

satisfacen (3.3.1) entonces m = m

para alg un > 0.

Vamos a suponer en esta seccion que p(x, y) : x, y S ademas de ser
irreductible es reversible. Llamaremos a cada m que satisface las ecuaciones en
(3.3.1) de medida reversible para p(x, y) : x, y S.
Fijada un medida reversible m podemos denir
r(x, y) := m(x)p(x, y) , x, y S , (3.3.2)
de modo que r(, ) resulta simetrico. Podemos ahora usar r(x, y) : x, y S
como pesos sobre las aristas para generalizar la idea de energa. La energa
calculada usando r(x, y) : x, y S se llama la forma de Dirichlet asociada
a las probabilidades de transicion p(x, y) : x, y S y una medida reversible
m : S (0, ).
Denicion 3.7 Sea p(x, y) : x, y S una familia de probabilidades de tran-
sicion reversible y sea m : S (0, ) una medida reversible. La forma de
Dirichlet asociada a p(, ) y m es la energa calculada con los pesos r(, ), es
decir
c
r
(f, g) :=
1
2

xS

yS
f(y) f(x)g(y) g(x)r(x, y) .
Escribiremos c(f) := c(f, f).
Como antes, denimos el operador
Mf(x) :=

yS
p(x, y)f(y) ,
para todo f : S R. Ademas, denamos
f, g
m
:=

xS
f(x)g(x)m(x) .
En el caso particular de la seccion anterior tenamos m(x) = deg(x) y r(x, y)
resultaba 1
{xy}
.
Ejercicio 3.8 Con la notaci on que acabamos de introducir pruebe que
E
r
(f, g) = f, (I M)g
m
= (I M)f, g
m
.
29
Denotemos por P
x
, x S la cadena de Markov partiendo en x asociada
a la familia de probabilidades de transicion irreductible y reversible p(x, y) :
x, y S. Sean r(x, y) : x, y S los pesos sobre las aristas denidos como
en (3.3.2) a partir de p(, ) y una medida reversible m. La prueba del siguiente
teorema consiste en adaptar los argumentos usados en el contexto particular de
la seccion anterior.
Teorema 3.8 Sea S
0
S no vaco y jemos una funcion f : S
0
R. Existe
una unica funcion

f en F
f
(S
0
) tal que
c
r
(

f) = infc
r
(g) : g F
f
(S
0
) .
Esta funcion es denida como

f f sobre S
0
y

f(x) =

aS
0
f(a)P
x
T
S
0
= T
a
, x S S
0
.
Ademas, si S S
0
,= entonces
(I M)

f 0 , sobre S S
0
. (3.3.3)
3.4 Conservacion de la forma de Dirichlet
Nuestro plan es usar la traza de p(x, y) : x, y S sobre S
0
D, para descartar
el resto de vertices y simplicar el problema. Para ello, es necesario vericar
que al retirar dichos vertices, el problema no se altera, es decir

f y f

continuan
siendo los mismos. Eso es consecuencia de que la forma de Dirichlet de la traza
coincide con la forma de Dirichlet en el grafo original para esas funciones.
Fijemos un punto z S. Recordemos que las probabilidades de transicion
de la traza de p(, ) sobre S z son
p

(x, y) := p(x, y) +
p(x, z)p(z, y)
1 p(z, z)
, x, y S z .
Ejercicio 3.9 Pruebe que si p

(x, y) : x, y S z es la traza de p(x, y) :

x, y S entonces
m(x)p

(x, y) = m(y)p

(y, x) , x, y S z .
Es decir, p

(x, y) es reversible y la restriccion de m a S z es una medida

reversible para p

.
Entonces, podemos todava denir nuevos pesos r

(x, y) : x, y S z,
como r

(x, y) = m(x)p

(x, y), sobre las aristas que restan despues de retirar

z S. Denotemos por c
r
la forma de Dirichlet asociada a la traza sobre
S z.
El siguiente resultado nos permite retirar algunos puntos de S sin afectar
la energa de una funcion g, siempre que el valor de (I M)(g) sobre dichos
puntos resulte cero.
30
Lema 3.9 Si (I M)g(z) = 0 entonces, c
r
(g) = c
r
(g). En el lado derecho de
la igualdad se toma la restriccion de g sobre S z.
Prueba: Ejercicio.
Aplicando sucesivamente el lema anterior podemos concluir que
Lema 3.10 Si (I M)f(z) = 0 para todo z A y alg un subconjunto propio
A S entonces
c
r
(f) = c
r
(f) , (3.4.1)
donde r(x, y) : x, y S A es denida como r(x, y) = m(x) p(x, y) y
p(x, y) : x, y S A
es la traza de p(x, y) : x, y S sobre S A.
En el lado derecho de la igualdad (3.4.1) se toma la restriccion de f sobre S A.
Como ejemplo de aplicacion, denamos para cada familia irreductible y re-
versible de probabilidades de transicion p(x, y) : x, y S y m medida re-
versible, la capacidad de dos subconjunto disjuntos A, B S como
cap
r
(A, B) := infc
r
(g) : g F(A, B) .
Si jamos un C S(AB), podemos considerar p(x, y) : x, y S la traza de
p(x, y) : x, y S sobre S C, r(x, y) = m(x) p(x, y) y la capacidad cap
r
(A, B)
calculada con r

sobre S C.
Ejercicio 3.10 Probar que cap
r
(A, B) = cap
r
(A, B).
3.5 Prueba de la conjetura
Fijemos una familia de probabilidades de transicion irreductible y reversible
p(x, y) : x, y S. Sean r(x, y) : x, y S los pesos sobre las aristas denidos
como en (3.3.2) a partir de p(, ) y una medida reversible m.
Fijemos un subconjunto no vaco S
0
S y una funcion f : S
0
R. Sabemos
que existe una unica funcion

f : S R en F
f
(S
0
) tal que
c
r
(

f) = infc
r
(g) : g F
f
(S
0
) , (3.5.1)
donde c
r
es la forma de Dirichlet de p(, ) y m. Pero ademas sabemos que
(I M)

f 0 sobre S S
0
. Por lo visto en la seccion anterior tenemos entonces
lo siguiente.
Proposicion 3.11 Sea A S S
0
. Denotemos por

F
f
(S
0
) el conjunto de
funciones denidas sobre S A que coinciden con f sobre S
0
. Entonces, la
restriccion de

f sobre S A es la unica solucion en

F
f
(S
0
) de
c
r
(

f) := infc
r
(g) : g

F
f
(S
0
) ,
donde r(x, y) = m(x) p(x, y) y p(, ) es la traza de p(, ) sobre S A.
31
Es decir, modicando convenientemente los pesos sobre las aristas, podemos
reducir el problema a un grafo menor.
Ahora jemos un subconjunto no vaco D S S
0
y recordemos que C
D
es
el conjunto de funciones que son constantes sobre D y para cada g C
D
, g(D)
denota dicha constante. Estamos interesados en
infc
r
(g) : g C
D
F
f
(S
0
) .
Ejercicio 3.11 Pruebe que infc
r
(g) : g C
D
F
f
(S
0
) coincide con buscar el
nmo sobre funciones que ademas cumplen con (I M)g 0 sobre S(S
0
D):
infc
r
(g) : g C
D
F
f
(S
0
) =
infc
r
(g) : g C
D
F
f
(S
0
) y (I M)g 0 sobre S (S
0
D) .
Sugerencia: Use el Teorema 3.8.
Esta ultima observacion y lo discutido en la seccion anterior nos permite
reducir el conjunto de vertices S a solo S
0
D luego de redenir los pesos de
las aristas. Use esta tecnica para probar la siguiente proposicion.
Proposicion 3.12 Existe una unica funcion f

en F
f
(S
0
) C
D
tal que
c
r
(f

) = infc
r
(g) : g C
D
F
f
(S
0
) .
Mas a un, si denotamos por

F
f
(S
0
) el conjunto de funciones denidas sobre
S
0
D que coinciden con f sobre S
0
entonces la restriccion de f

sobre S
0
D
es tambien la unica soluci on de
c
r
(f

) = infc
r
(g) : g C
D


F
f
(S
0
) ,
donde r(x, y) = m(x) p(x, y) y p(, ) es la traza de p(, ) sobre S
0
D.
Recordemos que queremos probar que
min

f(x) : x D f

(D) max

f(x) : x D .
Podemos ahora suponer sin perdida de generalidad que D = S S
0
, porque caso
contrario podemos reducir el n umero de vertices y modicar r(x, y) usando la
traza de p(, ) sobre S
0
D, de modo que ni la funcion

f ni la funcion f

se
alteren.
Ahora es mas facil calcular f

(D). Si S = S
0
D, es facil ver que la forma
de Dirichlet c
r
(f

) se puede escribir como

yS
0
f(y) f

(D)
2
r(y, D) +

xS
0

yS
0
f(y) f(x)
2
r(x, y) , (3.5.2)
Donde denimos, para todo par de subconjuntos disjuntos A, B S,
r(A, B) :=

xA

yB
r(x, y) . (3.5.3)
32
En (3.5.2) estamos escribiendo r(y, D) := r(y, D).
Es claro que r(A, B) = r(B, A) para todo A, B subconjuntos disjuntos de S.
Ademas tenemos la siguiente relacion importante.
Ejercicio 3.12 Verique que para todo A, B subconjuntos disjuntos de S tales
que A B = S se tiene
r(A, B) = c
r
(1
B
) = c
r
(1
A
) = c(1
A
, 1
B
) .
Ejercicio 3.13 El valor de f

(D) que minimiza la expresion en (3.5.2) es

f

(D) =
1
r(S
0
, D)

yS
0
f(y)r(y, D) .
La expresion en (3.5.2) es facil de minimizar.
Ejercicio 3.14 Verique que el valor f

(D) que minimiza la expresion en (3.5.2)

se puede escribir como
c
r
(f

1
S
0
, 1
S
0
)/c
r
(1
S
0
) = c
r
(f

1
S
0
, 1
D
)/c
r
(1
S
0
, 1
D
) .
En este ejercicio note que la funcion f

1
S
0
: S R que aparece en la
expresion de f

(D), solo depende de f.

Ahora ya estamos en posicion de dar respuesta nal al problema.
Prueba de la conjetura: Recuerde que

f satisface (I M)

f 0 sobre D. Eso
signica que c
r
(

f, 1
D
) = 0 y entonces,
c
r
(f

1
S
0
, 1
D
) = c
r
(

f1
S
0
, 1
D
) = c
r
(

f1
D
, 1
D
)
Por el Ejercicio 3.14 y esta identidad podemos concluir que
f

(D) = c
r
(

f1
D
, 1
D
)/c
r
(1
D
) .
Resta observar que este calculo es un promedio de los valores de

f sobre D.
33