Professional Documents
Culture Documents
6 4
2
8 3
3 6
4
1 3 2 6 3 1
0
4
4
3 4
1
3
3
9
5
4 7
Estado
6 4
2
8 3
3 6
4
1 3 2 6 3 1
0
4
4
3 4
1
3
3
9
5
4 7
Problema de la Diligencia
Solucin 3:
PROGRAMACIN
DINMICA
n
n
Etapa, subproblema que
estamos resolviendo
(S ,X )
0 n
n
(n=1,2,3,4) . (S ,X)
1 n
n
Variable de decisin,
estado inmediato en la X
n
etapa n
s Estado Funcin Recursiva:
S *(S) X4
*
4
8 3 10
9 4 10
ETAPA 3 ; n = 3
2 7 + 4 = 11 4 + 7 = 11 6 + 6 = 12 11 56
3 4 + 6 = 10
4
El problema de la diligencia es
ETAPA 1 ; n = 1 un diseo conceptual, para dar
(S,X1 ) = C1X 1+ *(X1 ) una interpretacin fsica literal
X1 1 2
*(S) de los problemas de PD.
S 2 3 4 1 X1*
1 2 + 11 = 13 4 + 7 = 11 3 + 8 = 11 11 34
1 3 5 8 1
0
I
den
ti
fi
que
mo
s
l
aso
luc
i
n 1 4 5 8 1
0
o
pti
ma.
1 4 6 9 1
0
Caractersticas de PD
Caracterstica fundamental: Procesos
multietapa de toma de decisiones.
Propiedades:
Slo un nmero reducido de variables se debe
conocer en cualquier etapa con el fin de describir
al problema.
El resultado de una decisin en cualquier etapa
altera los valores numricos de un nmero
reducido de variables relevantes al problema.
Elementos bsicos de PD
El problema puede dividirse en etapas, con una
decisin de la poltica requerida en cada etapa.
Cada etapa tiene un cierto nmero de estados
asociados a ella. En general los estados son de diversas
condiciones posibles, en las que el sistema podra estar
en esa etapa del problema. Puede ser finito o infinito.
El valor asociado al estado no pude depender de
decisiones de la misma etapa no de futuras decisiones.
El estado representa una foto del sistema. Una
evaluacin en un instante de tiempo.
Elementos bsicos de PD
La decisin debe corresponder a la poltica del estado
vigente y no del futuro.
El efecto de la decisin de una poltica en cada etapa es:
transformar el estado actual en un estado asociado con la
etapa siguiente . El estado resultante podra ser probable
distribucin.
Dado el estado actual, una poltica optima para las etapas
restantes es independiente de la poltica adoptada en las
etapas previas. (n-1, n, n+1)
El procedimiento de resolucin empieza por hallar la
poltica optima para cada estado de la ltima etapa
Elementos bsicos de PD
Se dispone de una relacin recursiva que identifica la poltica ptima para cada
estado en la etapa n, dada la poltica ptima para cada estado en la etapa (n+1).
Usando esta relacin recursiva, el procedimiento de resolucin se mueve hacia atrs,
etapa por etapa - hallando en cada ocasin la poltica ptima para cada estado de esa
etapa - hasta que se encuentra la poltica ptima cuando se parte de la etapa inicial.
Resultado de la *
(S)=M
i
nC +*
(X )
poltica ptima en S
Xn n
* la etapa siguiente n X
n n
+1
(S)=
M n
xM
i (S
,Xn) (n+1)
n n
X
n
f n ( s , xn )
s x1 x2 x3 .. fn*(s) xn*
Estado posible de la
etapa Actual (n)
Programacin Dinmica Determinstica
Ejercicio 1: distribucin de fresas
Tienda
Un propietario de una cadena de tres supermercados N de
compr cinco cargas de fresas frescas. La distribucin cargas 1 2 3
de probabilidad estimada para las ventas potenciales
de las fresas antes de que se echen a perder difiere 0 0 0 0
entre los tres supermercados.
1 5 6 4
El propietario quiere saber cmo debe asignar las
cinco cargas a las tiendas para maximizar la ganancia 2 9 11 9
esperada. 3 14 15 13
Por razones administrativas, no quiere dividir las
cargas entre las tiendas. Sin embargo, est de 4 17 19 18
acuerdo en asignar cero cargas a cualquiera de ellas. 5 21 22 20
La siguiente tabla proporciona la ganancia estimada
en cada tienda al asignar distintas cantidades de
cargas:
Programacin Dinmica Determinstica
Ejercicio 1:
Tienda
N de
cargas 1 2 3
0 0 0 0
1 5 6 4
2 9 11 9
3 14 15 13
4 17 19 18
5 21 22 20
Programacin Dinmica Determinstica
Ejercicio 1:
Funcin recursiva:
*
*
Programacin Dinmica Determinstica
Ejercicio 1:
Etapa 3, n=3, s4=0
s3 * x3
0 0 0
1 4 1
2 9 2
3 13 3
4 18 4
5 20 5
Programacin Dinmica Determinstica
Ejercicio 1:
Etapa 2, n=2
s1/x1 0 1 2 3 4 5 f1*(s1) x* 1
5 0+24=24 5+20=25 9+15=24 14+11=25 17+6=23 21+0=21 25 13
xn 1 2 2
xn 3 2 0
Programacin Dinmica Deterministica
Ejercicio 2: Inventario revisin peridica
Una compaa sabe que la demanda durante cada uno de los prximos cuatro
meses es como se indica: mes 1, 1 unidad; mes 2, 3 unidades; mes 3, 2 unidades;
mes 4, 4 unidades.
Durante un mes en el cual se producen algunas unidades, se incurre en un costo
preliminar de 3US$. Adems, hay un costo variable de 1 dlar por cada unidad que
se fabrica. Al final de cada mes, se genera un costo de almacenamiento de 50
centavos por cada unidad disponible.
Las limitaciones en la capacidad permiten producir durante cada mes un mximo
de 5 unidades. Las dimensiones de la bodega de la compaa restringen el
inventario final de cada mes a 4 unidades, cuando mucho. Suponga que se dispone
de 0 unidades al principio del primer mes.
La empresa desea determinar un plan de produccin que cumpla con toda la
demanda a tiempo y minimice la suma del costo de produccin y del costo de
almacenamiento durante los cuatro meses.
Programacin Dinmica Deterministica
Ejercicio 2
Etapa: meses a satisfacer, n={1,2,3,4,5}
xn: cantdad a producir en el mes n, xn{0,1,2,3,4,5}
Estado: stock inicial en el mes n
sn: stock inicial en el mes n, sn{0,1,2,3,4}
Decisin: cantidad de unidades a producir en el mes n
dn: demanda del mes n, dn={1,3,2,4}
s1=0
s5=0
sn+1=sn+xn-dn
Funcin recursiva:
*
Programacin Dinmica Deterministica
Ejercicio 2
Etapa 4, n=4, d4=4, s5=0
s5=s4+x4-d4 * *
s4+x4 = 4
s4 f4*(s4) x4
s4\ x4 0 1 2 3 4 5 0 7 4
0 7 1 6 3
1 6 2 5 2
2 5 3 4 1
3 4 4 0 0
4 0
Programacin Dinmica Deterministica
s4 f4*(s4) x4
Ejercicio 2 0 7 4
Etapa 3, n=3, d3=2 1 6 3
2 5 2
s4= s3+x3-d3
0<s4<4 3 4 1
4 0 0
* f3*(s3) x*3
s3\x3 0 1 2 3 4 5
s3=s2+x2-d2
0<s3<4
* f*2(s2) x*2
s2\x2 0 1 2 3 4 5
s2=s1+x1-d1
0<s2<4
* f*1(s1) x* 1
s1\x1 0 1 2 3 4 5
xn 1 5 0 4
dn 1 3 2 4
sn 0 2 0 0
Programacin Dinmica Determinstica
Ejercicio 3: preparando exmenes
Puntos de
Una estudiante universitaria cuenta con siete Calificacin
das para preparar los exmenes finales de Estimados
cuatro cursos y quiere asignar su tiempo de Das
estudio de la manera ms eficiente posible. Cursos
Necesita por lo menos un da para cada curso y 1 2 3 4
quiere concentrarse slo en un curso cada da
por lo que quiere asignar uno, dos, tres o cuatro 1 3 5 2 6
das a cada curso.
2 5 5 4 7
Como hace poco tom un curso de investigacin
de operaciones, decide aplicar programacin 3 6 6 7 9
dinmica para hacer estas asignaciones que 4 7 9 8 9
maximicen el total de puntos obtenidos en los
cuatro cursos. Estima que las distintas opciones
en das de estudio le significaran puntos de
calificacin segn la siguiente tabla:
Programacin Dinmica Determinstica
Ejercicio 3: preparando exmenes
Puntos de
Calificacin
Estimados
Das
Cursos
1 2 3 4
1 3 5 2 6
2 5 5 4 7
3 6 6 7 9
4 7 9 8 9
Programacin Dinmica Determinstica
Ejercicio 3:
Funcin recursiva:
*
*
Programacin Dinmica Determinstica
Ejercicio 3:
Etapa 4, n=4, s5=0
s4 * x4
1 6 1
2 7 2
3 9 3
4 9 4
Programacin Dinmica Determinstica
Ejercicio 3:
Etapa 3, n=3
s/x3 1 2 3 4 f3(s) x3
1
2 2+6=8 8 1
3 2+7=9 4+6=10 10 2
4 2+9=11 4+7=11 7+6=13 13 3
5 2+9=11 4+9=13 7+7=14 8+6=14 14 34
Programacin Dinmica Determinstica
Ejercicio 3:
Etapa 2, n=2
S/X2 1 2 3 4 f2(s) x2
1
2
3 5+8=13 13 1
4 5+10=15 5+8=13 15 1
5 5+13=18 5+10=15 6+8=14 18 1
6 5+14=19 5+13=18 6+10=16 9+8=17 19 1
Programacin Dinmica Determinstica
Ejercicio 3:
Etapa 1, n=1
S/X1 1 2 3 4 f1*(s) X1
7 3+19=22 5+18=23 6+15=21 7+13=20 23 2
xn 2 1 3 1
Programacin Dinmica Determinstica
Ejercicio 4: consejo mundial de la salud Miles de aos
El consejo mundial de la salud se dedica a mejorar el cuidado de vida
de la salud en los pases subdesarrollados del mundo. Ahora
cuenta con cinco equipos mdicos para asignar entre tres de adicional del
esos pases a fin de mejorar su cuidado mdico, su educacin hombre
sanitaria y sus programas de entrenamiento. N de
Por consiguiente el consejo necesita determinar cuntos Equipos
Pas
equipos ( si resulta conveniente) asignar a cada uno de estos Mdicos
pases para maximizar la efectividad total de los cinco 1 2 3
equipos. La medida de efectividad que se est usando es :
los aos de vida adicionales del hombre. ( Para un pas en
particular, esta medida es igual a la esperanza incrementada
de vida del pas, en aos, multiplicada por su poblacin).
0 0 0 0
Qu es lo que cambia de una etapa a la siguiente ? dado
que se han tomado las decisiones en las etapas previas. 1 45 20 50
Cmo puede describirse la condicin de la situacin en la 2 70 45 70
etapa actual ?
Qu informacin acerca del estado actual de las cosas se 3 90 75 80
necesita para determinar la poltica ptima de aqu en
adelante ?
4 105 110 100
5 120 150 130
Programacin Dinmica Determinstica
Ejercicio 4: Miles de aos
Etapa = Pas; n = 1,2,3
de vida
adicional del
Variable: Xn = Equipos mdicos asignados en la etapa o pas hombre
N de
Estado: S = Equipos mdicos aun por asignar Equipos
Pas
Mdicos
Pn ( xn ) Aos de vida adicionales del hombre en la etapa 1 2 3
(pas) n si decide asignar Xn equipos mdicos en este
pas.
3
Max Z Pi ( xi ) No es un modelo en 0 0 0 0
i n nuestra actual notacin;
i 3
1 45 20 50
s.a x
i n
i S debemos aproximarnos
2 70 45 70
xi 0; xi 3 90 75 80
4 105 110 100
5 120 150 130
Programacin Dinmica Determinstica
Ejercicio 4:
Programacin Dinmica Determinstica
Ejercicio 4: Miles de aos
Etapa = Pas; n = 1,2,3
de vida
adicional del
Variable: Xn = Equipos mdicos asignados en la etapa o pas hombre
N de
Estado: S = Equipos mdicos aun por asignar Equipos
Pas
Mdicos
Pn ( xn ) Aos de vida adicionales del hombre en la etapa 1 2 3
(pas) n si decide asignar Xn equipos mdicos en este
pas.
3
Max Z Pi ( xi ) No es un modelo en 0 0 0 0
i n nuestra actual notacin;
i 3
1 45 20 50
s.a x
i n
i S debemos aproximarnos
2 70 45 70
xi 0; xi 3 90 75 80
4 105 110 100
5 120 150 130
Programacin Dinmica Determinstica
Ejercicio 4:
Aos de vida adicionales totales,
f n ( s , xn ) : considerando la mejor poltica para
las etapas restantes y que en la
etapa n, el estado es S y la decisin
tomada fue Xn.
f n*1 ( sn xn )
3
Max Z i i
P ( x )
La relacin recursiva
i n 1
( S, Xn ) = Pn ( Xn ) + *( S - Xn )
i 3
f n ( sn , xn ) Pn ( xn ) s.a xi S n xn
i n 1
n n+1
xi 0; xi
Programacin Dinmica Determinstica
Ejercicio 4: Miles de aos
de vida
( S, Xn ) = Pn ( Xn ) + *( S - Xn ) adicional del
n n+1
N de hombre
s x3* f3*(s) Equipos
Mdicos
Pas
0 0 0 1 2 3
1 1 50
2 2 70
3 3 80 0 0 0 0
4 4 100 1 45 20 50
5 5 130 2 70 45 70
3 90 75 80
4 105 110 100
5 120 150 130
Programacin Dinmica Determinstica
Miles de aos de vida adicionales
del hombre
Ejercicio 4: N de Equipos
Mdicos 1
Pas
2 3
( S, Xn ) = Pn ( Xn ) + *( S - Xn )
0 0 0 0
1 45 20 50
n n+1 2 70 45 70
3 90 75 80
4 105 110 100
5 120 150 130
f 2 ( s, x2 ) P2 ( x2 ) f 3* ( s x2 ) *
* x
f (s) 2
2
0 1 2 3 4 5
0 0+0=0 0 0
1 0+50=50 20+0=20 50 0
2 0+70=70 20+50=70 45+0=45 70 01
3 0+80=80 20+70=90 45+50=95 75+0=75 95 2
4 0+100=100 20+80=100 45+70=115 75+50=125 110+0=110 125 3
5 0+130=130 20+100=120 45+80=125 75+70=145 110+50=160 150+0=150 160 4
Programacin Dinmica Determinstica
Miles de aos de vida adicionales
del hombre
Ejercicio 4: N de Equipos
Mdicos 1
Pas
2 3
( S, Xn ) = Pn ( Xn ) + *( S - Xn )
0 0 0 0
1 45 20 50
n n+1 2 70 45 70
3 90 75 80
4 105 110 100
5 120 150 130
x1 f1 ( s, x1 ) P1 ( x1 ) f 2* ( s x1 )
s f1*(s) x1*
0 1 2 3 4 5
Min Z 3i n 1 Pi ( xi ) f n*1 ( s xn )
3
f n ( s, xn ) Pn ( xn ) * s.a. xi s xn
i n 1
xi 0;
f n ( s, xn ) Pn ( xn ) * f n*1 ( s xn ) f 4* (0) 1
Programacin Dinmica Determinstica
Ejercicio 5: Volar con seguridad a Marte N de Probabilidad de Falla
Cientficos Equipo de Investigacin
s f3*(s) x3* Nuevos 1 2 3
0 0.8 0
1 0.5 1
0 0,40 0,60 0,80
2 0.3 2
1 0,20 0,40 0,50
2 0,15 0,20 0,30
x2 f 2 ( s, x2 ) P2 ( x2 ) * f 3* ( s x2 )
*
s 0 1 2
*
2
x
f (s) 2
0 0.6*0.8=0.48 0.48 0
1 0.6*0.5=0.3 0.4*0.8=0.32 0.3 0
2 0.6*0.3=0.18 0.4*0.5=0.2 0.2*0.8=0.16 0.16 2
Programacin Dinmica Determinstica
Ejercicio 5: Volar con seguridad a Marte
N de Probabilidad de Falla
Cientficos Equipo de Investigacin
Nuevos 1 2 3
Condiciones :
S1 = P
H1 = M
fK+1 = 0
Hn+1 > 0
Sn+1 > 0
2.-
C1 US 200, C2 US 300, C3 US 100, K 3, M 5
n3
*
(S3;H3) 0 1 2 3 4 5 f3* X3*
(0-99; 0-5) 0 - - - - - 0 0
(100-1200; 0)
(100-199; 1-5) 0 1 - - - - 1 1
(200-1200; 1)
(200-299; 2-5) 0 1 3 - - - 3 2
(300-1200; 2)
(300-399; 3-5) 0 1 3 3 - - 3 23
(400-1200; 3)
(400-499; 4-5) 0 1 3 3 2 - 3 23
(500-1200; 4)
(500-1200; 5) 0 1 3 3 2 1 3 23
Observamos que
0 Si S3 < 100 o H3 = 0
3 De otra manera
n 2
*
S2 H2 0 1 2 3 4 5 f 2* X 2*
200 0 0 - - - - - 0 0
La familia queda con presupuesto final: 0*US 200 + 3*US 300 + 2*US 100 = US1.100
Programacin Dinmica Probabilstica
Estado y Resultado Indeterminado
P1
Decisin
Estado: Sn Xn P2 C2 2
CN
N
*(1)
n+1
Programacin Dinmica Probabilstica
Estado Indeterminado
Ejercicio 1: Produccin artculo particular
La Ca. Industrial Hir - And - Miss ha recibido un pedido para surtir un
articulo de tipo particular. Sin embargo el cliente ha especificado
requerimientos de calidad tan rigurosos que es posible que el fabricante
tenga que producir ms de un articulo para obtener uno aceptable.
El fabricante estima que cada articulo de este tipo que produce ser
aceptable con probabilidad de y ser defectuoso (sin probabilidad de
reparacin), con probabilidad de .
K ( xn ) xn f n 1 (1)
2
Donde f 4* (1) es igual a 16, el costo terminal por no haber obtenido artculos aceptables
De esta manera, la relacin recursiva para los clculos de programacin dinmica es
1
xn
f n (1) mn K ( xn ) xn f n 1 (1)
* *
xn 0,1,...
2
para n 1, 2,3.
Para n=3
Para n=2
Para n=1
f n ( X n , S n Probabilidad
) de terminar las tres jugadas con
cinco fichas o ms.
1 * 2 *
fn ( X n , S n ) f n 1 ( S n X n ) f n 1 ( S n X n )
3 3
Procedimiento de solucin:
n=3
S3 f 3
*
X 3*
2/3
2/3
X 2 f2
S2 f 2* X *
2
4/9 4/9 4/9
2/3 4/9 2/3 2/3 2/3
2/3 8/9 2/3 2/3 2/3 8/9
n=1
X1 f1
S1 f 1* X 1*
2/3 20 / 27 2 / 3 2/3 20 / 27
Resultado del problema:
si gana , X 3 0
*
si gana, X 2 1
*
si pierde, X 3 2 o 3
*
X 1* 1
2 o 3 ( para X 2 1)
*
si gana, X 3
*
si pierde, X *
2 1 o 2 1, 2,3 o 4 ( para X 2 2)
*
si pierde, la apuesta esta perdida
Esta poltica ptima da al joven una probabilidad de 20/27
de ganar la apuesta a sus colegas.
Programacin Dinmica Probabilstica
Costos inciertos, estado conocido etapa siguiente
Ejercicio 3: Safeco
La cadena de supermercados Safeco compra a Demanda diaria
una lechera local, a un precio de 1 dlar/galn,
6 galones de leche. Tiendas Galones Probabilidad
Cada galn se vende en las tres tiendas de la 1 0,60
cadena a 2 dlares/galn. La lechera recoge de Tienda 2 0
los supermercados la leche sobrante a 50 de 1
dlar/galn al trmino del da. 3 0,40
$4.2
Procedimiento de solucin
Etapa 3: S3 X*3 f*3
0 0 0
1 1 2
2 2 3.4
>=3 3 4.35
Por lo tanto, tenemos 2 combinaciones optimas con las cuales podemos maximizar
nuestras ganancias, las cuales se resumen a continuacin,
Caso 2 2 2 2
Programacin Dinmica Probabilstica
Tres posibles salidas del evento aleatorio
Ejercicio 4: Safeco
Una empresa tiene $2 millones para invertir en los prximos tres aos. La
empresa est analizando una inversin que se descompone en tres etapas, una
etapa por cada ao. Se puede lograr uno de los tres resultados siguientes en
cada etapa:
A) Doblar el monto invertido
B) Recuperar el monto invertido
C) Perder el monto invertido
La probabilidad del resultado A es de 30%; del B es de 30%; del C es de 40%. En
cada etapa se puede invertir un nmero entero de milln de dlares, es decir $0,
$1 milln, $2 millones, etc. Al comienzo del primer ao se permite invertir hasta
$2 millones. Luego, en las siguientes etapas, se puede invertir lo que quede de
los $2 millones ms cualquier dinero adicional que se haya ganado en las etapas
anteriores. Utilice programacin dinmica para determinar la poltica que
maximice la probabilidad de tener al menos $4 millones al fin del tercer ao.
Siguiendo la poltica ptima, Cul es la probabilidad de lograr el objetivo de $ 4
millones?
Procedimiento de solucin
Mes 3: S3 X*3 f*3
0-1 - 0
2 2 0,3
3 2o3 0,3
>=4 - 1
Mes 2:
S2\x2 0 1 2 3 x*2 f*2
0 - - - - 0 0
1 - (0,3)(0,3) - - 1 0,09
2 - (0,3)(0,3)+(0,3)(0,3) (0,3)+(0,3)(0,3) - 2 0,39
3 0,3 (0,3)+(0,3)(0,3)+(0,4)(0,3) (0,3)+(0,3)(0,3) (0,3)+(0,3)(0,3) 1 0,51
>=4 1 - - - - 1
Procedimiento de solucin
Mes 1:
S1\x1 0 1 2 x*1 f*1
2 0,39 (0,3)(0,51)+(0,3)(0,39)+(0,4)(0,09) (0,3)+(0,3)(0,39) 2 0,417
Poltica:
Ganado Ganado
X1 = 2 X2 = 2 X3 = 2
Perdido Perdido