Notas David Gonzalez Matemáticas II

MATEMA´TICAS II Notas del curso David Gonza´lez–Sa´nchez Maestrı´a en Economı´a Primavera 2011 CIDE 1 I´ndice 1. Introduccio´n a las ecuaciones diferenciales ordinarias 6 1.1. Un teorema de existencia y unicidad . . . . . . . . . . . . . . . . . . . 7 1.2. Ecuaciones diferenciales lineales con coeficientes constantes . . . . . 12 1.3. Ecuaciones diferenciales no lineales . . . . . . . . . . . . . . . . . . . 18 1.4. Sistemas de ecuaciones diferenciales ordinarias . . . . . . . . . . . . 22 1.5. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 2. Optimizacio´n dina´mica en tiempo discreto 26 2.1. Planteamiento de problemas dina´micos en tiempo discreto . . . . . . 26 2.2. El me´todo de los multiplicadores de Lagrange . . . . . . . . . . . . . 27 2.3. Programacio´n dina´mica. El Principio de optimalidad y la ecuacio´n de Bellman . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 2.4. Problemas con horizonte infinito . . . . . . . . . . . . . . . . . . . . . 32 2.5. El modelo de Brock y Mirman . . . . . . . . . . . . . . . . . . . . . . 38 2.6. Ecuaciones de Euler . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 2.7. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 3. Optimizacio´n dina´mica en tiempo continuo 53 3.1. Formulacio´n del PCO en tiempo continuo . . . . . . . . . . . . . . . . 53 3.2. La ecuacio´n de Hamilton–Jacobi–Bellman . . . . . . . . . . . . . . . . 54 3.3. Principio del ma´ximo de Pontryagin . . . . . . . . . . . . . . . . . . . 57 3.4. Ca´lculo de variaciones. Ecuacio´n de Euler . . . . . . . . . . . . . . . . 60 3.5. Algunas extensiones del PMP . . . . . . . . . . . . . . . . . . . . . . . 64 3.6. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 4. Ape´ndice: Espacios me´tricos y correspondencias 77 4.1. Espacios me´tricos completos . . . . . . . . . . . . . . . . . . . . . . . 77 4.2. Correspondencias . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 4.3. Ejercicios . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 Referencias 81 2 Notacio´n – El producto cartesiano de dos conjuntos se denota por A× B = {(a, b) | a ∈ A, b ∈ B} . En general, si A1, A2, . . . , An son conjuntos no vacı´os A1 × A2 × . . .× An = n ∏ i=1 Ai = {(a1, a2, . . . , an) | ai ∈ Ai, i = 1, 2, . . . , n} , cuando A1 = A2 = . . . = An = A se usa la notacio´n An = {(a1, a2, . . . , an) | ai ∈ A, i = 1, 2, . . . , n} . – El complemento de B con respecto a A es el conjunto A \ B = {x ∈ A | x /∈ B} , se lee “A menos B” y tambie´n se usa la notacio´n A − B. Si el conjunto A se sobrentiende, so´lo se hace referencia al complemento de B y en lugar de A \ B se escribe Bc. En este caso al conjunto A se le llama conjunto universo o universal.1 – R denota a los Nu´meros Reales. – Rn+ := {x = (x1, . . . , xn) | xi ≥ 0, para i = 1, . . . , n}. – Rn++ := {x = (x1, . . . , xn) | xi > 0, para i = 1, . . . , n}. – N = {1, 2, 3, . . .} es el conjunto de Nu´meros Naturales. – Si A es una matriz, entonces A′ denota la transpuesta de A. – Los vectores son escritos como matrices columna: x = (x1, . . . , xn)′. – Si x, y son vectores, x ≤ y significa que xi ≤ yi para todo i. – El producto escalar de vectores x, y es denotado por 〈x, y〉, por x · y o´ x′y. 1Por ejemplo, si se esta´ trabajando con los nu´meros reales, a los elementos del conjunto Qc se les conoce como nu´meros irracionales. 3 – Dado un vector x = (x1, . . . , xn)′ y un nu´mero real p ≥ 1, se denota la norma p del vector x (ve´ase la Definicio´n 4.7 y el Ejercicio 4.5) mediante ‖x‖p = ( n ∑ i=1 |xi|p )1/p . La norma euclidiana (cuando p = 2) se denota, simplemente, por ‖x‖. – Dada una funcio´n f : Rn → R y un vector x = (x1, . . . , xn)′, las derivadas parciales son denotadas por: Dxi f = Di f = ∂ f /∂xi. Dx f = D f (vector fila) denota al gradiente de f , y H f a la matriz de segundas derivadas parciales (la matriz Hessiana), es decir, D f = (D1 f , . . . , Dn f ), H f = ( fij). Si f : Rn → Rk es una funcio´n vectorial, D f = (∂ fi/∂xj) denota a la matriz Jacobiana. – Si x : R→ Rn posee derivadas de orden 1, 2, . . . , k, e´stas se denotan mediante x˙ (t) = [ dx1 dt (t), . . . , dxn dt (t) ]′ x¨ (t) = [ d2x1 dt2 (t), . . . , d2xn dt2 (t) ]′ x(k)(t) = [ dkx1 dtk (t), . . . , dkxn dtk (t) ]′ , k ≥ 3. – Si ϕ : R→ Rn es una funcio´n cuyas componentes son (Riemann) integrables, se define ∫ t t0 ϕ(s) ds = [∫ t t0 ϕ1(s) ds, . . . , ∫ t t0 ϕn(s) ds ]′ . Sı´mbolos y abreviaturas 4 E operador de esperanza P medida de probabilidad := igualdad por definicio´n ∀ para todo � fin de una demostracio´n ♦ fin de un ejemplo u observacio´n ED ecuacio´n diferencial EDs ecuaciones diferenciales EDH ecuacio´n diferencial homoge´nea GAE globalmente asinto´ticamente estable HJB Hamilton–Jacobi–Bellman i.i.d. (variables aleatorias) independientes e ide´nticamente distribuidas l.i. (vectores) linealmente independientes PCO problema de control o´ptimo PCOs problemas de control o´ptimo PD programacio´n dina´mica PMP Principio del ma´ximo de Pontryagin VA variable aleatoria VAs variables aleatorias 5 1. Introduccio´n a las ecuaciones diferenciales ordina- rias Una ecuacio´n cuya inco´gnita es una funcio´n se conoce como ecuacio´n funcional. Por ejemplo, en la ecuacio´n de Bellman V(k) = ma´x 0≤c≤kα {ln(c) + βV(kα − c)}, (1.1) donde α, β ∈ (0, 1), se tiene que encontrar una funcio´n V que cumpla (1.1). Es inmediato probar que la funcio´n V(k) = α 1− αβ ln(k) + 1 1− β [ ln(1− αβ) + αβ 1− αβ ln(αβ) ] , (1.2) satisface la ecuacio´n funcional (1.1), ve´ase el Ejercicio 1.1. La ecuacio´n de Bellman sera´ estudiada en la Seccio´n 2.4. Una ecuacio´n funcional que involucra a las derivadas de la inco´gnita se llama ecuacio´n diferencial (ED). Se puede hacer una primera clasificacio´n para las EDs de acuerdo con el nu´mero de variables de la inco´gnita. En una ecuacio´n diferencial parcial, o ecuacio´n en derivadas parciales, la inco´gnita es una funcio´n de varias variables. En una ecuacio´n diferencial ordinaria se busca una funcio´n de una so´la variable. La siguiente ED, conocida como ecuacio´n de Hamilton–Jacobi–Bellman (HJB), 0 = ma´x u {g(x, u) + DτV(τ, x) + DxV(τ, x) f (x, u)} es un ejemplo de una ecuacio´n en derivadas parciales. En esta ecuacio´n las fun- ciones f y g son conocidas, mientras que la inco´gnita es una funcio´n V que de- pende de dos variables. La ecuacio´n de HJB esta´ asociada a cierto problema de optimizacio´n dina´mica, ve´ase la Seccio´n 3.2. En este curso se estudian ecuaciones diferenciales ordinarias. La u´nica ecuacio´n en derivadas parciales de la que se hablara´ es la de HJB. Si y : I → Rn (la inco´gnita) es una funcio´n derivable, donde I es un intervalo de nu´meros reales, la forma general de una ecuacio´n diferencial ordinaria es G(t, y(t), y˙(t), . . . , y(k)(t)) = 0. En la mayoria de las aplicaciones, la ecuacio´n anterior se puede reescribir en su forma normal y(k)(t) = G˜(t, y(t), y˙(t), . . . , y(k−1)(t)) (1.3) Al nu´mero k se le conoce como orden de la ED, es decir, k es la derivada “ma´s alta” que aparece en la ecuacio´n. 6 En la Seccio´n 1.1 se demuestra un teorema de existencia y unicidad (Teorema 1.5). Este teorema es cierto para EDs de la forma x˙(t) = F(t, x(t)), (1.4) donde x : I → Rn, I ⊆ R es un intervalo, y F : I ×Rn → Rn es una funcio´n dada. Para simplificar la notacio´n, la ecuacio´n (1.4) tambie´n se escribe como x˙ = F(t, x). Observacio´n 1.1. Cuando n > 1 se dice que (1.4) es un sistema de ecuaciones diferenciales. Por la naturaleza vectorial de la fucio´n F, cualquier ED de la forma (1.3) se puede expresar en la forma (1.4). Es decir, una ED de orden k es equivalente a un sistema de EDs de orden 1. Ve´ase el Ejercicio 1.2. ♦ En las Secciones 1.2 y 1.3 se estudian EDs de la forma (1.3). En particualr, en la Seccio´n 1.2 se trabaja con EDs que tienen cierta “estructura lineal”, para este tipo de ecuaciones se pueden encontrar soluciones explı´citas. En contraste, cuando tal estructura lineal no se tiene, existen me´todos de solucio´n para algunas EDs. En la Seccio´n 1.3 se resuelven algunas las EDs no lineales ma´s comunes. En la Seccio´n 1.4 se estudian sistemas de ecuaciones diferenciales, es decir, EDs de la forma (1.4). Los temas abordados en este capı´tulo pueden consultarse, por ejemplo, en Brock y Malliaris [3], Coddington [6], Hartman [11], Lomelı´ y Rumbos [14], Sa´nchez [17], Simonovits [20] y Sydsæter et al. [23]. 1.1. Un teorema de existencia y unicidad Ejemplo 1.2 (Una ED sin solucio´n). Conside´rese la ecuacio´n diferencial (1.4) con F(t, x) = h(t), donde h es la funcio´n de Dirichlet h(t) = { 1 si t ∈ Q 0 si t ∈ Qc. Esta ED no tiene solucio´n. En efecto, si existe una solucio´n x, por el Teorema fundamental del ca´lculo x(t)− x(t0) = ∫ t t0 h(s) ds, sin embargo, la funcio´n de Dirichlet no es Riemann integrable. ♦ Ejemplo 1.3 (Condiciones iniciales). Conside´rese la ED x˙(t) = [ x2(t) + 1 x1(t) + 1 ] . (1.5) En el Ejercicio 1.3 se pide probar que la funcio´n x(t) = [x1(t), x2(t)]′, donde x1(t) = c1et + c2e−t − 1, (1.6) x2(t) = c1et − c2e−t − 1, (1.7) 7 es solucio´n de la ED (1.5) para cualesquiera c1, c2 ∈ R. Es decir, la ED (1.5) tiene una infinidad de soluciones. Sin embargo, cuando se impone una condicio´n inicial, por ejemplo x(0) = [4, 8]′, entonces la solucio´n es u´nica. ♦ A partir del Ejemplo 1.2 se puede conjeturar que la funcio´n F debe ser continua para que exista una solucio´n. Esta conjetura es cierta, ve´ase el Teorema 1.4, abajo. Sin embargo, esta hipo´tesis no garantiza la unicidad de la solucio´n, como se vera´ en el siguiente ejemplo, au´n cuando se impone una condicio´n inicial. Ejemplo 1.4 (Mu´ltiples soluciones). Las funciones g(t) = t3, h(t) ≡ 0 son soluciones de la ED x˙(t) = 3x2/3(t), x(0) = 0. (1.8) El dominio de las funciones g y h es todo el conjunto de nu´meros reales. Es im- portante observar que la funcio´n F(t, x) = x2/3 es continua en R. ♦ Teorema 1.5 (Existencia y unicidad). Sean I ⊆ R un intervalo y B ⊆ Rn un conjunto convexo, ambos abiertos y no vacı´os. Sea la ecuacio´n diferencial x˙(t) = F(t, x(t)), x(t0) = x0, (1.9) donde x : I → Rn es la inco´gnita, F : I× B→ Rn es una funcio´n dada y (t0, x0) ∈ I× B. Supo´ngase que F es de clase C1 en I × B. Entonces la ecuacio´n diferencial (1.9) tiene una u´nica solucio´n (local) definida en algu´n intervalo que contiene a t0. Demostracio´n. Sean a, b nu´meros positivos tales que el conjunto compacto Γ := {(t, x) ∈ Rn+1 | |t− t0| ≤ a, ‖x− x0‖1 ≤ b} esta´ contenido en I × B. Puesto que F es de clase C1 en I × B, y por lo tanto en Γ, entonces existen M, K ∈ R tales que ‖F(t, x)‖1 ≤ M ∀(t, x) ∈ Γ, (1.10) y para cada i = 1, . . . , n ‖DxFi(t, x)‖1 ≤ K ∀(t, x) ∈ Γ. (1.11) Sean (t, x), (t, y) dos elementos del conjunto Γ. Por el Teorema del valor medio (ve´ase Sundaram [22, Teorema 1.74, p. 63]), para cada i = 1, . . . , n, existe 0 < λi < 1 tal que Fi(t, x)− Fi(t, y) = 〈DxF(t,λix + (1− λi)y), x− y〉 . (1.12) 8 Entonces ‖F(t, x)− F(t, y)‖1 = n ∑ i=1 |Fi(t, x)− Fi(t, y)| = n ∑ i=1 | 〈DxFi(t,λix + (1− λi)y), x− y〉 | [por (1.12)] ≤ n ∑ i=1 ‖DxFi(t,λix + (1− λi)y)‖2 · ‖x− y‖2 ≤ n ∑ i=1 ‖DxFi(t,λix + (1− λi)y)‖1 · ‖x− y‖1 ≤ n ∑ i=1 K‖x− y‖1 [por (1.11)] = nK‖x− y‖1. (1.13) Esco´jase r > 0 tal que r ≤ a (1.14a) rM ≤ b (1.14b) rnK < 1 , (1.14c) y defı´nase el siguiente subconjunto de Γ Γr := {(t, x) ∈ Γ | |t− t0| ≤ r, ‖x− x0‖1 ≤ b}. Sea Gr el conjunto de todas las funciones continuas en el intervalo [t0 − r, t0 + r] y cuyas gra´ficas esta´n contenidas en Γr, es decir, Gr := {ψ : [t0 − r, t0 + r]→ Rn | ψ es continua, ‖ψ(t)− x0‖1 ≤ b ∀t}. El conjunto Gr con la me´trica d(φ,ψ) := sup{‖φ(t)− ψ(t)‖1 | t ∈ [t0 − r, t0 + r]} (1.15) forman un espacio me´trico completo (ve´ase la Seccio´n 4.1 y el Ejercicio 4.4). Defı´nase la transformacio´n T : Gr → Gr, mediante T[ψ](t) := x0 + ∫ t t0 F(s,ψ(s)) ds. (1.16) Es importante verificar que T[ψ] ∈ Gr. Claramente T[ψ] es continua (ma´s au´n, es 9 diferenciable) y ‖T[ψ](t)− x0‖1 = ∥∥∥∥∫ tt0 F(s,ψ(s)) ds ∥∥∥∥ 1 ≤ ∣∣∣∣∫ tt0 ‖F(s,ψ(s))‖1 ds ∣∣∣∣ [Ejercicio 1.7] ≤ M|t− t0| [por (1.10)] ≤ Mr ≤ b [por (1.14b)]. La transformacio´n T es una contraccio´n. En efecto, obse´rvese que ‖T[φ](t)− T[ψ](t)‖1 = ∥∥∥∥∫ tt0 [F(s, φ(s))− F(s,ψ(s))] ds ∥∥∥∥ 1 ≤ ∣∣∣∣∫ tt0 ‖F(s, φ(s))− F(s,ψ(s))‖1 ds ∣∣∣∣ [Ejercicio 1.7] ≤ ∣∣∣∣∫ tt0 nK‖φ(s)− ψ(s)‖1 ds ∣∣∣∣ [por (1.13)] ≤ nKr · sup{‖φ(s)− ψ(s)‖1 | s ∈ [t0 − r, t0 + r]} = nKr · d(φ,ψ). (1.17) Luego d(T[φ]− T[ψ]) = sup{‖T[φ](t)− T[ψ](t)‖1 | t ∈ [t0 − r, t0 + r]} ≤ rnK · d(φ,ψ) [por (1.17)]. Por la condicio´n (1.14c), 0 < rnK < 1, T es una contraccio´n. Por el Teorema de Banach (Teorema 4.6), existe una u´nica funcio´n ϕ ∈ Gr tal que ϕ = T[ϕ], es decir, ϕ(t) = x0 + ∫ t t0 F(s, ϕ(s)) ds. (1.18) Derivando con respecto a t, ambos lados de (1.18), y usando el Teorema funda- mental del ca´lculo ϕ˙(t) = F(t, ϕ(t)), adema´s, ϕ(t0) = x0. Esto demuestra que ϕ es la u´nica solucio´n de la ED (1.9) definida en el intervalo [t0 − r, t0 + r]. En la demostracio´n anterior se ha usado un argumento de punto fijo, es decir, la solucio´n encontrada es un unto fijo del operador (1.16). Una prueba distinta puede consultarse en Brock y Malliaris [3, Lema 3.1, pp. 8–10]. 10 Observacio´n 1.6. De la demostracio´n del Teorema 1.5 debe notarse lo siguiente. (a) Una funcio´n ψ es solucio´n de (1.9) si y so´lo si ψ es el u´nico punto fijo del operador T (dado por (1.16)). (b) La demostracio´n del Teorema de Banach (Teorema 4.6) es constructiva, es decir, se demuestra que el punto fijo buscado es el lı´mite de la sucesio´n (4.4). Por lo tanto, la solucio´n ψ puede encontrarse usando el me´todo de aproximaciones sucesivas o me´todo de Picard (ve´ase la nota histo´rica en Hartman [11, p. 23]). Este me´todo consiste en construir la sucesio´n de funciones ψ0(t) ≡ x0, ψk(t) = x0 + ∫ t t0 F(s,ψk−1(s)) ds, k ≥ 1, esta sucesio´n converge a ψ con la me´trica (1.15). La convergencia es uniforme (no so´lo puntual) en el intervalo [t0 − r, t0 + r]. ♦ Ejemplo 1.7. Conside´rese la ecuacio´n diferencial x˙ = tx, x(0) = 1. (1.19) A continuacio´n se encuantran las aproximaciones sucesivas de la Observacio´n 1.6(b). La primera aproximacio´n esta´ dada por la condicio´n inicial ψ0(t) ≡ 1. Para n = 1 se tiene ψ1(t) = 1+ ∫ t 0 sψ0(s) ds = 1+ ∫ t 0 s ds = 1+ t2 2 . Si n = 2, entonces ψ2(t) = 1+ ∫ t 0 sψ1(s) ds = 1+ ∫ t 0 s ( 1+ s2 2 ) ds = 1+ t2 2 + t4 2 · 4. Continuando con este proceso se puede conjeturar que ψk(t) = 1+ ( t2 2 ) + 1 2! ( t2 2 )2 + . . . + 1 k! ( t2 2 )k . 11 Recordando la expansio´n en serie de Taylor de la funcio´n exponencial se observa que lı´m k→∞ ψk(t) = et 2/2. La funcio´n ψ(t) := et 2/2 es un punto fijo de la transformacio´n (1.16) T[ψ](t) = 1+ ∫ t 0 sψ(s) ds = 1+ ∫ t 0 ses 2/2 ds = 1+ (et 2/2 − 1) = ψ(t). Por lo tanto ψ(t) = et 2/2 satisface la ED (1.19). ♦ En el Teorema 1.5 se afirma que la solucio´n de la ED (1.9) existe de manera local, es decir, so´lo se afirma que esta´ definida en algu´n intervalo que coniene a t0. Sin embargo, cuando F es lineal se puede saber cua´l es el intervalo ma´ximo de existencia. Adema´s, bajo esta estructura lineal, se requieren hipo´tesis menos restrictivas para garantizar la existencia y la unicidad de la solucio´n. Lo anterior se establece de forma precisa en el siguiente teorema, su demostracio´n es similar a la del Teorema 1.5 y puede consultarse en Sa´nchez [17, pp. 135–136]. Teorema 1.8. Sea I ⊆ R un intervalo abierto y no vacı´o. Sea la ecuacio´n diferencial lineal x˙(t) = A(t)x(t) + B(t), x(t0) = x0 (1.20) donde x : I → Rn es la inco´gnita, A : I → Rn×n, B : I → Rn y (t0, x0) ∈ I ×Rn. Supo´ngase que A, B son continuas en I. Entonces la ecuacio´n diferencial (1.20) tiene una u´nica solucio´n definida en el intervalo I. 1.2. Ecuaciones diferenciales lineales con coeficientes constantes En esta seccio´n se trabaja con ecuaciones diferenciales lineales, es decir, ecua- ciones de la forma y(k) + ak−1(t)y(k−1) + . . . + a1(t)y˙ + a0(t)y = b(t), (1.21) donde y : I → R es la inco´gnita y las funciones b, aj : I → R (j = 1, . . . , k) esta´n dadas. Adema´s, se imponen condiciones iniciales y(t0) = y0, y˙(t0) = y1, . . . , y(k−1)(t0) = yk−1. (1.22) 12 Observacio´n 1.9. La mayorı´a de las aplicaciones en economı´a involucran EDs de orden uno o dos y las funciones aj son constantes. Por esta razo´n, el estudio se concentra en EDs del tipo y¨ + a1y˙ + a0y = b(t), y(t0) = y0, y˙(t0) = y1. (1.23) Sin embargo, con los cambios apropiados, los resultados de esta seccio´n se pueden generalizar a EDs de orden mayor que dos y con coeficientes constantes. La ED lineal de primer orden con coeficientes variables se analiza en el Ejercicio 1.14. ♦ La ED lineal homoge´nea Teorema 1.10. Las soluciones de la ecuacio´n diferencial homoge´nea (EDH) y¨ + a1y˙ + a0y = 0 (1.24) forman un espacio vectorial de dimensio´n dos. Demostracio´n. Obse´rvese que en la ED (1.24) no se han impuesto condiciones ini- ciales. Es inmediato verificar que las soluciones de la ED (1.24) forman un espacio vectorial, ve´ase el Ejercicio 1.11. Enseguida se demostrara´ que este espacio vecto- rial tiene dimensio´n dos. Mediante la sustitucio´n x1 = y, x2 = y˙, la ED (1.24) es equivalente al sistema[ x˙1 x˙2 ] = [ 0 1 −a0 −a1 ] [ x1 x2 ] , (1.25) ve´ase el Ejercicio 1.2. Sean t0 ∈ R y {e1, e2} la base cano´nica de R2. Entonces, por el Teorema 1.8, la ED (1.25) —y por lo tanto (1.24)— con la condicio´n inicial x(t0) = e1 posee una u´nica solucio´n φ1 : R → R2. Asimismo, si se impone la condicio´n inicial x(t0) = e2, existe una u´nica φ2 : R → R2 que resuelve (1.25). Estas soluciones satisfacen lo siguiente. (1) Las funciones φ1, φ2 son l.i. En efecto, si c1φ1(t) + c2φ2(t) = 0, ∀t ∈ R, entonces para t = t0 se tiene que c1e1 + c2e2 = 0, de donde c1 = c2 = 0. (2) Cualquier solucio´n de (1.25) se puede escribir como una combinacio´n lineal de φ1 y φ2. Sea ψ : R → R2 una solucio´n de (1.25) y sea x0 := ψ(t0) = [ψ1(t0),ψ2(t0)]′. Entonces la combinacio´n lineal φ(t) := ψ1(t0)φ1(t) + ψ2(t0)φ2(t) es solucio´n de (1.25), adema´s φ(t0) = x0. Por la unicidad de la solucio´n, φ(t) = ψ(t) para todo t ∈ R. 13 De (1) y (2) se tiene la conclusio´n deseada. Lema 1.11. Sea λ ∈ C. Entonces ddt eλt = λeλt. Demostracio´n. La igualdad es cierta si λ es un nu´mero real. Cuando λ = a + ib d dt eλt = d dt [eateibt] = eat d dt [cos(bt) + i sen(bt)] + eibt d dt eat = eat[−b sen(bt) + ib cos(bt)] + eibtaeat = ibeateibt + aeibteat = λeλt. Teorema 1.12. Sea λ un nu´mero complejo. La funcio´n ψ(t) = eλt es solucio´n de la ED (1.24) si y so´lo si λ es una raı´z de la ecuacio´n caracterı´stica λ2 + a1λ+ a0 = 0. Demostracio´n. Al sustituir ψ en la EDH (1.24) se tiene ψ¨+ a1ψ˙+ a0ψ = d2 dt2 eλt + a1 d dt eλt + a0eλt = λ2eλt + a1λeλt + a0eλt = eλt[λ2 + a1λ+ a0]. Entonces ψ(t) = eλt es solucio´n de (1.24) si y so´lo si λ2 + a1λ + a0 = 0, ya que eλt 6= 0 para todo λt ∈ C. Hay tres casos para los nu´meros (complejos) que satisfacen la ecuacio´n carac- terı´stica λ2 + a1λ+ a0 = 0. El ma´s sencillo es cuando hay dos raı´ces reales distintas. El segundo ocurre si las raı´ces son reales repetidas. El u´ltimo se presenta cuando las dos raı´ces son complejas, en este caso tienen que ser conjugadas ya que los coeficientes son reales. En la siguiente proposicio´n se presentan soluciones l.i. de (1.24), para cada uno de los tres casos. Proposicio´n 1.13. Sean λ1,λ2 las raı´ces de la ecuacio´n λ2 + a1λ+ a0 = 0. Los siguientes conjuntos forman una base para las soluciones de (1.24). (a) Si λ1,λ2 ∈ R son distintas, {eλ1t, eλ2t}. (b) Si λ := λ1 = λ2 ∈ R, {eλt, teλt}. 14 (c) Si a + ib := λ1 = λ2 ∈ C, {eat cos(bt), eat sen(bt)}. Demostracio´n. En cada caso hay que verificar que las funciones dadas satisfacen la ED (1.24) y adema´s que son l.i. (a) Si λ1,λ2 ∈ R son distintas, las funciones eλ1t, eλ2t son soluciones de (1.24), por el Teorema 1.12. Para ver la independencia lineal, conside´rese la combinacio´n lineal c1eλ1t + c2eλ2t = 0, ∀t ∈ R. (1.26) Entonces, al derivar con respecto a t la igualdad anterior c1λ1eλ1t + c2λ2eλ2t = 0, ∀t ∈ R. (1.27) Evaluando (1.26) y (1.27) en t = 0, se obtiene el sistema de ecuaciones c1 + c2 = 0 λ1c1 + λ2c2 = 0, de donde c1 = c2 = 0. (b) Supo´ngase que λ := λ1 = λ2 ∈ R. Por el Teorema 1.12, eλt es solucio´n de (1.24). En este caso la u´nica raı´z λ es igual a −a1/2, una simple sustitucio´n prueba que teλt tambie´n es solucio´n de (1.24). En el Ejercicio 1.12 se pide demostrar que eλt y teλt son l.i. (c) Sea a+ ib := λ1 = λ2 ∈ C. Por el Teorema 1.12, e(a+ib)t y e(a−ib)t son soluciones de (1.24) y por lo tanto cualquier combinacio´n lineal de estas funciones tambie´n es solucio´n. Obse´rvese que eat cos(bt) = 1 2 e(a+ib)t + 1 2 e(a−ib)t eat sen(bt) = 1 2i e(a+ib)t − 1 2i e(a−ib)t. Entonces eat cos(bt) y eat sen(bt) son soluciones de (1.24) y, por el Ejercicio 1.13, son l.i. La ED lineal no homoge´nea 15 En el siguiente teorema se caracterizan todas las soluciones de la ED no ho- moge´nea y¨ + a1y˙ + a0y = b(t), (1.28) e´stas esta´n relacionadas con las soluciones de la ED homoge´nea asociada y¨ + a1y˙ + a0y = 0. Teorema 1.14. La solucio´n general de la ecuacio´n (1.28) esta´ dada por y(t) = c1φ1(t) + c2φ2(t) + yp(t), (1.29) donde φ1, φ2 son soluciones l.i. de la EDH asociada e yp es cualquier solucio´n de la ED no homoge´nea (1.28). Demostracio´n. Si φ1, φ2 son soluciones l.i. de la EDH asociada y¨ + a1y˙ + a0y = 0, y yp cualquier solucio´n de la ED no homoge´nea (1.28). Es claro que la funcio´n c1φ1(t) + c2φ2(t) + yp(t) es solucio´n de la ED (1.28). Recı´procamente, si y es cualquier solucio´n de (1.28), es decir, y¨ + a1y˙ + a0y = b(t), y tambie´n yp es solucio´n y¨p + a1y˙p + a0yp = b(t), entonces (y¨− y¨p) + a1(y˙− y˙p) + a0(y− yp) = b(t)− b(t). La igualdad anterior prueba que y− yp es solucio´n de la EDH asociada y, por el Teorema 1.10, es combinacio´n lineal de φ1 y φ2. Luego y− yp = c1φ1 + c2φ2, de donde se tiene la relacio´n (1.29). En virtud del teorema anterior, para resolver la ED no homoge´nea (1.28) se tiene que buscar una solucio´n particular. Dependiendo de la forma funcional de b(t) se propone una solucio´n yp(t) de acuerdo con la siguiente tabla. Esta forma de buscar soluciones particulares se conoce como me´todo de coeficientes indeterminados. 16 Tabla 1: Algunas soluciones particulares comunes b(t) yp(t) b B bktk + . . . + b1t + b0 Bktk + . . . + B1t + B0 b1eb2t B1eb2t b1 sen(b2t) B1 sen(b2t) + B2 cos(b2t) b1 cos(b2t) B1 sen(b2t) + B2 cos(b2t) Ejemplo 1.15 (Sydsæter et al. [23]). Conside´rese la siguiente ecuacio´n diferencial y¨− 4y˙ + 4y = 2 cos(2t). Por la Proposicio´n 1.13, las funciones e2t y te2t son soluciones l.i. de EDH asociada. De acuerdo con la Tabla 1, una solucio´n particular (de la ED no homoge´nea) es de la forma yp(t) = B1 sen(2t) + B2 cos(2t). Al sustituir esta expresio´n en la ED dada se encuentra que B1 = −1/4 y B2 = 0. Finalmente, por el Teorema 1.14, la solucio´n general esta´ dada por y(t) = c1e2t + c2te2t − 14 sen(2t). Si se imponen condiciones iniciales, se pueden determinar las constantes c1 y c2. ♦ Estabilidad Se ha visto co´mo encontrar la solucio´n de la ED no homoge´nea y¨ + a1y˙ + a0y = b(t), y(t0) = y0, y˙(t0) = y1, esta solucio´n depende de las condiciones iniciales. Se dice que la ED y¨ + a1y˙ + a0y = b(t) es globalmente asinto´ticamente estable (GAE) si lı´m t→∞[c1φ1(t) + c2φ2(t)] = 0 ∀c1, c2 ∈ R, donde φ1 y φ2 son soluciones l.i. de la EDH asociada. En otras palabras, la ED es GAE si la solucio´n de la EDH asociada no depende de las condiciones iniciales cuando t→ ∞. Teorema 1.16. La ED (1.28) es GAE si y so´lo si las raı´ces, λ1,λ2, de la ecuacio´n carac- terı´stica son tales que Re(λ1) < 0 y Re(λ2) < 0. Demostracio´n. Se sigue de la Proposicio´n 1.13. 17 1.3. Ecuaciones diferenciales no lineales En esta seccio´n se estudian las te´cnicas para resolver algunas de las EDs (no lineales) de primer orden ma´s comunes. Ecuaciones con variables separables Si la funcio´n F en (1.9) es de la forma F(t, x) = f (t)g(x), se dice que (1.9) es una ecuacio´n con variables separables o ecuacio´n separable (compa´rese con el Ejercicio 1.9). Si, adema´s, f y g son integrables y la funcio´n g no se anula, entonces∫ t t0 x˙(τ) dτ g(x(τ)) = ∫ t t0 f (τ) dτ mediante un cambio de variable (ve´ase Bartle y Sherbert [1, Teorema 7.3.8, p. 279]) se obtiene ∫ x(t) x(t0) dx g(x) = ∫ t t0 f (τ) dτ. Ejemplo 1.17. Resolver la ED (1+ et)xx˙ = et con la condicio´n inicial x(0) = √ 3. Solucio´n. Esta ED es separable y puede reescribirse como∫ x(t) √ 3 x dx = ∫ t 0 eτ 1+ eτ , dτ. Luego 1 2 [x2(t)− 3] = ln(1+ et)− ln(2), de donde x(t) = √ 2 ln(1+ et) + 3− ln 4. ♦ Ecuaciones exactas Sean M, N : I × B→ R, donde I, B son intervalos abiertos y no vacı´os. Una ED de primer orden escrita en la forma M(t, x) + N(t, x)x˙ = 0 (1.30) es exacta en I × B si existe una funcio´n F : I × B→ R de clase C2 tal que ∂F ∂t (t, x) = M(t, x), ∂F ∂x (t, x) = N(t, x), ∀(t, x) ∈ I × B. (1.31) En tal caso, la ecuacio´n (1.30) es equivalente a ∂F ∂t (t, x) + ∂F ∂x (t, x)x˙ = 0. 18 Teorema 1.18. Sean φ : I → B derivable y F : I × B→ R que verifica (1.31). La funcio´n φ es solucio´n de (1.30) si y so´lo si satisface la relacio´n F(t, φ(t)) = c (1.32) donde c ∈ R es una constante. Demostracio´n. La funcio´n φ es una solucio´n de (1.30) si y so´lo si ∂F ∂t (t, φ(t)) + ∂F ∂x (t, φ(t))φ˙(t) = 0, es decir, d dt F(t, φ(t)) = 0, si y so´lo si F(t, φ(t)) = c, para alguna constante c ∈ R. El teorema anterior afirma que si la ED (1.30) es exacta, entonces su solucio´n esta´ dada (de manera implı´cita) por (1.32), la constante c se determina al imponer una condicio´n inicial. El problema consiste en (i) determinar bajo que´ condiciones (impuestas sobre las funciones M y N) la ecuacio´n (1.30) es exacta y (ii) encontrar la funcio´n F. En la demostracio´n del Teorema 1.20, abajo, se construye la funcio´n F. Lema 1.19. Sea f : I × B→ R una funcio´n de clase C1. Entonces ∂ ∂x ∫ t t0 f (τ, x) dτ = ∫ t t0 ∂ f ∂x (τ, x) dτ. Demostracio´n. Ver Rudin [16, Teorema 9.42, pp. 236–237]. Teorema 1.20. Sean M, N : I × B → R dos funciones de clase C1. La ecuacio´n (1.30) es exacta si y so´lo si ∂M ∂x (t, x) = ∂N ∂t (t, x), ∀(t, x) ∈ I × B. (1.33) Demostracio´n. Si la ED (1.30) es exacta, existe una funcio´n F de clase C2 que stisface (1.31), luego ∂M ∂x (t, x) = ∂2F ∂x∂t (t, x) = ∂2F ∂t∂x (t, x) = ∂N ∂t (t, x) para todo (t, x) ∈ I × B. 19 Ahora supo´ngase que se satisface (1.33). Defı´nase F : I × B→ R F(t, x) := ∫ t t0 M(τ, x) dτ + ∫ x x0 N(t0, s) ds, (1.34) donde (t0, x0) un punto arbitrario de I × B. Entonces ∂F ∂t (t, x) = M(t, x), ma´s au´n, ∂F ∂x (t, x) = ∂ ∂x ∫ t t0 M(τ, x) dτ + N(t0, x) = ∫ t t0 ∂M ∂x (τ, x) dτ + N(t0, x) Lema 1.19 = ∫ t t0 ∂N ∂t (τ, x) dτ + N(t0, x) por (1.33) = N(t, x). Por lo tanto la ecuacio´n (1.30) es exacta. Los resultados sobre EDs exactas se pueden resumir en la siguiente obser- vacio´n. Observacio´n 1.21. Una ED en la forma (1.30) es exacta si satisface (1.33). Si se impone la condicio´n inicial x(t0) = x0, entonces la definicio´n (1.34) de F implica que F(t0, x0) = 0. De esta manera, la solucio´n φ, que satisface la condicio´n inicial φ(t0) = x0, esta´ dada implı´citamente por F(t, φ(t)) = 0. ♦ Ejemplo 1.22. Resolver la ED x˙ = (3t2 − 2tx)/(t2 − 2x). Solucio´n. La ED puede escribirse como 2tx− 3t2 + (t2− 2x)x˙ = 0, la cual es exacta ya que ∂ ∂x (2tx− 3t2) = ∂ ∂t (t2 − 2x) = 2t. De acuerdo con (1.34) 0 = ∫ t t0 (2τx− 3τ2) dτ + ∫ x x0 (t20 − 2s) ds = t2x− t3 − (t20x− t30) + t20x− x2 − (t20x0 − x20) = t2x− t3 − x2 − (−t30 + t20x0 − x20). La solucio´n esta´ dada implı´citamente por t2x− t3 − x2 = c, donde c = −t30 + t20x0 − x20. ♦ 20 Observacio´n 1.23. Otra forma de resolver una ED exacta se ilustra a continuacio´n. Puesto que se esta´ buscando una funcio´n F tal que ∂F/∂t = M, entonces F(t, x) = ∫ M(t, x) dt + g(x) adema´s ∂F/∂x = N, luego ∂ ∂x ∫ M(t, x) dt + dg dx (x) = N(t, x) de donde se puede encontrar a la funcio´n g. ♦ La ED del Ejemplo 1.22 puede resolverse usando la Observacio´n 1.23. En efecto, F(t, x) = ∫ (2tx− 3t2) dt + g(x) = t2x− t3 + g(x) luego t2 + dg dx (x) = t2 − 2x de donde g(x) = ∫ (t2 − 2x− t2)dx = −x2. De este modo se tiene que F(t, x) = t2x− t3− x2, puesto que no hay una condicio´n inicial la solucio´n depende de una constante c, es decir, t2x− t3 − x2 = c. La ecuacio´n de Bernoulli Una ecuacio´n de Bernoulli es una ED de la forma x˙ + a(t)x = b(t)xr, r ∈ R. Cuando r = 0 se tiene una ED lineal de primer orden, ve´ase Ejercicio 1.14. Si r = 1, entonces la ED es separable. En otro caso, la sustitucio´n y = x1−r convierte la ED de Bernoulli en y˙ + (1− r)a(t)y = (1− r)b(t), la cual puede resolverse usando el Ejercicio 1.14. La ecuacio´n de Riccati 21 Sean p, q, r funciones continuas en algu´n intervalo de nu´meros reales. Una ED escrita en la forma x˙ = p(t) + q(t)x + r(t)x2, k ∈ R. se conoce como ecuacio´n de Riccati. En general, este tipo de EDs no se pueden resolver explı´citamente. Sin embargo, cuando se conoce una solucio´n particular φ, se puede usar el cambio de variable x = φ+ 1 y para transformar la ecuacio´n de Riccati en una ED lineal en la inco´gnita y. 1.4. Sistemas de ecuaciones diferenciales ordinarias 1.5. Ejercicios 1.1 Probar que la funcio´n V, dada por (1.2), satisface la ecuacio´n funcional (1.1). 1.2 Conside´rese la ED (1.3), hacer la sustitucio´n x1 = y, x2 = y˙, . . . , xk = y(k−1) para obtener una ecuacio´n de la forma (1.4). Demostrar que cada solucio´n de (1.3) induce una solucio´n para (1.4) y viceversa. Por esta razo´n se dice que (1.3) y (1.4) son equivalentes. Expresar el sistema de EDs y¨1 = 6y1 − 7y˙2 y¨2 = −y˙1 + 34y2, en la forma (1.4). 1.3 Verificar que las funciones (1.6) y (1.7) satisfacen la ecuacio´n (1.5). Determinar las constantes c1, c2 para que se cumpla la condicio´n inicial x(0) = [4, 8]′. 1.4 Demostrar la afirmacio´n del Ejemplo 1.4. Sea c ∈ R+ y defı´nase φc : R → R mediante φc(t) = { 0 si t ∈ (−∞, c] (t− c)3 si t ∈ (c,∞). Probar que φc es solucio´n de la ED (1.8). Entonces (1.8) tiene una infinidad de soluciones. 1.5 Determinar si la funcio´n ϕ es solucio´n de la ecuacio´n diferencial correspondi- ente. La constante c ∈ R es arbitraria. (a) ϕ(t) = ln(c + et), x˙ = et−x, (b) t = ϕ(t)ecϕ(t)+1, x˙ = xt(ln t−ln x) , 22 (c) t = ϕ ln(cϕ), x˙(t + x) = x, (d) t(ϕ+ 1) = 2eϕ−t, x˙ = (t+1)(x+1)tx . 1.6 Mostrar que las funciones ψ(t) = ct− c2 (c ∈ R), φ(t) = t2/4, son soluciones de la ED x˙2 = tx˙− x. 1.7 Sea f : I → Rn una funcio´n integrable, donde I ⊆ R es un intervalo. Cada componente fi (i = 1, . . . , n) satisface la desigualdad −| fi| ≤ fi ≤ | fi|, y puesto que la integral es mono´tona, se cumple − ∫ t t0 | fi(s)| ds ≤ ∫ t t0 fi(s) ds ≤ ∫ t t0 | fi(s)| ds, t > t0. Es decir, ∣∣∣∣∫ tt0 fi(s) ds ∣∣∣∣ ≤ ∫ tt0 | fi(s)| ds, t > t0. (1.35) ¿Que´ ocurre si t < t0? Usar la desigualdad (1.35) para demostrar que∥∥∥∥∫ tt0 f (s) ds ∥∥∥∥ 1 ≤ ∣∣∣∣∫ tt0 ‖ f (s)‖1 ds ∣∣∣∣ . 1.8 Encontrar las primeras cuatro aproximaciones sucesivas ψk (k = 0, . . . , 3) para la solucio´n de cada ED. (a) x˙ = 3x + 1, x(0) = 2, (b) y˙ = y2, y(0) = 1, (c) y˙ = y2 − t, y(1) = 1, (d) x˙1 = x2, x˙2 = −x1, x(0) = [0, 1]′, (e) x¨ = t− x, x(0) = 1, x˙(0) = 0. ¿Se puede conjeturar la solucio´n en cada caso? 1.9 Supo´ngase que la funcio´n F en (1.9) so´lo depende de t, es decir, x˙ = f (t). Si f es integrable, probar que la funcio´n ψ(t) := ∫ t t0 f (s) ds + c, satisface la ED anterior para cualquier constante c ∈ R. ¿Cua´l debe ser el valor de la constante si x(t0) = x0? 23 1.10 Con base en el ejercicio anterior, encontrar la solucio´n de las siguientes EDs (a) x˙ = 3t + 1, x(0) = 2, (b) y˙ = 1t(1−t) , (c) y˙ = t2et, y(1) = 1, (d) x˙ = ct+d(t−a)(t−b) , a, b, c, d ∈ R, (e) x˙ = 1−eβt 1+eβt . 1.11 Demostrar que las soluciones de la ED (1.24) forman un espacio vectorial sobre R. ¿Es cierto sobre C? Sugerencia: Ve´ase Pontriaguin [15, Seccio´n 1.5]. 1.12 Probar que eλt y teλt son l.i. 1.13 Probar que eat cos(bt) y eat sen(bt) son l.i. 1.14 En este ejercicio se considera la ED lineal de primer orden con coeficientes variables x˙ + a(t)x = b(t), x(t0) = x0, donde a, b son continuas en algu´n intervalo I ⊆ R. Sea A : I → R una funcio´n derivable tal que A˙ = a. (a) Demostrar que d dt [x(t)eA(t)] = b(t)eA(t). (b) Usar el inciso anterior para probar que la solucio´n de la ED puede es- cribirse como x(t) = e−A(t) [ x(t0)eA(t0) + ∫ t t0 b(s)eA(s) ds ] . A la funcio´n eA(t) se le conoce como factor integrante. No´tese que A(t) es u´nica, salvo una constante aditiva. (c) Identificar el factor integrante de la siguiente ED x˙+ 2tx = x. Encontrar su solucio´n si x(0) = 2. (d) Resolver la ED x˙− x tan(t) = esen(t) si t ∈ (0,pi/2). 1.15 Considerar la ecuacio´n t2x˙ + 2tx = 1 en el intervalo (0,∞). (a) Demostrar que toda solucio´n tiende a cero cuando t→ ∞. 24 (b) Encontrar la solucio´n φ que satisface φ(2) = 2φ(1) 1.16 Sea u : R→ R una de clase C2. (a) Si u es una funcio´n de utilidad, explicar por que´ se pide que u˙ > 0 y u¨ < 0. (b) Se dice que u es una funcio´n de tipo CARA (constant absolute risk aver- sion) si − u¨(c) u˙(c) = k, donde k es una constante positiva. Encontrar la forma general de las fun- ciones u de tipo CARA y dar condiciones sobre los para´metros para que u satisfaga las propiedades impuestas en (a). (c) Se dice que u es de tipo HARA (hyperbolic absolute risk aversion) si − u¨(c) u˙(c) = 1 σ−1c− α donde σ, α son constantes. Encontrar la forma general de las funciones u de tipo HARA y dar condiciones sobre los para´metros para que u satisfaga las propiedades impuestas en (a). Sugerencia: Considerar dos casos σ = 1 y σ 6= 1. (d) Se dice que u es de tipo CRRA (constant relative risk aversion) si − cu¨(c) u˙(c) = ρ, donde ρ es una constante positiva. Encontrar la forma general de las fun- ciones u de tipo CRRA y dar condiciones sobre los para´metros para que u satisfaga las propiedades impuestas en (a). Sugerencia: Considerar dos casos ρ = 1 y ρ 6= 1. 25 2. Optimizacio´n dina´mica en tiempo discreto 2.1. Planteamiento de problemas dina´micos en tiempo discreto Las componentes de un problema de control o´ptimo (PCO) en tiempo discreto y con horizonte finito se especifican a continuacio´n. (a) Un sistema dina´mico, con espacio de estados X ⊆ Rn y controles admisibles U ⊆ Rm, que satisface el sistema de ecuaciones en diferencias xt+1 = f (t, xt, ut) para t = 0, 1, . . . , T − 1, (2.1) con estado inicial x0. (b) Una funcio´n objetivo, que depende de la estrategia pi := {u0, u1, . . . , ut−1} y del estado inicial x0 = x (mismos que determinan la trayectoria de estados de acuerdo con (2.1)), v(pi, x) := T−1 ∑ t=0 R(t, xt, ut) + S(xT), (2.2) donde las funciones R y S toman valores reales. Cada te´rmino R(t, xt, ut) puede interpretarse como el costo (en el caso de minimizacio´n) o recompensa (si el problema es de maximizacio´n) por etapa. La catidad S(xT) es conocida como “valor de salvamento”. El problema en cuestio´n es optimizar (ya sea maximizar o minimizar) la funcio´n objetivo (2.2) sujeto al sistema dina´mico (2.1) y la condicio´n inicial x0 = x, ma´s especı´ficamente: opt { v(pi, x) = T−1 ∑ t=0 R(t, xt, ut) + S(xT) } {ut}T−1t=0 s. a : xt+1 = f (t, xt, ut) t = 0, 1, . . . , T − 1, u0, . . . , uT−1 ∈ U, x0 dado. (2.3) Si el PCO tiene horizonte infinito, el sistema dina´mico adopta la forma xt+1 = f (t, xt, ut) para todo t = 0, 1, 2, . . . , y la funcio´n objetivo es ∞ ∑ t=0 R(t, xt, ut). 26 En este caso, a diferencia de (2.2), no se tiene una funcio´n de salvamento. El pro- blema puede sintetizarse como opt { v(pi, x) = ∞ ∑ t=0 R(t, xt, ut) } {ut}∞t=0 S. a : xt+1 = f (t, xt, ut) t = 0, 1, 2, . . . , ut ∈ U t = 0, 1, 2, . . . , x0 dado. En las Secciones 2.2 y 2.3 se estudian problemas con horizonte finito, mientras que la Seccio´n 2.3 esta´ dedicada a aquellos con horizonte infinito. 2.2. El me´todo de los multiplicadores de Lagrange Conside´rese el PCO (2.3) en el caso especı´fico de maximizacio´n (si el problema es de minimizacio´n, el Teorema 2.1 sigue siendo va´lido con los cambios adecua- dos). Para usar el me´todo de los multiplicadores de Lagrange conviene escribir explicı´tamente cada una de las T restricciones ma´x { v(pi, x0) = T−1 ∑ t=0 R(t, xt, ut) + S(xT) } {ut}T−1t=0 s. a : f (0, x0, u0)− x1 = 0 f (1, x1, u1)− x2 = 0 ... f (T − 1, xT−1, uT−1)− xT = 0. (2.4) Ahora defı´nase el Lagrangiano o funcio´n Lagragiana L (pi, x•,λ•) := T−1 ∑ t=0 R(t, xt, ut) + S(xT) + T−1 ∑ t=0 λt · [ f (t, xt, ut)− xt+1] donde, pi = {u0, u1, . . . , uT−1}, x• = {x1, x2, . . . , xT}, λ• = {λ0,λ1, . . . ,λT−1} y x0 dado. Suponiendo que las funciones R, S y f son continuamente diferenciables y los conjuntos X, U son abiertos, las condiciones (necesarias) de Lagrange para una estrategia o´ptima son 0 = ∂L ∂ut = ∂R ∂ut + λt ∂ f ∂ut para t = 0, 1, . . . , T − 1 (2.5) 0 = ∂L ∂xt = ∂R ∂xt − λt−1 + λt ∂ f ∂xt para t = 1, 2, . . . , T − 1 (2.6) 0 = ∂L ∂xT = dS dxT − λT−1 (2.7) 0 = ∂L ∂λt = f (t, xt, ut)− xt+1 para t = 0, 1, . . . , T − 1, (2.8) 27 la existencia de los multiplicadores en el sistema de ecuaciones esta´ garantizada por el Teorema de Lagrange, bajo la hipo´tesis adicional de que la matriz jacobiana de las restricciones sea de rango completo. Teorema 2.1 (Principio del ma´ximo de Pontryagin). Supo´ngase que se cumplen las hipo´tesis del Teorema de Lagrange para el problema (2.3) y sea {u∗0 , u∗1 , . . . , u∗T−1} un control o´ptimo junto con {x∗0 , x∗1 , . . . , x∗T} la trayectoria de estados correspondiente con estado inicial x∗0 = x0. Entonces existen vectores adjuntos {λ∗0 ,λ∗1 , . . . ,λ∗T−1}, tales que el Hamiltoniano H(t, x, u,λ) := R(t, x, u) + λ · f (t, x, u), satisface la ecuacio´n adjunta λ∗t−1 = ∂H ∂x (t, x∗t , u∗t ,λ∗t ) para t = 1, 2, . . . , T − 1, (2.9) con la condicio´n terminal λ∗T−1 = dS dx (x∗T), (2.10) adema´s, la condicio´n de maximizacio´n del Hamiltoniano ∂H ∂u (t, x∗t , u∗t ,λ∗t ) = 0 para t = 0, 1, . . . , T − 1, (2.11) y x∗t+1 = f (t, x ∗ t , u ∗ t ) para t = 0, 1, . . . , T − 1 (2.12) con el estado inicial x0 dado. Demostracio´n. Las condiciones (2.9) y (2.10) se siguen de la definicio´n del Hamil- toniano y de las condiciones de Lagrange (2.6) y (2.7). Asimismo, las ecuaciones (2.11) y (2.12) son equivalentes a (2.5) y (2.8). Observacio´n 2.2 (Condiciones suficientes). De los resultados de optimizacio´n esta´tica se sigue que si (pi, x•,λ•) satisfacen las condiciones (2.9)–(2.12) y el Hamiltoniano es una funcio´n co´ncava con respecto a (x, u), entonces (pi, x•,λ•) es o´ptimo para el problema (2.4). ♦ 2.3. Programacio´n dina´mica. El Principio de optimalidad y la e- cuacio´n de Bellman En esta seccio´n se presenta otra te´cnica para resolver un PCO se conoce como programacio´n dina´mica y esta´ basada en el Principio de optimalidad de Bellman. 28 Al igual que en la Seccio´n 2.2, so´lo se estudia el problema de maximizacio´n (el otro caso es totalmente ana´logo) ma´x { v(pi, x0) = T−1 ∑ t=0 R(t, xt, ut) + S(xT) } {ut}T−1t=0 s. a : xt+1 = f (t, xt, ut) t = 0, 1, . . . , T − 1, u0, . . . , uT−1 ∈ U, x0 dado. (2.13) Proposicio´n 2.3 (Principio de optimalidad de Bellman). Sea pi∗ = {u∗0 , u∗1 , . . . , u∗T−1} una estrategia o´ptima para el problema (2.13) y {x∗0 , x∗1 , . . . , x∗T} la trayectoria de estados correspondiente, en particular, x∗0 = x0. Entonces, para cualquier tiempo s ∈ {0, 1, . . . , T− 1}, la estrategia “truncada” pi∗s = {u∗s , . . . , u∗T−1} es o´ptima para el sub–problema ma´x { v(pi, x∗s ) = T−1 ∑ t=s R(t, xt, ut) + S(xT) } {ut}T−1t=s s. a : xt+1 = f (t, xt, ut) t = s, . . . , T − 1, us, . . . , uT−1 ∈ U, x∗s dado. (2.14) Demostracio´n. Supongamos que la estrategia pi∗s no es o´ptima para el problema (2.14), entonces existen otros controles, digamos a∗ = {a∗s , . . . , a∗T−1}, que resuelven (2.14), es decir, v(pi∗s , x∗s ) < v(a∗, x∗s ). Construimos ahora la estrategia pi′ = {u∗0 , . . . , u∗s−1, a∗s , . . . , a∗T−1} y notemos que {u∗0 , . . . , u∗s−1} lleva el sistema del estado inicial x0 al estado x∗s , por lo que pi′ es un control o´ptimo de (2.13), i.e. v(pi∗, x) < v(pi′, x) lo cual es una contradiccio´n. Las ecuaciones (2.15) y (2.16), del siguiente teorema, se conocen como algorit- mo de programacio´n dina´mica; si no hay una funcio´n de salvamento S so´lo se tiene (2.16), que tambie´n es llamada ecuacio´n de Bellman. 29 Teorema 2.4. Sean JT, JT−1, . . . , J0 las funciones sobre X, definidas como JT(xT) = S(xT) (2.15) y para s = T − 1, T − 2, . . . , 0, Js(xs) = ma´xus {R(s, xs, us) + Js+1[ f (s, xs, us)]}. (2.16) Si para cada s = 0, 1, . . . , T − 1, existe una funcio´n u∗s : X → U que alcanza el ma´ximo en el lado derecho de (2.26) para todo x ∈ X, entonces la estrategia pi∗ = {u∗0 , u∗1 , . . . , u∗T−1} es o´ptima y la funcio´n de valor V(x, s) := ma´x pi {v(pi, xs) | xs = x} = ma´x {ut}T−1t=s { T−1 ∑ t=s R(t, xt, ut) + S(xT) ∣∣∣ xs = x} coincide con Js, i.e. V(x, s) = Js(x) ∀ 0 ≤ s ≤ T, x ∈ X. Demostracio´n. La demostracio´n consta de tres pasos. Paso 1. Si cada uno de los problemas en la siguiente igualdad tiene solucio´n, en- tonces ma´x y∈A, z∈B {g(y) + h(y, z)} = ma´x y∈A {g(y) +ma´x z∈B {h(y, z)}}. En efecto, notemos que ma´x y∈A, z∈B {g(y) + h(y, z)} ≥ g(y) + h(y, z) ∀ y ∈ A, z ∈ B en particular, ma´x y∈A, z∈B {g(y) + h(y, z)} ≥ g(y) +ma´x z∈B {h(y, z)} ∀ y ∈ A de donde ma´x y∈A, z∈B {g(y) + h(y, z)} ≥ ma´x y∈A {g(y) +ma´x z∈B {h(y, z)}}. (2.17) Por otro lado g(y) + h(y, z) ≤ g(y) +ma´x z∈B {h(y, z)} ∀ y ∈ A, z ∈ B ≤ ma´x y∈A {g(y) +ma´x z∈B {h(y, z)}} ∀ y ∈ A, z ∈ B, luego, ma´x y∈A, z∈B {g(y) + h(y, z)} ≤ ma´x y∈A {g(y) +ma´x z∈B {h(y, z)}}. (2.18) La igualdad requerida se sigue de las desigualdades (2.17) y (2.18). 30 Paso 2. Para cualesquiera j, r ∈ {0, 1, . . . , T − 1} con j < r, se verifica que xr de- pende u´nicamente del estado xj y de los controles ut para j ≤ t ≤ r− 1. Este hecho se sigue de la ecuacio´n (2.1) xr = f (r− 1, xr−1, ur−1) =: g1(xr−1, ur−1) = g1[ f (r− 2, xr−2, ur−2), ur−1] =: g2(xr−2, ur−2, ur−1) ... =: gr−j(xj, uj, . . . , ur−2, ur−1). Paso 3. Usando los Pasos 1 y 2, la funcio´n de valor V(x, 0) se puede escribir como V(x, 0) = ma´x {ut}T−1t=0 { T−1 ∑ t=0 R(t, xt, ut) + S(xT) } = ma´x u0 { R(0, x0, u0) +ma´xu1 { R(1, x1, u1) + . . .+ ma´x uT−1 {R(T − 1, xT−1, uT−1) + S(xT)} · · · }} , sujeto a la dina´mica xt+1 = f (t, xt, ut) para todo t = 0, 1, . . . , T − 1, y estado inicial x0. Definimos JT(xT) = S(xT), JT−1(xT−1) = ma´xuT−1 {R(T − 1, xT−1, uT−1) + JT(xT)} con la condicio´n xT = f (T − 1xT−1, uT−1), y ası´ sucesivamente, hasta J1(x1) = ma´xu1 {R(1, x1, u1) + J2(x2)} donde x2 = f (1, x1, u1), finalmente, J0(x0) = ma´xu0 {R(0, x0, u0) + J1(x1)} con x1 = f (0, x0, u0). Las igualdades V(x, s) = Js(x) ∀ 0 ≤ s ≤ T, x ∈ X, son consecuencia del Principio de optimalidad de Bellman. 31 Observacio´n 2.5. Al resolver un PCO usando el Principio del ma´ximo de Pontrya- gin (Teorema 2.1) se obtienen estrategias de lazo abierto (open–loop), es decir, los controles dependen u´nicamente del para´metro temporal ut = µ(t), mientras que al usar programacio´n dina´mica (Teorema 2.4) se encuentran estrate- gias de retroalimentacio´n (feedback), tambie´n llamadas estrategias de lazo cerra- do (closed loop) o estrategias markovianas y son de la forma ut = µ(t, xt), si adema´s la funcio´n µ no depende del tiempo t (u´nicamente del estado), se dice que la estrategia es estacionaria. ♦ 2.4. Problemas con horizonte infinito En esta seccio´n se considera una clase particular de problemas con horizonte in- finito, llamados problemas estacionarios con descuento ya que la funcio´n de re- compensa por etapa es de la forma R(t, x, u) = βtr(x, u). Las funciones r y f so´lo dependen del estado x y del control u, pero no dependen del tiempo t, por lo cual se dice que el PCO es estacionario. El problema que se quiere estudiar es de la forma ma´x { v(pi, x0) = ∞ ∑ t=0 r(xt, ut) } {ut}∞t=0 s. a : xt+1 = f (xt, ut) t = 0, 1, 2, . . . , ut ∈ Γ(xt) ⊆ U t = 0, 1, 2, . . . , x0 dado, (2.19) donde (a) X ⊆ Rm es el espacio de estados, (b) U ⊆ Rn es el espacio de controles, (c) el nu´mero real 0 < β < 1 es un factor de descuento, (d) r : X×U → R es la funcio´n de recompensa por etapa, (e) f : X×U → X es la funcio´n de transicio´n, y 32 (f) Γ : X � U es una correspondencia tal que Γ(x) 6= ∅ para todo x ∈ X. El punto x0 se conoce como estado inicial. Una sucesio´n pi = {ut}∞t=0 ⊆ U es una polı´tica, desde el estado inicial x0, si ut ∈ Γ(xt), donde {xt}∞t=0 es tal que xt+1 = f (xt, ut) para todo t = 0, 1, . . .. Es importante notar que a cada polı´tica pi = {ut}∞t=0 le corresponde una u´nica trayectoria de estados {xt}∞t=0. Al conjunto de todas las polı´ticas desde x0 lo denotamos porΠ(x0). Puesto que Γ(x) 6= ∅ para todo x ∈ X, tenemos que el conjunto de polı´ticas Π(x0) es no vacı´o para cualquier estado inicial x0. Hipo´tesis 2.6. Para cada polı´tica pi ∈ Π(x0), existe el lı´m T→∞ T ∑ t=0 βtr(xt, ut), (2.20) y puede ser ∞ o −∞. Dado un nu´mero real h, se denotan su parte positiva y su parte negativa, mediante h+ := ma´x{0, h}, h− := ma´x{0,−h}, respectivamente. De este modo, h = h+− h−. Sea pi ∈ Π(x0) una polı´tica arbitraria. Si lı´m T→∞ T ∑ t=0 βtr+(xt, ut) < ∞, o lı´m T→∞ T ∑ t=0 βtr−(xt, ut) < ∞, o ambos, entonces existe el lı´mite en (2.20) (aunque puede ser ∞ o −∞). En virtud de la Hipo´tesis 2.6, tiene sentido definir la funcio´n v(pi, x0) := ∞ ∑ t=0 βtr(xt, ut) para cada polı´tica pi. Asimismo, definimos la funcio´n de valor V(x0) := sup{v(pi, x0) | pi ∈ Π(x0)}. (2.21) El supremo en (2.21) siempre existe (aunque puede ser ∞ o −∞). El problema es encontrar condiciones para que exista una polı´tica pi∗ ∈ Π(x0) que alcance dicho supremo, es decir, sup{v(pi, x0) | pi ∈ Π(x0)} = ∞ ∑ t=0 βtr(x∗t , u∗t ), equivalentemente, V(x0) = v(pi∗, x0). 33 Observacio´n 2.7. La funcio´n de valor V satisface las siguientes propiedades. (a) Si |V(x0)| < ∞, entonces v(pi, x0) ≤ V(x0) ∀pi ∈ Π(x0), (2.22) y para cada ε > 0, existe pˆi ∈ Π(x0) tal que V(x0)− ε < v(pˆi, x0). (2.23) (b) Si V(x0) = ∞, entonces existe una sucesio´n de polı´ticas, pin ∈ Π(x0) (n = 1, 2 . . .), tal que lı´m n→∞ v(pin, x0) = ∞. (c) Si V(x0) = −∞, entonces v(pi, x0) = −∞ ∀pi ∈ Π(x0). ♦ La ecuacio´n de Bellman Sea pi ∈ Π(x0) una polı´tica arbitraria. Obse´rvese que v(pi, x0) = r(x0, u0) + βv(pi, x1), (2.24) donde v(pi, x1) := r(x1, u1) + β(x2, u2) + β2r(x3, u3) + . . .. Los Teoremas 2.7 y 2.8 muestran la relacio´n que hay entre la siguiente ecuacio´n funcional, conocida como ecuacio´n de Bellman, W(x) = sup y∈Γ(x) {r(x, y) + βW[ f (x, y)]} ∀x ∈ X, (2.25) y la funcio´n de valor V. Teorema 2.8 (Bellman). La funcio´n de valor satisface la ecuacio´n de Bellman. Demostracio´n. Sean x0 ∈ X y pi ∈ Π(x0) arbitrarios. Supo´ngase que V(x0) es finito. De (2.22) y (2.24) se tiene V(x0)− r(x0, u0) ≥ βv(pi, x1) ∀pi ∈ Π(x1), ∀u0 ∈ Γ(x0). Entonces V(x0) ≥ r(x0, x1) + βV(x1) ∀u0 ∈ Γ(x0). (2.26) De (2.23) y (2.24) se sigue que para todo ε > 0 existe uˆ0 ∈ Γ(x0) tal que V(x0)− ε < r(x0, uˆ0) + βV(xˆ1). (2.27) 34 Por (2.26) y (2.27) se concluye que V satisface la ecuacio´n de Bellman, es decir, se cumple la igualdad V(x) = sup y∈Γ(x) {r(x, y) + βV[ f (x, y)]} ∀x ∈ X. Si V(x0) es igual a ∞ o´ −∞, usando la Observacio´n 2.7(b)–(c), se prueba que V satisface la ecuacio´n de Bellman. Teorema 2.9 (Bellman). Sea W : X → R una funcio´n acotada. Si W es una solucio´n de la ecuacio´n de Bellman, entonces W = V. Demostracio´n. Sean W una funcio´n acotada que satisface (2.25) y x0 ∈ X arbitrario. Hay que demostrar que W(x0) = sup{v(pi, x0) | pi ∈ Π(x0)}. Es decir, W(x0) debe satisfacer las siguientes dos condiciones v(pi, x0) ≤W(x0) ∀pi ∈ Π(x0), (2.28) y para cada ε > 0 existe una polı´tica pˆi ∈ Π(x0) tal que W(x0)− ε < v(pˆi, x0). (2.29) No´tese que W(x0) ≥ r(x0, u0) + βW[ f (x0, u0)] ∀u0 ∈ Γ(x0). Ma´s au´n, para todo ut ∈ Γ(xt) (t = 0, 1, . . . , T), se cumple W(x0) ≥ T ∑ t=0 βtr(xt, ut) + βT+1W[ f (xT, uT)], de donde se tiene (2.28). Por otro lado, para ε > 0 arbitrario se tienen las siguientes desigualdades W(x0)− ε/2 < r(x0, uˆ0) + βW[ f (x0, uˆ0)] para algu´n uˆ0 ∈ Γ(x0) W(xˆ1)− ε/22 < r(xˆ1, uˆ1) + βW[ f (xˆ1, uˆ1)] para algu´n uˆ1 ∈ Γ(xˆ1) ... W(xˆt)− ε/2t+1 < r(xˆt, uˆt) + βW[ f (xˆt, uˆt)] para algu´n uˆt ∈ Γ(xˆt). Esta construccio´n define una polı´tica {uˆt} desde el estado inicial x0 y la corres- pondiente trayectoria de estados {xˆt}. Para cualquier nu´mero natural T W(x0)− ε2 T ∑ t=0 (β/2)t < T ∑ t=0 βtr(xˆt, uˆt) + βT+1W[ f (xˆT, uˆT)]. (2.30) Al hacer T → ∞, se tiene (2.29). 35 Observacio´n 2.10. A partir de la demostracio´n del teorema anterior se tiene lo siguiente. Supo´ngase que una funcio´n W : X → R satisface la ecuacio´n de Bell- man y es no acotada. Sin embargo, dada una polı´tica arbitraria pi ∈ Π(x0), la correspondiente trayectoria de estados {xt} satisface lı´m t→∞ β tW(xt) ≤ 0. (2.31) Es inmediato demostrar que si W satisface la ecuacio´n de Bellman y cumple (2.31) con igualdad, entonces W = V. Ma´s au´n, si W es una solucio´n de la ecuacio´n de Bellman y satisface (2.31), entonces W(x) ≤ V(x) ∀x ∈ X. ♦ Proposicio´n 2.11. Sea {u∗t } una solucio´n del problema (2.19) y {x∗t } la correspondiente trayectoria de estados. Entonces la funcio´n de valor V satisface V(x∗t ) = r(x∗t , u∗t ) + βV[ f (x∗t , u∗t )] ∀t = 0, 1, . . . . (2.32) Demostracio´n. Si {u∗t } es una solucio´n del problema (2.19), entonces v(pi∗, x∗0) ≥ v(pi, x∗0) ∀pi ∈ Π(x∗0), (2.33) en particular, para cualquier estrategia de la forma pˆi = (u∗0 , uˆ1, uˆ2, . . .). Luego, por (2.24), r(x∗0 , u∗0) + βv(pi∗, x∗1) ≥ r(x∗0 , u∗0) + βv(pˆi, x∗1), donde pˆi ∈ Π(x∗1) es cualquier estrategia desde x∗1 , i.e., v(pi∗, x∗1) ≥ v(pˆi, x∗1) ∀pˆi ∈ Π(x∗1), por lo tanto V(x∗1) = v(pi ∗, x∗1) (compa´rese con la Proposicio´n 2.3). Adema´s, V(x ∗ 0) = r(x∗0 , u∗0) + βv(pi∗, x∗1) por lo que V(x∗0) = r(x∗0 , u∗0) + βV[ f (x∗0 , u∗0)]. (2.34) Si ahora se sustituyen estrategias de la forma pˆi = (u∗0 , u∗1 , uˆ2, uˆ3, . . .) en (2.33) y se usa (2.34), se encuentra que V(x∗1) = r(x ∗ 1 , u ∗ 1) + βV[ f (x ∗ 1 , u ∗ 1)]. Continuando con este proceso se prueba (2.32). Proposicio´n 2.12. Sean pˆi = {uˆt} ∈ Π(x0) una estrategia y {xˆt} la correspondiente trayectoria de estados, tales que satisfacen (2.32). Supo´ngase que lı´m t→∞ β tV(xˆt) ≤ 0, donde V es la funcio´n de valor. Entonces pˆi resuelve el problema (2.19). 36 Demostracio´n. Si {uˆt} y {xˆt} satisfacen (2.32), entonces V(x0) = T ∑ t=0 βtr(xˆt, uˆt) + βT+1V(xˆT+1). Al hacer T → ∞ se obtiene V(x0) ≤ v(pˆi, x0). Esto prueba que la estrategia pˆi es o´ptima. Existencia de soluciones Hipo´tesis 2.13. La funcio´n de recompensa por etapa r y la funcio´n de transicio´n f son continuas y acotadas. Hipo´tesis 2.14. La correspondencia Γ toma valores compactos, es decir, Γ(x) es un con- junto compacto para todo x ∈ X. Adema´s, Γ es continua. En el siguiente lema, C(X) denota al conjunto de funciones continuas y aco- tadas en X. En particular, cualquier nu´mero a ∈ R representa una funcio´n con- stante a(x) = a para todo x ∈ X. Lema 2.15 (Condiciones de Blackwell). Sea L : C(X) → C(X) un operador con las siguientes propiedades: (a) Si h, g ∈ C(X) son tales que h ≤ g, entonces L[h] ≤ L[g]. (b) Existe un nu´mero real 0 < β < 1 tal que L[h + a] ≤ L[h] + βa ∀h ∈ C(X), ∀a ∈ R. Entonces L es una contraccio´n. Demostracio´n. A partir de la desigualdad h ≤ g + ‖h− g‖ se tiene L[h] ≤ L[g] + β‖h− g‖. De manera ana´loga, L[g] ≤ L[h] + β‖h− g‖. Entonces |L[h]− L[g]| ≤ +β‖h− g‖, de donde se concluye que L es una contraccio´n. El siguiente operador, definido para cualquier funcio´n continua y acotada, es fundamental para resolver el problema (2.19). Para cada h ∈ C(X), se define L[h] (x) := sup y∈Γ(x) {r(x, y) + βh[ f (x, y)]}, (2.35) donde f es la funcio´n de transicio´n. Es inmediato verificar que L cumple las Condi- ciones de Blackwell. 37 Teorema 2.16. Bajo las Hipo´tesis 2.13 y 2.14, existe una solucio´n para el problema (2.19). Demostracio´n. Por el Teorema de Berge (Teorema 4.15), L[h] ∈ C(X) para cada h ∈ C(X). Entonces, por el Lema 2.15 y el Teorema de Banach, el operador L : C(X)→ C(X) tiene un u´nico punto fijo. Finalmente, por el Teorema 2.9, el u´nico punto fijo de L tiene que ser la funcio´n de valor. Una polı´tica o´ptima puede encontrarse usando (2.32). Observacio´n 2.17. Como consecuencia del Teorema de Banach, la funcio´n de valor V puede aproximarse mediante la siguiente sucesio´n. Sea V0(x) ≡ 0 y Vn+1 := L[Vn] para n = 0, 1, 2, . . . , (2.36) de este modo, la funcio´n de valor V = lı´mn→∞ Vn. ♦ 2.5. El modelo de Brock y Mirman En esta seccio´n se estudia el siguiente problema de crecimiento o´ptimo, debido a Brock y Mirman [4], ma´x { ∞ ∑ t=0 ln(ct) } {ct}∞t=0 s. a : kt+1 = kαt − ct, ct ∈ [0, kαt ] t = 0, 1, 2, . . . , k0 > 0 dado, (2.37) donde 0 < α < 1. La variable de control ct representa el consumo y la variable de estado kt representa el capital, ambas en el perı´odo t = 0, 1, . . .. Proposicio´n 2.18. El problema de crecimiento o´ptimo (2.37) satisface la Hipo´tesis 2.6. Demostracio´n. De acuerdo con las restricciones del problema (2.37) kt = kαt−1 − ct−1 ≤ kαt−1 ∀t ∈N. Luego r(xt, ut) = ln(ct) = ln(kαt − kt+1) ≤ ln(kαt ) = α ln(kt). (2.38) 38 Por otro lado ln(kt) ≤ α ln(kt−1) ≤ α2 ln(kt−2) ... ≤ αt ln(k0). (2.39) Entonces, por (2.38) y (2.39), lı´m T→∞ T ∑ t=0 βtr+(xt, ut) ≤ lı´m T→∞ T ∑ t=0 βtαt+1| ln(k0)| = α 1− αβ | ln(k0)|. Por lo que existe el lı´mite (2.20) y puede ser −∞. Puesto que el modelo de Brock y Mirman no satisface la Hipo´tesis 2.13, no es posible usar el Teorema 2.16 para garantizar la existencia de soluciones. Teorema 2.19. Conside´rese el problema (2.19). Sea x0 ∈ X y L el operador dado por (2.35). Supo´ngase que existe una funcio´n Vˆ : X → R tal que para cualquier polı´tica pi ∈ Π(x0) y su correspondiente trayectoria de estados {xt} (a) L[Vˆ] ≤ Vˆ, (b) lı´m t→∞ β tVˆ(xt) ≤ 0, (c) v(pi, x0) ≤ Vˆ(x0). Si la funcio´n W, dada por W(x) := lı´m t→∞ L t[Vˆ](x), x ∈ X, (2.40) es solucio´n de la ecuacio´n de Bellman, entonces W = V. Demostracio´n. Por la condicio´n (a), se tiene que Lt+1[Vˆ] ≤ Lt[Vˆ] para todo t ∈ N. Entonces, para cada x ∈ X, la sucesio´n {Lt[Vˆ](x)} es decreciente, por lo que el lı´mite en (2.40) existe (aunque puede ser −∞). De esta forma, la funcio´n W esta´ bien definida y W ≤ Vˆ. Ma´s au´n, por (b) se tiene lı´m t→∞ β tW(xt) ≤ 0, y, en virtud de la Observacio´n 2.10, W ≤ V. (2.41) 39 Por otro lado, a partir de (c) se tiene que V ≤ Vˆ. Recue´rdese que L cumple las Condiciones de Blackwell, en particular, L[V] ≤ L[Vˆ]. Por el Teorema 2.8, la funcio´n de valor satisface la ecuacio´n de Bellman, i.e., L[V] = V. Entonces V ≤ L(Vˆ), de donde, V = L[V] ≤ L2[Vˆ], en general, V ≤ Lt[Vˆ] ∀t ∈N. Puesto que {Lt[Vˆ]} es decreciente se debe cumplir la desigualdad V ≤W. (2.42) La conclusio´n se tiene de (2.41) y (2.42). Proposicio´n 2.20. Conside´rese el Modelo de Brock y Mirman. La funcio´n Vˆ(k) := α 1− αβ ln(k) satisface las condiciones (a)–(c) del Teorema 2.19. Demostracio´n. Sea pi = {ct} ∈ Π(k0) una polı´tica y {kt} la trayectoria de estados asociada. No´tese que L[Vˆ](k) = ma´x c∈[0,kα] {ln(c) + βVˆ(kα − c)} = ma´x c∈[0,kα] { ln(c) + αβ 1− αβ ln(k α − c) } (2.43) = Vˆ(k) + a1, (2.44) donde a1 := αβ 1− αβ ln(αβ) + ln(1− αβ). El ma´ximo en el lado derecho de (2.43) se alcanza cuando c = (1− αβ)kα. Puesto que a1 < 0, se tiene (a). La condicio´n (b) es una consecuencia inmediata de la desigualdad (2.39). Finalmente, por las desigualdades (2.38) y (2.39) v(pi, k0) = lı´m T→∞ T ∑ t=0 βt ln(ct) ≤ lı´m T→∞ T ∑ t=0 βtαt+1 ln(k0) = α 1− αβ ln(k0) = Vˆ(k0). Es decir, se cumple (c). 40 Para resolver el Modelo de Brock y Mirman, se tiene que encontrar la funcio´n W dada por (2.40). De (2.44) se sigue que L2[Vˆ](k) = Vˆ(k) + a1 + βa1, en general, Lt[Vˆ](k) = Vˆ(k) + a1(1+ β+ . . . + βt−1). Luego W(k) := lı´m t→∞ L t[Vˆ](k) = Vˆ(k) + a1 1− β = α 1− αβ ln(k) + 1 1− β [ αβ 1− αβ ln(αβ) + ln(1− αβ) ] . Por el Ejercicio 1.1, la funcio´n W satisface la equacio´n de Bellman. Ma´s au´n, por el Teorema 2.19, W es la funcio´n de valor asociada al Modelo de Brock y Mirman. Usando las Proposiciones 2.11 y 2.12 se puede calcular la polı´tica o´ptima. A partir de (2.32), la polı´tica o´ptima {c∗t } y la trayectoria de estados {kt} satisfacen Vˆ(kt) + a1 1− β = ln(c ∗ t ) + βVˆ(k α t − c∗t ) + a1β 1− β = ma´x ct { ln(ct) + βVˆ(kαt − ct) + a1β 1− β } , de donde se encuentra la estrategia markoviana c∗t = (1− αβ)kαt para t = 0, 1, . . .. 2.6. Ecuaciones de Euler En algunos modelos hay que encontrar una sucesio´n {xt}Tt=1 que maximize una funcio´n objetivo de la forma T−1 ∑ t=0 F(t, xt, xt+1), x0 dado. (2.45) Observacio´n 2.21. En el problema anterior no aparece explı´citamente la variable de control, sin embargo, e´ste se puede replantear de manera equivalente usando la formulacio´n (2.13). ♦ Si la funcio´n F es diferenciable y los valores {x∗t }Tt=0 son o´ptimos e interiores, entonces deben satisfacer las ecuaciones de Euler Dxt F(t− 1, xt−1, xt) + Dxt F(t, xt, xt+1) = 0, t = 1, . . . , T − 1, DxT F(T − 1, xT−1, xT) = 0. (2.46) Cuando el horizonte del problema es infinito las ecuaciones de Euler se reducen a Dxt F(t− 1, xt−1, xt) + Dxt F(t, xt, xt+1) = 0, t = 1, 2, . . . . (2.47) 41 Teorema 2.22. Conside´rese el problema ma´x {xt+1}∞t=0⊆X { ∞ ∑ t=0 βtF(xt, xt+1) ∣∣∣∣ x0 = x dado } , (2.48) donde (a) el espacio de estados X es un subconjunto abierto de Rn++, (b) para cada y, la funcio´n F(·, y) es creciente en cada una de sus primeras n variables, (c) F(·, ·) es co´ncava. Si {x∗t }∞t=0 (en particular, x∗0 = x) satisface las ecuaciones de Euler Dxt F(xt−1, xt) + βDxt F(xt, xt+1) = 0, t = 1, 2, . . . , (2.49) y la condicio´n de tranversalidad lı´m t→∞ β tDxt F(x ∗ t , x ∗ t+1) · x∗t = 0, (2.50) entonces {x∗t+1}∞t=0 es o´ptimo para el problema (2.35). Demostracio´n. Sea {xt+1}∞t=0 cualquier sucesio´n en X, con x0 = x. Puesto que F es co´ncava F(x∗t , x∗t+1)− F(xt, xt+1) ≥ Dxt F(x∗t , x∗t+1) · (x∗t − xt)+Dxt+1 F(x∗t , x∗t+1) · (x∗t+1− xt+1). Defı´nase ∆T := ∑T−1t=0 β t[F(x∗t , x∗t+1)− F(xt, xt+1)], entonces ∆T ≥ T−1 ∑ t=0 βt[Dxt F(x ∗ t , x ∗ t+1) · (x∗t − xt) + Dxt+1 F(x∗t , x∗t+1) · (x∗t+1 − xt+1)] ≥ T−1 ∑ t=1 βt−1[Dxt F(x ∗ t−1, x ∗ t ) + βDxt F(x ∗ t , x ∗ t+1)] · (x∗t − xt) +βT−1DxT F(x ∗ T−1, x ∗ T) · (x∗T − xT) = 0+ βT−1[−βDxT F(x∗T, x∗T+1)] · (x∗T − xT) por (2.36) = βTDxT F(x ∗ T, x ∗ T+1) · xT − βTDxT F(x∗T, x∗T+1) · x∗T ≥ −βTDxT F(x∗T, x∗T+1) · x∗T por (a) y (b). Por la condicio´n de transversalidad lı´mT→∞ ∆T ≥ 0, es decir, ∞ ∑ t=0 βtF(x∗t , x∗t+1) ≥ ∞ ∑ t=0 βtF(xt, xt+1). 42 2.7. Ejercicios 2.1 Sea xt la riqueza de un individuo en el tiempo t. En cada etapa t, el individuo decide la proporcio´n ut de xt para consumir, dejando la proporcio´n restante 1− ut para ahorrar. Suponga que la riqueza gana interese´s a una tasa ρ− 1 > 0 y que la riqueza inicial x0 esta´ dada. (a) Explique econo´micamente la relacio´n xt+1 = ρ(1− ut)xt, t = 0, 1, . . . , T − 1. (b) Suponga que el individuo desea maximizar su utilidad total dada por ∑Tt=0 U(t, utxt). Escriba el correspondiente problema dina´mico, con las res- tricciones adecuadas, e identifique las variables de estado y de control. 2.2 Suponga que se tiene una cantidad C de un recurso que se debe repartir (to- talmente) entre N actividades. Si a la actividad k se le asigna una cantidad uk, se obtiene un beneficio b(k, uk). Si se quiere determinar la distribucio´n del recurso que maximiza los beneficios agregados, exprese esta situacio´n como un PCO. 2.3 Se dispone de una cantidad x0 de un bien. En cada uno de los T pro´ximos perı´odos (iniciando en t = 0 hasta t = T − 1) se puede an˜adir la cantidad que se desee del bien, que se va acumulando. Transcurridos los T perı´odos, se vendera´ la cantidad total del bien a un precio unitario p. Si en el perı´odo t se an˜ade la cantidad ut, se incurre en un costo de cu2t . Suponiendo que hay un factor de descuento temporal 0 < β < 1, describa esta situacio´n mediante un PCO. 2.4 Resuelva el problema del Ejercicio 2.2, usando el Principio del ma´ximo de Pontryagin, si b(k, u) = √ u (el beneficio no depende de la actividad, so´lo de la cantidad asignada). 2.5 El gestor de una mina debe determinar el plan o´ptimo de extraccio´n de mineral ut, para t = 0, 1, 2, 3, 4, 5, 6. La mina debe abandonarse en t = 7. Se supone que todo el mineral que se extrae se vende al precio p = 1. El coste de extraccio´n es c(ut, xt) = u2t xt , (2.51) donde xt representa la cantidad de mineral al comienzo del pero´do t. (a) Calcule las derivadas parciales del coste en (2.51) e interprete los signos de las mismas. 43 (b) Suponga que la tasa de intere´s es de 0.04. Explique por que´ la funcio´n objetivo es de la forma 6 ∑ t=0 0.96t ( ut − u 2 t xt ) . (c) Escriba el sistema dina´mico asociado y resuelva el problema, usando el principio del ma´ximo de Pontryagin, si x0 = 1250. Respuesta: (u0, u1, u2, u3, u4, u5, u6, u7) = (262.5, 227.1, 190.1, 154, 129, 109.2, 89.1). 2.6 Sea xt el valor de los activos de un inversionista en el tiempo t, y sea ut el consumo en el mismo perı´odo. Suponga que los activos en el tiempo t + 1 son proporcionales al ahorro xt − ut hecho en t, xt+1 = at(xt − ut), at > 0, t = 0, 1, . . . , T − 1. Asuma que los activos iniciales x0 > 0 y los para´metros at esta´n dados. Supon- ga que la recompensa por etapa es R(t, x, u) = βtu1−γ, donde β,γ ∈ (0, 1). Si al final del horizonte temporal el inversionista tiene una utilidad S(xT) = βT Ax 1−γ T (a) formule el correspondiente PCO, (b) resue´lvalo usando programacio´n dina´mica. 2.7 Resuelva el siguiente problema usando programacio´n dina´mica ma´x { 3 ∑ t=0 (1+ xt − u2t ) ∣∣∣∣ xt+1 = xt + ut, x0 = 0 } . Encuentre adema´s las funciones Js (s = 4, 3, 2, 1, 0) dadas por (2.15)–(2.16). Sugerencia: Considere S(x4) = 0. Respuesta: (u0, u1, u2, u3) = ( 32 , 1, 1 2 , 0). 2.8 Resuelva el problema anterior usando el principio del ma´ximo de Pontryagin. 2.9 Encuentre las estrategias markovianas y las de lazo abierto que resuelven el siguiente problema ma´x { T−1 ∑ t=0 ( −2 3 utxt ) + ln(xT) ∣∣∣∣ xt+1 = xt(1+ utxt), x0 > 0, ut ≥ 0 } . 44 Sugerencia: Observe que JT−k(x) = ln x + kC, k = 0, 1, . . . , T, donde C es una constante. Respuesta: u∗t (xt) = 12xt , u¯t = (2x0) −1( 23 ) t. 2.10 En el Ejercicio 2.1 considere la funcio´n de recompensa por etapa U(t, utxt) = (1+ r)−t √ utxt, r > 0. Calcule u∗s (x) para s = T, T − 1, T − 2. 2.11 Sustituya la funcio´n objetivo del Ejercicio 2.1 por ∑Tt=0(1+ r)−tutxt. (a) Calcule u∗T(x), u ∗ T−1(x). (b) Muestre que existen constantes Ps (que dependen de ρ, r) tales que Js(x) = Psx para s = 0, 1, . . . , T. Encuentre J0(x) y los valores o´ptimos de uo, . . . , uT Sugerencia: Considere dos casos βρ < 1 y βρ ≥ 1. 2.12 Resuelva el siguiente problema usando programacio´n dina´mica ma´x ut∈[0,1] { T ∑ t=0 (3− ut)x2t ∣∣∣∣ xt+1 = xtut, x0 dado } . 2.13 Considere el problema ma´x ut∈R { T−1 ∑ t=0 (−e−γut)− αe−γxT ∣∣∣∣ xt+1 = 2xt − ut, x0 dado } . (a) Calcule JT(x), JT−1(x), JT−2(x). (b) Muestre que Jt(x) = −αte−γx y encuentre una ecuacio´n en diferencias para αt. 2.14 Resuelva el Ejercicio 2.10 cuando r = 0. 2.15 Considere el siguiente problema de crecimieto econo´mico ma´x { ∞ ∑ t=0 βt ln ct ∣∣∣∣ kt+1 = Akαt − ct, k0 dado } , donde α, β ∈ (0, 1), A > 0 y ct ∈ [0, kαt ] para t = 0, 1, 2, . . .. (a) Interprete econo´micamente este problema. (b) Suponga que existe una solucio´n y encue´ntrela. Sugerencia: Suponga que la funcio´n de valor es de la forma V(k) = E ln(k) + F. Use la ecuacio´n de Bellman para encontrar las constantes E, F. 45 (c) Pruebe que la sucesio´n {kt} es convergente. (d) Encuentre el punto de equilibrio del capital y determine si es estable. 2.16 Suponga que el siguiente PCO tiene solucio´n y encue´ntrela usando la ecuacio´n de Bellman (2.20) ma´x ut∈(0,1) { ∞ ∑ t=0 βt(utxt)1−γ ∣∣∣∣ xt+1 = a(1− ut)xt, x0 dado } , donde a es un para´metro positivo, β,γ ∈ (0, 1) y βa1−γ < 1. Sugerencia: Suponga que V(x) = kx1−γ, para alguna constante k. 2.17 Resuelva el siguiente problema asumiendo que tiene solucio´n ma´x ut∈R { ∞ ∑ t=0 βt ( −e−ut − 1 2 e−xt ) ∣∣∣∣ xt+1 = 2xt − ut, x0 dado } , donde β ∈ (0, 1). Sugerencia: Suponga que V(x) = −αe−x, para alguna constante positiva α. 2.18 (Cruz–Sua´rez y Montes–de–Oca (2008)) Considere el problema de maximizacio´n ma´x{ f (x, θ) | x ∈ A(θ)}, donde A : Θ � Rm es una correspondencia con valores convexos, Θ ⊆ Rn y f : H → R, con H := {(x, θ) | x ∈ A(θ), θ ∈ Θ}. Suponga que se cumplen las siguientes hipo´tesis (S1) f ∈ C2(int(H)), adema´s, Dxx f (·, θ) es definida negativa para cada θ ∈ Θ, (S2) hay una funcio´n h : Θ→ Rm tal que h(θ) ∈ int(A(θ)), y V(θ) := ma´x{ f (x, θ) | x ∈ A(θ)} = f (h(θ), θ) ∀θ ∈ Θ. (2.52) Para cada θ ∈ int(Θ), demuestre lo siguiente: (a) Dx f (h(θ), θ) = 0, (b) la matriz Dxx f (·, θ) es invertible, (c) la funcio´n h es diferenciable y Dh(θ) = −Dxθ f (h(θ), θ)[Dxx f (h(θ), θ)]−1, (d) la funcio´n V es diferenciable y V′(θ) = Dx f (h(θ), θ) ·Dh(θ)+Dθ f (h(θ), θ), 46 (e) de hecho, V′(θ) = Dθ f (h(θ), θ). Concluya que V ∈ C2(int(Θ)) y encuentre una expresio´n para V′′. Sugerencia: En el inciso (c) use el Teorema de la funcio´n implı´cita. V′′(θ) = Dθx f (h(θ), θ) · Dh(θ) + Dθθ f (h(θ), θ). 2.19 (Cruz–Sua´rez y Montes–de–Oca (2008)) Sean {Vn} las funciones definidas por (2.36), correspondientes al problema de crecimiento econo´mico del Ejercicio 2.15, con A = 1. (a) Use el problema anterior para demostrar que V′n(k) = α k n−1 ∑ t=0 (αβ)t n = 1, 2, . . . . (b) Del inciso (a) concluya que Vn(k) = αAn ln k + Mn, µn(k) = kα An+1 , n = 1, 2, . . . , donde An = ∑n−1t=0 (αβ) t y Mn es una constante de integracio´n. (c) Use (2.36) para probar que Mn − βMn−1 = − ln An + αβAn−1 ln ( An − 1 An ) , n = 1, 2, . . . . (d) ¿Por que´ la sucesio´n {Mn} es convergente? (e) Encuentre lı´mn→∞ Mn y lı´mn→∞ An. (f) Determine la funcio´n de valor V(k), ası´ como la polı´tica estacionaria µ(k). 2.20 Considere el problema ma´x { ∞ ∑ t=0 βtU(ct) ∣∣∣∣ xt+1 = α(xt + yt − ct), x0 dado } , (2.53) donde U es una funcio´n de utilidad estrictamente co´ncava y de clase C2, {yt} son constantes dadas. (a) Use las ecuaciones de Euler para deducir la siguiente relacio´n U′(ct−1) U′(ct) = αβ. 47 (b) De esta igualdad concluya que el consumo es constante si αβ = 1, creciente cuando αβ > 1 y decreciente en el caso αβ < 1. 2.21 Considere el problema de crecimiento econo´mico ma´x { ∞ ∑ t=0 βtU(ct) ∣∣∣∣ kt+1 = f (kt)− ct, k0 dado } , donde U es una funcio´n de utilidad que satisface U′(c) > 0, U′′(c) < 0 y lı´mc→0+ = ∞; mientras que la funcio´n de produccio´n f satisface f ′(k) > 0 y f ′′(k) < 0. Demuestre que se cumple la relacio´n β U′(ct+1) U′(ct) f ′(kt+1) = 1. 2.22 (Programacio´n dina´mica estoca´stica) El objetivo de este ejercicio es generalizar el Teorema 2.4 al caso estoca´stico. Suponga que el estado del sistema evolu- ciona de acuerdo con xt+1 = f (t, xt, ut, ξt), t = 0, 1, . . . , T − 1, (2.54) donde {ξt} es una sucesio´n de variables aleatorias independientes y cada ξt tiene una distribucio´n de probabilidad Pt(· | xt, ut) que no depende de las perturbaciones anteriores ξt−1, . . . , ξ0. La funcio´n obje- tivo, que depende de la polı´tica (markoviana) pi := {u0(x0), . . . , ut−1(xt−1)} y del estado inicial x0 = x, es de la forma v(pi, x) := E [ T−1 ∑ t=0 R(t, xt, ut, ξt) + S(xT) ] . (2.55) El problema es encontrar una polı´tica pi que maximice (2.55) sujeto a (2.54) y la condicio´n inicial x0. Bosqueje la demostracio´n del siguiente resultado: Teorema 2.23. Sean JT, JT−1, . . . , J0 funciones definidas mediante JT(xT) = S(xT) (2.56) y para s = T − 1, T − 2, . . . , 0, Js(xs) = ma´xus E{R(s, xs, us, ξs) + Js+1[ f (s, xs, us, ξs)]}, (2.57) donde la esperanza se calcula con respecto a la distribucio´n de probabilidad de ξs, que puede depender de xs y us. Si para cada s = 0, 1, . . . , T − 1, existe una funcio´n u∗s : X → U que alcanza el ma´ximo en el lado derecho de (2.57), entonces la estrategia pi∗ = {u∗0 , u∗1 , . . . , u∗T−1} es o´ptima. 48 Observacio´n 2.24. Si el problema es de horizonte infinito, con funcio´n objetivo v(pi, x0) = E ∞ ∑ t=0 βtr(xt, ut), y ley de movimiento xt+1 = f (xt, ut, ξt), bajo ciertas hipo´tesis (ver Stokey y Lucas (1989) o Herna´ndez–Lerma y Lasserre (1996)), la ecuacio´n de Bellman adopta la forma (compare con (2.25)) V(x) = ma´x u {r(x, u) + βEV( f (x, u, ξ))}. (2.58) La funcio´n V es igual al lı´mn→∞ Vn, donde {Vn} esta´ dada por V0 ≡ 0 y para n = 1, 2, . . . , Vn(x) = ma´xu {r(x, u) + βEVn−1[ f (x, u, ξ)]}. (2.59) ♦ 2.23 (Problemas LQ) Un problema LQ consiste de un sistema lineal con una recom- pensa por etapa cuadratica, tambie´n se conoce como problema del regulador lineal. Suponga que el sistema dina´mico evoluciona de acuerdo con la ecuacio´n xt+1 = γxt + βut + ξt, t = 0, 1, . . . , con γ, β ∈ R, la funcio´n de costo esta´ dada por E [ T−1 ∑ t=0 (qx2t + ru 2 t ) + qTX 2 T ] , (2.60) donde q, qN ≥ 0 y r > 0 son constantes dadas. Las perturbaciones {ξt} son variables aleatorias i.i.d., no dependen del estado ni de la variable de control, con media cero y varianza finita, i.e., E(ξ0) = 0, y σ2 := E(ξ20) < ∞. Si se quiere minimizar el costo (2.60), demuestre que las funciones de polı´tica o´ptima esta´n dadas por µs(x) = Gsx, con Gs := −(r + Ks+1β2)−1Ks+1γβ donde las constantes Ks esta´n dadas recursivamente por KT = qT y para s = T − 1, . . . , 0, Ks = [1− (r + Ks+1β2)−1Ks+1β2]Ks+1γ2 + q. ¿Cua´l es la forma de las funciones Js? En particular, ¿cua´l es el costo o´ptimo? 49 2.24 Resuelva el Ejercicio 2.6 pero suponiendo que los activos cambian de acuerdo con la siguiente ecuacio´n xt+1 = ξt(xt − ut), at > 0, t = 0, 1, . . . , T − 1, donde {ξt} son variables aleatorias i.i.d. con valores positivos. Suponga que existen constantes at tales que a 1−γ t = E[ξ 1−γ t ], compare con los resultados del Ejercicio 2.6. 2.25 En el siguiente PCO estoca´stico, los controles ut toman valores en R y δ,γ son constantes positivas ma´x { E [ T−1 ∑ t=0 (−e−γut)− δe−γxT ] ∣∣∣∣ xt+1 = 2xt − ut + ξt, x0 dado}. Las variables aleatorias {ξt} son i.i.d. y existe una constante k = E[e−γξt ]. (a) Muestre que las funciones Jt son de la forma Jt(x) = −αte−γx, (b) encuentre una ecuacio´n en diferencias para αt, (c) determine la condicio´n de frontera αT. 2.26 Resuelva el siguiente PCO estoca´stico. El objetivo es maximizar la funcio´n E [ T−1 ∑ t=0 2u1/2t + axT ] con a > 0 y ut ≥ 0. El estado del sistema xt+1 toma sus valores en el con- junto {0, xt − ut} cada uno con probabilidad 1/2. La condicio´n inicial x0 > 0 esta´ dada. 2.27 Considere el PCO estoca´stico ma´x { E ∞ ∑ t=0 βt(xtut)1−γ ∣∣∣∣ xt+1 = ξt(1− ut)xt, k0, ξ0 = s0 dados } , donde γ, β ∈ (0, 1), ut ∈ (0, 1) para t = 0, 1, 2, . . . y {ξt} es una sucesio´n de VAs no negativas i.i.d. tales que µ := E(ξ1−γ) < ∞. (a) Asuma que el problema tiene solucio´n y escriba la correspondiente ecuacio´n de Bellman. (b) Suponga que la funcio´n de valor es de la forma V(x) = Fx1−γ. Encuentre la polı´tica markoviana o´ptima. Respuesta: u∗t = 11+[βFµ]1/γ , donde F = [1− (βµ)1/γ]−γ. 50 2.28 Considere el PCO estoca´stico ma´x { E ∞ ∑ t=0 βt(−x2t − u2t ) ∣∣∣∣ xt+1 = ut + xt + ξt, k0, ξ0 = s0 dados } , donde β ∈ (0, 1), ut ∈ R para t = 0, 1, 2, . . . y {ξt} es una sucesio´n de VAs no negativas i.i.d. tales que E(ξ) = 0 y E(ξ2) = σ2. Suponga que la funcio´n de valor es de la forma V(x) = Ax2 + B. Encuentre la polı´tica markoviana o´ptima y las constantes A, B. Respuesta: u∗t = Aβxt 1−Aβ , donde A = 1−2β− √ 1+4β2 2β y B = Aβσ2 1−β . 2.29 (Brock y Mirman (1972)) Considere el siguiente problema de crecimiento econo´mi- co estoca´stico ma´x {ct} { E ∞ ∑ t=0 βt ln ct ∣∣∣∣ kt+1 = Aξtkαt − ct, k0, ξ0 = s0 dados } , donde α, β ∈ (0, 1), A > 0, ct ∈ [0, kαt ] para t = 0, 1, 2, . . . y {ln(ξt)} es una sucesio´n de VAs normales i.i.d. con media cero y varianza σ2. En este modelo, a diferencia de los problemas anteriores, el control ct es escoge despue´s de que se ha realizado el ruido ξt = st. (a) Defina el estado del sistema como el par (kt, st) donde st es el valor que toma la VA ξt. Escriba la correspondiente ecuacio´n de Bellman. Sugerencia: Ver Sargent [18, Seccio´n 1.7, pp. 35–36]. (b) Suponga que la funcio´n de valor es de la forma V(k, s) = F ln(k) + G ln(s) + H. Encuentre las constantes F, G, H, ası´ como la polı´tica markoviana o´ptima. 2.30 Considere el Modelo de Brock y Mirman del Ejercicio 2.15, con A = 1. (a) Muestre que la ecuacio´n de Euler puede escribirse como −zt−1 1− zt−1 + αβ 1 1− zt = 0 ∀t = 1, 2 . . . , (2.61) donde zt := kt+1/kαt . (b) Demuestre que el cambio de variable zt = xt+1/xt permite escribir (2.61) en la forma xt+1 − (1+ αβ)xt + αβxt−1 = 0 ∀t = 1, 2 . . . . (2.62) 51 (c) Resuelva (2.62) y pruebe que zt = c1 + c2(αβ)t+1 c1 + c2(αβ)t , (2.63) para algunas constantes c1, c2 ∈ R. (d) Use (2.63) y la condicio´n de transversalidad (2.50) para demostrar que c1 = 0. (e) Encuentre la polı´tica markoviana o´ptima y demuestre que {kt} es conver- gente. 52 3. Optimizacio´n dina´mica en tiempo continuo 3.1. Formulacio´n del PCO en tiempo continuo Supo´ngase que el estado de un sistema en el instante t puede ser descrito por un sistema de ecuaciones diferenciales de la forma x˙(t) = f (t, x(t), u(t)), para t ∈ [0, T], x(0) = x0 dado, (3.1) donde x(t) ∈ X y u(t) ∈ U(t, x(t)) representan a las variables de estado y con- trol, respectivamente (al igual que en la Seccio´n 2.1, se asume que X ⊆ Rn y U(t, x(t)) ⊆ Rm). Se supone tambie´n que f (·, ·, ·) ∈ C1. El nu´mero real T > 0 representa el horizonte o tiempo terminal; si el horizonte temporal es infinito, el intervalo [0, T] es reemplazado por [0,∞). Adicionalmente, el sistema puede tener alguna restriccio´n terminal, por ejem- plo, x(T) = xT o lı´mt→∞ x(t) ≥ 0. Definicio´n 3.1. Un par de funciones (x(·), u(·)) : [0, T] → Rn ×Rm es un par admi- sible si (a) u(t) ∈ U(t, x(t)) para todo t ∈ [0, T], u(·) es continua a trozos, (b) x(·) es continua, diferenciable a trozos y con derivada continua (siempre que exista), (c) x(·), u(·) satisfacen la ecuacio´n diferencial (3.1) para los valores de t en los cuales u(·) es continua y x(·) es diferenciable, y (d) se satisface la restriccio´n terminal (si la hay). La funcio´n x(·) se conoce como trayectoria de estado, mientras que u(·) es la trayectoria de control o control admisible. En estas notas, un PCO en tiempo continuo consiste en encontrar un control admisible u(·) que optimice un funcional de la forma∫ T 0 g(t, x(t), u(t)) dt + S(T, x(T)), (3.2) donde g(·, ·, ·) : R×Rn ×Rm → R es una funcio´n integrable tal que sus dervadas parciales con respecto a x y u son continuas, S(·, ·) es de clase C1 y representa un valor de salvamento. 53 3.2. La ecuacio´n de Hamilton–Jacobi–Bellman En esta seccio´n se deriva (de manera heurı´stica) la ecuacio´n de Hamilton– Jacobi–Bellman (HJB) para problemas en tiempo continuo y es ana´loga a la ecuacio´n de Bellman en tiempo discreto. La idea principal es hacer una “aproximacio´n disc- reta” del problema y usar la te´cnica de programacio´n dina´mica desarrollada en la Seccio´n 2.3. Por simplicidad, primero se considera el caso auto´nomo, es decir, cuando las funciones f y g no dependen explı´citamente de t. En este caso el sistema dina´mico (3.1) se reduce a x˙(t) = f (x(t), u(t)), para t ∈ [0, T], x(0) = x0 dado, (3.3) mientras que el funcional objetivo adquiere la forma∫ T 0 g(x(t), u(t)) dt + S(x(T)). (3.4) Si se divide el horizonte temporal [0, T] en N subintervalos de longitud igual a δ := T N , se tienen las variables discretas xk := x(kδ), k = 0, 1, . . . , N, uk := u(kδ), k = 0, 1, . . . , N. Con estas variables se tiene la siguiente aproximacio´n del sistema dina´mico xk+1 = xk + δ f (xk, uk), k = 0, 1, . . . , N − 1, y la funcio´n objetivo N−1 ∑ k=0 δg(xk, uk) + S(xN). Defı´nanse J(τ, x) := ma´x u(·) { ∫ T τ g(x(t), u(t)) dt + S(x(T)) ∣∣∣∣ x(τ) = x}, Jδ(sδ, x) := ma´xuk { N−1 ∑ k=s δg(xk, uk) + S(xN) ∣∣∣∣ xs = x}. Usando el algoritmo de PD se tiene, para s = N Jδ(Nδ, x) = S(x), 54 y para s = N − 1, N − 2, . . . , 0 Jδ(sδ, x) = ma´xu {g(x, u)δ+ Jδ((s + 1)δ, x + δ f (x, u))}. Suponiendo que τ = sδ, la igualdad anterior se puede reescribir como Jδ(τ, x) = ma´xu {g(x, u)δ+ Jδ(τ + δ, x + δ f (x, u))}. (3.5) Conside´rese la expansio´n de Taylor2 (de primer orden) para Jδ alrededor del punto (τ, x) Jδ(τ + δ, x + δ f (x, u)) = Jδ(τ, x) + Dτ Jδ(τ, x) · δ+ Dx Jδ(τ, x) · δ f (x, u) + o(δ), donde o(δ) es tal que lı´mδ→0 o(δ) δ = 0, sustituyendo esta u´ltima expresio´n en (3.5) se obtiene 0 = ma´x u {g(x, u) + Dτ Jd(τ, x) + Dx Jd(τ, x) f (x, u) + o(δ)/δ}. Tomando el lı´mite cuando δ → 0 y suponiendo que lı´mδ→0 Jδ(τ, x) = J(τ, x), se deduce la ecuacio´n de Hamilton–Jacobi–Bellman 0 = ma´x u {g(x, u) + Dτ J(τ, x) + Dx J(τ, x) f (x, u)}, con la condicio´n de frontera J(T, x) = S(x). Teorema 3.2. Supo´ngase que V : [0, T]× X → R satisface la ecuacio´n de HJB 0 = ma´x u {g(x, u) + DτV(τ, x) + DxV(τ, x) f (x, u)}, (3.6) y la condicio´n de frontera V(T, x) = S(x). (3.7) Supo´ngase tambie´n que u∗ = µ∗(τ, x) maximiza el lado derecho de (3.6), sea x∗ la corre- spondiente trayectoria de estado, i.e., x˙∗(t) = f (x∗(t), µ∗(t, x∗(t))), t ∈ [0, T], x∗(0) = x0. Entonces u∗ maximiza (3.4), sujeto a (3.3), ma´s au´n V(τ, x) = J(τ, x) ∀τ, x. (3.8) 2Ver Sundaram (1996), Teorema 1.75, p. 64. 55 Demostracio´n. Sea (x(·), u(·)) cualquier par admisible, entonces 0 ≥ g(x(τ), u(τ)) + DτV(τ, x(τ)) + DxV(τ, x(τ)) f (x(τ), u(τ)) por (3.6) = g(x(τ), u(τ)) + d dτ V(τ, x(τ)) por (3.3). Integrando ambos lados de la desigualdad anterior y usando el Teorema funda- mental del ca´lculo 0 ≥ ∫ T 0 g(x(τ), u(τ)) dτ +V(T, x(T))−V(0, x(0)). Luego, por la condicio´n de frontera (3.7) V(0, x(0)) ≥ ∫ T 0 g(x(τ), u(τ)) dτ + S(x(T)). (3.9) Si ahora se hace el mismo ana´lisis para el par admisible (x∗, u∗) la desigualdad anterior se convierte en la igualdad V(0, x(0)) = ∫ T 0 g(x∗(τ), u∗(τ)) dτ + S(x∗(T)). (3.10) De las ecuaciones (3.9) y (3.10) se concluye que u∗ es o´ptimo y, adema´s, V(0, x(0)) = J(0, x(0)). La igualdad (3.8) se demuestra repitiendo los pasos anteriores para un tiempo inicial τ ∈ [0, T] y un estado x ∈ X cualesquiera. Corolario 3.3. Supo´ngase que V : [0, T]× X → R satisface la ecuacio´n de HJB 0 = ma´x u {g(τ, x, u) + DτV(τ, x) + DxV(τ, x) f (τ, x, u)}, (3.11) y la condicio´n de frontera V(T, x) = S(T, x). (3.12) Supo´ngase tambie´n que u∗ = µ∗(τ, x) maximiza el lado derecho de (3.11), sea x∗ la correspondiente trayectoria de estado, i.e., x˙∗(t) = f (t, x∗(t), µ∗(t, x∗(t))), t ∈ [0, T], x∗(0) = x0. Entonces u∗ maximiza (3.2), sujeto a (3.1), ma´s au´n V(τ, x) = J(τ, x) ∀τ, x. (3.13) Demostracio´n. Ejercicio 3.1. 56 3.3. Principio del ma´ximo de Pontryagin En esta seccio´n se estudia una te´cnica muy usada para resolver un PCO: el Principio del Ma´ximo de Pontryagin3 (PMP). Conside´rese el PCO descrito en la Seccio´n 3.1 ma´x u {∫ T 0 g(t, x(t), u(t)) dt + S(T, x(T)) } (3.14) s. a x˙(t) = f (t, x(t), u(t)), x(0) = x0 se define el Hamiltoniano, H : R×Rn ×Rm ×Rn → R, mediante H(t, x, u,λ) := g(t, x, u) + 〈λ, f (t, x, u)〉 . (3.15) Por razones de consistencia en la notacio´n, se asume que λ es un vector fila, a diferencia del resto de vectores y funciones. Teorema 3.4 (Principio del ma´ximo de Pontryagin). Sea (x∗(·), u∗(·)) una solucio´n del PCO (3.14). Entonces existe una funcio´n λ : [0, T] → Rn continua, diferenciable a trozos y con derivada continua que satisface la ecuacio´n adjunta − λ˙(t) = DxH(t, x∗(t), u∗(t),λ(t)) (3.16) junto con la condicio´n de frontera λ(T) = DxS(x∗(T), T), (3.17) y la maximizacio´n del Hamiltoniano H(t, x∗(t), u∗(t),λ(t)) = ma´x u∈U(t,x∗(t)) {H(t, x∗(t), u,λ(t))}. (3.18) Las ecuaciones (3.16) y (3.18) se satisfacen para “casi todo” t ∈ [0, T]. Observacio´n 3.5. En la siguiente demostracio´n del PMP se supone que la funcio´n de valor V(τ, x) := ma´x u(·) { ∫ T τ g(t, x(t), u(t)) dt + S(T, x(T)) ∣∣∣∣ x(τ) = x} (3.19) es de clase C2. Se asume, adema´s, que en el lado derecho de la ecuacio´n de HJB se puede usar algu´n teorema de la envolvente (ver Ejercicio 2.18). Estos supuestos no siempre se cumplen, por ejemplo, en el Ejercicio 3.4 se pide demostrar que la funcio´n de valor no es diferenciable. Una demostracio´n ma´s general del PMP puede encontrarse en Fleming y Rishel (1975) [Cap. 2] o Gamkrelidze (1978). ♦ 3El nombre viene de la ecuacio´n (3.18) 57 Demostracio´n. Por el Corolario 3.3, la ecuacio´n de HJB − DtV(t, x) = ma´xu {g(t, x, u) + DxV(t, x) f (t, x, u)} (3.20) y la condicio´n de frontera V(T, x) = S(T, x) se satisfacen para el par o´ptimo (x∗(·), u∗(·)). Defı´nase λ(t) := DxV(t, x∗(t)), (3.21) entonces se cumple la condicio´n de frontera (3.17) y la maximizacio´n del Hamilto- niano (3.18). Derivando ambos lados de (3.20) con respecto a x y usando el Ejercicio 2.18 se obtiene que −Dt[DxV(t, x)] = Dx[g(t, x, u∗(·)) + DxV(t, x) f (t, x, u∗(·))], en particular, para x = x∗(t) esta igualdad se reduce a −λ˙(t) = DxH(t, x∗(t), u∗(t),λ(t)). Condiciones suficientes para la optimalidad El PMP da condiciones necesarias para la optimalidad, sin embargo, bajo hi- po´tesis de concavidad y convexidad el PMP es suficiente para encontrar controles o´ptimos. Teorema 3.6 (Mangasarian). Sean (x∗(·), u∗(·)), λ(·) un par admisible y una funcio´n que satisfacen el PMP. Supo´ngase que U(x, t) es convexo para todo (x, t),H es una funcio´n co´ncava en (x, u) y S es co´ncava en x. Entonces (x∗(·), u∗(·)) es o´ptimo para el problema (3.14). Demostracio´n. Sea (x(·), u(·)) cualquier par admisible, para simplificar la notacio´n defı´nanse ∆ := ∫ T 0 g(t, x∗(t), u∗(t)) dt + S(T, x∗(T))− ∫ T 0 g(t, x(t), u(t)) dt + S(T, x(T)), H∗ := H(t, x∗, u∗,λ), H := H(t, x, u,λ), S∗ := S(T, x∗(T)), S := S(T, x(T)). Por la concavidad de H y S H∗ −H ≥ DxH∗(x∗ − x) + DuH∗(u∗ − u) ≥ DxH∗(x∗ − x) por (3.18) = λ˙(x− x∗) por (3.16), (3.22) 58 adema´s, S∗ − S ≥ DxS∗ · (x∗(T)− x(T)). (3.23) Luego, ∆ = ∫ T 0 (H∗ −H) + ∫ T 0 λ(x˙− x˙∗) + S∗ − S ≥ ∫ T 0 λ˙(x− x∗) + ∫ T 0 λ(x˙− x˙∗) + S∗ − S por (3.22) ≥ ∫ T 0 D[λ(x− x∗)] + DxS∗(x∗(T)− x(T)) por (3.23) ≥ λ(T)(x(T)− x∗(T))− 0+ λ(T)(x∗(T)− x(T)) por (3.17) = 0 Definicio´n 3.7. Para el PCO (3.14) se define el Hamiltoniano maximizado, Hˆ : R× Rn ×Rn → R, mediante Hˆ(t, x,λ) := ma´x u∈U(t,x) {H(t, x, u,λ)}. Con la notacio´n introducida en la demostracio´n del Teorema 3.6 y suponiendo que se satisfacen las condiciones necesarias del PMP, se cumple que Hˆ(t, x∗,λ) = H(t, x∗, u∗,λ) = H∗. Si el Hamiltoniano maximizado Hˆ es una funcio´n co´ncava en x y se supone que DxHˆ(t, x,λ) = Dx[H(t, x, u∗(x),λ)], (3.24) entonces la desigualdad (3.22) puede demostrarse de forma alternativa H∗ −H ≥ Hˆ(t, x∗,λ)− Hˆ(t, x,λ) ≥ DxHˆ(t, x∗,λ) · (x∗ − x) = Dx[H(t, x∗, u∗,λ)] · (x− x∗) por (3.25) = λ˙(x− x∗) por (3.17). Con esta u´ltima desigualdad y bajo la hipo´tesis hecha en (3.24) se demuestra el siguiente teorema. Teorema 3.8 (Arrow). Sean (x∗(·), u∗(·)), λ(·) un par admisible y una funcio´n que satis- facen el PMP. Supo´ngase que Hˆ y S son funciones co´ncavas en x. Entonces (x∗(·), u∗(·)) es o´ptimo para el problema (3.14). El bosquejo de la demostracio´n del Teorema 3.8 esta´ basado en (3.24), donde se asume implı´citamente que u∗ es interior. Una demostracio´n alternativa, pero que asume que x∗ es interior, se puede encontrar en Grass et al. (2008) [Teorema 3.30, p.121]. 59 3.4. Ca´lculo de variaciones. Ecuacio´n de Euler El problema ma´s sencillo del ca´lculo de variaciones es de la forma ma´x x(·) { ∫ t1 t0 F(t, x(t), x˙(t)) dt ∣∣∣∣ x(t0) = x0, x(t1) = x1}. (3.25) donde x(·) : [t0, t1] → Rn, F : [t0, t1]×Rn ×Rn → R. Por simplicidad se asume que x, F son de clase C2. Lema 3.9 (Fo´rmula de Leibniz). Sea f : [a, b]× [c, d] → R una funcio´n de clase C2. Entonces d dε ∫ b a f (t, ε) dt = ∫ b a ∂ f ∂ε (t, ε) dt. Demostracio´n. Ver Rudin (1976) [Teorema 9.42, pp. 236–237]. Teorema 3.10. Si x∗(·) es solucio´n del problema (3.25), entonces satisface la ecuacio´n de Euler ∂F ∂x (t, x∗(t), x˙∗(t))− d dt ∂F ∂x˙ (t, x∗(t), x˙∗(t)) = 0. (3.26) Demostracio´n. Sea h : [t0, t1] → Rn cualquier funcio´n de clase C2 tal que h(t0) = h(t1) = 0. Defı´nase x(t) := x∗(t) + εh(t), ε ∈ R, esta funcio´n satisface que x(t0) = x0 y x(t1) = x1, es decir, x(·) es admisible para el problema (3.25). Defı´nase tambie´n J : R→ R, mediante J(ε) := ∫ t1 t0 F(t, x∗(t) + εh(t), x˙∗(t) + εh˙(t)) dt. Dado que x∗(·) es o´ptimo, se verifica la desigualdad J(ε) ≤ J(0), es decir, la funcio´n J tiene un ma´ximo (interior) en ε = 0 por lo que su derivada se anula en este punto. Por la Fo´rmula de Leibniz dJ dε (ε) = ∫ t1 t0 ∂F ∂ε (t, x∗(t) + εh(t), x˙∗(t) + εh˙(t)) dt, luego dJ dε (0) = ∫ t1 t0 [ ∂F ∂x (t, x∗(t), x˙∗(t)) · h(t) + ∂F ∂x˙ (t, x∗(t), x˙∗(t)) · h˙(t) ] dt = 0. (3.27) Si se integra por partes el segundo te´rmino del integrando∫ t1 t0 ∂F ∂x˙ (t, x∗(t), x˙∗(t)) · h˙(t) dt = − ∫ t1 t0 [ d dt ∂F ∂x˙ (t, x∗(t), x˙∗(t)) ] h(t) dt, 60 donde se ha usado la condicio´n h(t0) = h(t1) = 0. Volviendo a (3.27)∫ t1 t0 [ ∂F ∂x (t, x∗(t), x˙∗(t))− d dt ∂F ∂x˙ (t, x∗(t), x˙∗(t)) ] h(t)dt = 0, puesto que la funcio´n h es arbitraria, por el Ejercicio 3.13, se cumple que ∂F ∂x (t, x∗(t), x˙∗(t))− d dt ∂F ∂x˙ (t, x∗(t), x˙∗(t)) ≡ 0. Teorema 3.11. Si x∗(·) satisface la ecuacio´n de Euler y F es co´ncava en (x, x˙), entonces x∗(·) es una solucio´n para el problema (3.25). Demostracio´n. Ejercicio 3.14. Otras condiciones terminales Teorema 3.12. Si x∗(·) es solucio´n del problema ma´x x(·) { ∫ t1 t0 F(t, x(t), x˙(t)) dt ∣∣∣∣ x(t0) = x0, x(t1) libre}, (3.28) entonces satisface la ecuacio´n de Euler ∂F ∂x (t, x∗(t), x˙∗(t))− d dt ∂F ∂x˙ (t, x∗(t), x˙∗(t)) = 0 y la condicio´n de transversalidad ∂F ∂x˙ (t1, x∗(t1), x˙∗(t1)) = 0. (3.29) Demostracio´n. Defı´nase x1 := x∗(t1), de este modo el problema (3.28) es de la forma (3.25) y se puede usar el Teorema 3.10 por lo que se debe satisfacer la ecuacio´n de Euler. La condicio´n de transversalidad (3.29) se demuestra de una forma similar a la demostracio´n del Teorema 3.10. Conside´rense funciones de la forma x(t) := x∗(t) + εh(t), ε ∈ R, donde h es de clase C2 y h(t0) = 0; de este modo x(t0) = x0 y x(t1) no esta´ re- stringido. Como x∗(·) es un ma´ximo se cumple (3.27), sin embargo, la integracio´n por partes da como resultado∫ t1 t0 ∂F ∂x˙ (t, x∗(t), x˙∗(t)) · h˙(t) dt = ∂F ∂x˙ (t1, x∗(t1), x˙∗(t1))h(t1) − ∫ t1 t0 [ d dt ∂F ∂x˙ (t, x∗(t), x˙∗(t)) ] h(t) dt. 61 Sustituyendo en (3.27) y usando la ecuacio´n de Euler, se llega a ∂F ∂x˙ (t1, x∗(t1), x˙∗(t1))h(t1) = 0, por ser h arbitraria se puede escoger de tal forma que h(t1) 6= 0 y por lo tanto ∂F ∂x˙ (t1, x∗(t1), x˙∗(t1)) = 0. Observacio´n 3.13. El problema (3.28) es una caso particular de un PCO (3.14) y, por lo tanto, es posible deducir la ecuacio´n de Euler a partir del PMP (siempre que u∗ sea interior). En efecto, so´lo hay que hacer T = t1, x˙(t) = u(t), g(t, x(t), u(t)) = F(t, x(t), x˙(t)) y S(T, x(T)) ≡ 0. Usando el PMP, la ecuacio´n (3.16) se convierte en − λ˙ = ∂F ∂x , (3.30) mientras que la maximizacio´n del Hamiltoniano satisface la condicio´n necesaria ∂F ∂u + λ = 0. (3.31) Al tomar la derivada con respecto a t en (3.31) y combinando con (3.30) se tiene la ecuacio´n de Euler. Ma´s au´n, en el caso escalar (cuando n = 1 en el problema (3.25)) supo´ngase que H cumple la condicio´n de segundo orden DuuH ≤ 0. Entonces F satisface otra condicio´n necesaria Dx˙x˙F(t, x∗(t), x˙∗(t)) ≤ 0, llamada condicio´n de Legendre, ver Cerda´ Tena (2001) [Teorema 2.2, pp. 41–42] o Kamien y Schwartz (1991) [Seccio´n 6, pp. 41–45]. ♦ Teorema 3.14. Si x∗(·) es solucio´n del problema ma´x x(·) { ∫ t1 t0 F(t, x(t), x˙(t)) dt ∣∣∣∣ x(t0) = x0, x(t1) ≥ a}, (3.32) entonces satisface la ecuacio´n de Euler ∂F ∂x (t, x∗(t), x˙∗(t))− d dt ∂F ∂x˙ (t, x∗(t), x˙∗(t)) = 0 y la condicio´n de transversalidad ∂F ∂x˙ (t1, x∗(t1), x˙∗(t1)) ≤ 0, con igualdad si x∗(t1) > a. (3.33) 62 Demostracio´n. Defı´nase x1 := x∗(t1) ≥ a, ası´ el problema (3.32) es de la forma (3.25); la ecuacio´n de Euler se sigue del Teorema 3.10. Para verificar la condicio´n (3.33), conside´rense funciones x(t) := x∗(t) + εh(t), tales que x∗(t1) + εh(t1) ≥ a (3.34) donde h es de clase C2 y h(t0) = 0; de este modo x(t0) = x0 y x(t1) ≥ a. Con la misma notacio´n que se uso´ en la demostracio´n del Teorema 3.12 se tiene que dJ dε (0) = ∂F ∂x˙ (t1, x∗(t1), x˙∗(t1))h(t1). (3.35) Puesto que x∗(t1) ≥ a, se distinguen dos casos: x∗(t1) > a y x∗(t1) = a. Caso 1. Supo´ngase que x∗(t1) > a. La condicio´n de factibilidad (3.34) se cumple para cualquier valor no negativo de εh(t1), mientras que si εh(t1) es negati- vo, entonces se debe escoger |ε| suficientemente pequen˜o. La optimalidad de x∗(t1) implica la desigualdad J(0) ≥ J(ε) en alguna vecindad del 0, es decir, J tiene un ma´ximo local en ε = 0, por lo que la derivada de J debe anularse en ε = 0, i. e., ∂F ∂x˙ (t1, x∗(t1), x˙∗(t1))h(t1) = 0. La funcio´n h puede tomar valores positivos o negativos en t1, luego ∂F ∂x˙ (t1, x∗(t1), x˙∗(t1)) = 0. Caso 2. Cuando x∗(t1) = a, la condicio´n de factibilidad (3.34) se cumple siempre que εh(t1) ≥ 0. Si la funcio´n h es tal que h(t1) > 0, entonces J(ε) ≤ J(0) para todo ε > 0; luego dJ dε (0) = ∂F ∂x˙ (t1, x∗(t1), x˙∗(t1))h(t1) ≤ 0, de donde ∂F ∂x˙ (t1, x∗(t1), x˙∗(t1)) ≤ 0. En contraparte, si h(t1) < 0, entonces tiene lugar la desigualdad J(ε) ≤ J(0) para todo ε < 0; luego dJ dε (0) = ∂F ∂x˙ (t1, x∗(t1), x˙∗(t1))h(t1) ≥ 0, por lo que ∂F ∂x˙ (t1, x∗(t1), x˙∗(t1)) ≤ 0. 63 Como conclusio´n de ambos casos se tiene que ∂F ∂x˙ (t1, x∗(t1), x˙∗(t1)) ≤ 0, y, adema´s, la igualdad se satisface cuando x∗(t1) > a (Caso 1). Funcional objetivo con valor de salvamento Teorema 3.15. Si x∗(·) es solucio´n del problema ma´x x(·) { ∫ t1 t0 F(t, x(t), x˙(t)) dt + S(t1, x(t1)) ∣∣∣∣ x(t0) = x0, x(t1) ≥ a}, (3.36) entonces satisface la ecuacio´n de Euler ∂F ∂x (t, x∗(t), x˙∗(t))− d dt ∂F ∂x˙ (t, x∗(t), x˙∗(t)) = 0 y la condicio´n de transversalidad ∂F ∂x˙ (t1, x∗(t1), x˙∗(t1)) + ∂S ∂x (t1, x(t1)) ≤ 0, con igualdad si x∗(t1) > a. (3.37) Demostracio´n. La conclusio´n del teorema se sigue de la igualdad S(t1, x(t1)) + ∫ t1 t0 F = S(t0, x(t0)) + ∫ t1 t0 [ F + ∂S ∂t + x˙ ∂S ∂x ] y del Teorema 3.14. 3.5. Algunas extensiones del PMP Restricciones terminales mu´ltiples Observacio´n 3.16. En el PCO esta´ndar (3.14) el estado terminal x(T) esta´ libre, una pregunta natural es ¿que´ sucede con el PMP cuando x(T) = x1? Para responder esta pregunta obse´rvese que las funciones V(τ, x) := ma´x u(·) { ∫ T τ g(x(t), u(t)) dt + S(x(T)) ∣∣∣∣ x(τ) = x}, V˜(τ, x) := ma´x u(·) { ∫ T τ g(x(t), u(t)) dt + S(x(T)) ∣∣∣∣ x(τ) = x, x(T) = xT}, (ambos problemas sujetos a la dina´mica (3.1)) son distintas, de hecho, V(τ, x) ≥ V˜(τ, x). 64 En la demostracio´n del PMP la funcio´n λ fue definida mediante λ(t) = DxV(t, x∗(t)), de donde se tiene la condicio´n λ(T) = DxS(x∗(T), T), a partir de la ecuacio´n de HJB y la condicio´n de frontera (3.7). Puesto que V(τ, x) 6= V˜(τ, x), la condicio´n (3.17) del PMP no tiene que ser cierta. ♦ Observacio´n 3.17. Si el problema (3.36) se escribe como un PCO con x˙ = u, en- tonces la condicio´n de primer orden en (3.18) se convierte en 0 = DuH(t, x∗(t), u∗(t),λ(t)) = Dx˙F(t, x∗(t), x˙∗(t)) + λ(t), ∀ t ∈ [0, T]. En particular, −λ(T) = Dx˙F(T, x∗(T), x˙∗(T)), sustituyendo en la condicio´n de transversalidad (3.37) −λ(T) + ∂S ∂x (T, x∗(T)) ≤ 0, con igualdad si x∗(T) > a. Aunque esta condicio´n de transversalidad se dedujo para un PCO particular, es va´lida para problemas ma´s generales. ♦ En el siguiente teorema se generaliza el PMP (Teorema 3.4), permitiendo dis- tintas condiciones terminales como en la Observacio´n (3.16) o en la Observacio´n (3.17). Supo´ngase que los conjuntos I, J, K son disjuntos a pares y la unio´n de los tres es igual a {1, 2, . . . , n}. Conside´rese el siguiente PCO ma´x u(·) {∫ T 0 g(t, x(t), u(t)) dt + S(T, x(T)) } s. a x˙(t) = f (t, x(t), u(t)), x(0) = x0, xi(T) libre, i ∈ I, (3.38) xj(T) = xjT, j ∈ J, xk(T) ≥ ak, k ∈ K. Teorema 3.18. Sea (x∗(·), u∗(·)) una solucio´n del PCO (3.38). Entonces existen una constante λ0 ≥ 0 y una funcio´n λ : [0, T] → Rn continua, diferenciable a trozos y con derivada continua, que satisfacen la ecuacio´n adjunta − λ˙(t) = DxH(t, x∗(t), u∗(t),λ0,λ(t)), (3.39) las condiciones de frontera λi(T) = λ0 ∂S ∂xi (x∗(T), T), i ∈ I, (3.40) 65 las condiciones terminales xj(T) = xjT, j ∈ J, (3.41) las condiciones de transversalidad λ0 ∂S ∂xk (T, x∗(T))− λk(T) ≤ 0, con igualdad si x∗k (T) > ak, k ∈ K (3.42) y la maximizacio´n del Hamiltoniano H(t, x∗(t), u∗(t),λ0,λ(t)) = ma´x u∈U(t,x∗(t)) {H(t, x∗(t), u,λ0,λ(t))}, (3.43) donde H(t, x, u,λ0,λ) := λ0g(t, x, u) + λ · f (t, x, u). (3.44) Las ecuaciones (3.39) y (3.43) se satisfacen para “casi todo” t ∈ [0, T], mientras que (λ0,λ(t)) 6= 0 ∀ t ∈ [0, T]. (3.45) Observacio´n 3.19. En el Teorema 3.18 el Hamiltoniano esta´ dado por (3.44), e´ste es distinto al usado en el Teorema 3.4 ya que aparece el escalar λ0. En general, el escalar λ0 es positivo por lo que el Hamiltoniano (3.44) puede dividirse por λ0 y considerar λ/λ0 en lugar de λ. Aunque en una gran mayorı´a de libros sobre control o´ptimo asumen que λ0 = 1, la formulacio´n correcta del PMP con restricciones terminales debe incluir este escalar con la posibilidad que λ0 sea igual a cero (ver Ejercicio 3.24). Sin embargo, tal como se demuestra en la siguiente proposicio´n, para el problema (3.14) se tiene que λ0 6= 0, luego, el PMP es un caso particular del Teorema 3.18, con λ0 = 1. ♦ Proposicio´n 3.20. Para el PCO (3.14) el escalar λ0, del Teorema 3.18, es distinto de cero. Demostracio´n. Supo´ngase que λ0 = 0, por las condiciones de frontera (3.40) se tiene que λ(T) = 0. Luego, (λ0,λ(T)) = (0, 0) lo que cotradice a (3.45). Hamiltoniano de valor corriente En algunas aplicaciones econo´micas los beneficios se consideran en valor pre- sente, por lo que es comu´n trabajar con problemas de la forma ma´x u(·) {∫ T 0 e−rtg(t, x(t), u(t)) dt + e−rTS(T, x(T)) } s. a x˙(t) = f (t, x(t), u(t)), x(0) = x0, (3.46) x(T) libre. 66 Para este tipo de problemas es conveniente definir el Hamiltoniano de valor cor- riente H˜(t, x, u, p0, p) := g(t, x, u) + p · f (t, x, u), (3.47) donde p(t) := ertλ(t). (3.48) El nombre para H˜ viene de la igualdad H˜ = ertH. A partir del Teorema 3.4 se puede demostrar el siguiente resultado. Teorema 3.21 (PMP con Hamiltoniano de valor corriente). Sea (x∗(·), u∗(·)) una solucio´n del PCO (3.46). Entonces existe una funcio´n λ : [0, T] → Rn continua, diferen- ciable a trozos y con derivada continua que satisface la ecuacio´n adjunta − p˙(t) + rp(t) = DxH˜(t, x∗(t), u∗(t),λ(t)) (3.49) junto con la condicio´n de frontera λ(T) = DxS(x∗(T), T), (3.50) y la maximizacio´n del Hamiltoniano H˜(t, x∗(t), u∗(t),λ(t)) = ma´x u∈U(t,x∗(t)) {H˜(t, x∗(t), u,λ(t))}. (3.51) Las ecuaciones (3.49) y (3.51) se satisfacen para “casi todo” t ∈ [0, T]. Demostracio´n. Ejercicio 3.23. Si en el problema (3.46) se agregan restricciones terminales mu´ltiples, es decir, se consideran problemas de la forma ma´x u(·) {∫ T 0 e−rtg(t, x(t), u(t)) dt + e−rTS(T, x(T)) } s. a x˙(t) = f (t, x(t), u(t)), x(0) = x0, xi(T) libre, i ∈ I, (3.52) xj(T) = xjT, j ∈ J, xk(T) ≥ ak, k ∈ K, entonces el Teorema 3.18 puede reescribirse de la siguiente forma. Teorema 3.22. Sea (x∗(·), u∗(·)) una solucio´n del PCO (3.52). Entonces existen una constante p0 ≥ 0 y una funcio´n p : [0, T] → Rn continua, diferenciable a trozos y con derivada continua, que satisfacen la ecuacio´n adjunta − p˙(t) + rp(t) = DxH˜(t, x∗(t), u∗(t), p0, p(t)), (3.53) 67 las condiciones de frontera pi(T) = p0 ∂S ∂xi (x∗(T), T), i ∈ I, (3.54) las condiciones terminales xj(T) = xjT, j ∈ J, (3.55) las condiciones de transversalidad p0 ∂S ∂xk (T, x∗(T))− pk(T) ≤ 0, con igualdad si x∗k (T) > ak, k ∈ K (3.56) y la maximizacio´n del Hamiltoniano H˜(t, x∗(t), u∗(t), p0, p(t)) = ma´x u∈U(t,x∗(t)) {H˜(t, x∗(t), u, p0, p(t))}, (3.57) donde H˜(t, x, u, p0, p) := p0g(t, x, u) + p · f (t, x, u). (3.58) Las ecuaciones (3.53) y (3.57) se satisfacen para “casi todo” t ∈ [0, T], mientras que (p0, p(t)) 6= 0 ∀ t ∈ [0, T]. (3.59) Horizonte temporal infinito En el siguiente PCO se asume que la integral (impropia) converge para cualquier par admisible (x(·), u(·)) ma´x u(·) {∫ ∞ 0 g(t, x(t), u(t)) dt } s. a x˙(t) = f (t, x(t), u(t)), x(0) = x0, lı´m T→∞ xi(T) libre, i ∈ I, (3.60) lı´m T→∞ xj(T) = xjT, j ∈ J, lı´m T→∞ xk(T) ≥ ak, k ∈ K. Teorema 3.23. Sean (x∗(·), u∗(·)), λ(·) un par admisible y una funcio´n que satisfacen satisfacen la ecuacio´n adjunta − λ˙(t) = DxH(t, x∗(t), u∗(t),λ0,λ(t)), (3.61) y la maximizacio´n del Hamiltoniano H(t, x∗(t), u∗(t),λ0,λ(t)) = ma´x u∈U(t,x∗(t)) {H(t, x∗(t), u,λ0,λ(t))}, (3.62) 68 donde H(t, x, u,λ0,λ) := λ0g(t, x, u) + λ · f (t, x, u). (3.63) Supo´ngase que λ0 = 1, U(x, t) es convexo para todo (x, t), H es una funcio´n co´ncava en (x, u) y para cualquier trayectoria de estado x(·) lı´m T→∞ λ(T) · [x(T)− x∗(T)] ≥ 0. (3.64) Entonces (x∗(·), u∗(·)) es o´ptimo para el problema (3.60). Demostracio´n. Por argumentos similares a los del Teorema 3.6 se tiene la desigual- dad ∫ T 0 g(t, x∗(t), u∗(t)) dt− ∫ T 0 g(t, x(t), u(t)) dt ≥ λ(T) · [x(T)− x∗(T)], la conclusio´n del teorema se sigue al hacer T → ∞ y usar (3.64). Observacio´n 3.24. En el Teorema 3.23 se supone que para cualquier par admisible (x(·), u(·)), existe el lı´m T→∞ ∫ T 0 g(t, x(t), u(t)) dt, sin embargo, en algunas aplicaciones la integral no siempre es convergente, cuando e´ste es el caso se consideran algunos otros criterios de optimalidad. Por ejemplo, se dice que (x∗(·), u∗(·)) es o´ptimo bajo el criterio de optimalidad rebasante (over- taking optimal) si para cualquier par admisible (x(·), u(·)) existe un nu´mero real Tu tal que∫ T 0 g(t, x∗(t), u∗(t))− ∫ T 0 g(t, x(t), u(t)) ≥ 0 para todo T ≥ Tu. Otros criterios son catching up optimal o sporadically catching up optimal, entre otros. Una discusio´n completa sobre PCOs con horizonte infinito puede verse en Carlson et al. (1991). ♦ 3.6. Ejercicios 3.1 (Problemas LQ) Resuelva el siguiente problema con ley de transicio´n lineal y costo cuadra´tico ma´x u(·) { ∫ T 0 [q(x(t))2 + r(u(t))2]dt+Q(x(t))2 ∣∣∣∣ x˙(t) = ax(t)+ bu(t), x(0) = x0}, donde r > 0, q, Q ≥ 0, a, b ∈ R. Sugerencia: Considere la funcio´n de valor V(t, x) = k(t)x2. 69 Respuesta: µ(t, x) = −k(t) bxr , donde k es la solucio´n de la ecuacio´n diferencial de Riccati k˙ + 2ak = b 2 r k 2 − q con k(T) = Q. 3.2 (Lab) Encuentre la estrategia markoviana o´ptima del siguiente problema ma´x u(·) { ∫ T 0 (u(t))2dt + 2(x(t))2 ∣∣∣∣ x˙(t) = 12 x(t) + u(t), x(0) = x0 } . Determine tambie´n el control o´ptimo de lazo abierto y la correspondiente trayectoria de estado. Respuesta: x∗(t) = 2x02eT−1 e T− t2 − x02eT−1 e t 2 , u∗(t) = − 2x02eT−1 eT− t 2 . 3.3 Demuestre el Corolario 3.3. 3.4 (Lab) Encuentre la funcio´n de valor V(τ, x), dada por (3.19), para el siguiente PCO ma´x u(·) { ∫ T 0 x(t)u(t) dt ∣∣∣∣ x(0) = x0, u(t) ∈ [−1, 1]}. Asimismo, demuestre que esta funcio´n no es diferenciable en x = 0 para τ < T. Respuesta: V(τ, x) = (T − τ)2/2+ (T − τ)|x| 3.5 Considere un mercado para un bien durable que consiste de varios consumi- dores por el lado de la demanda y una sola empresa por el lado de la oferta. Sea el mercado potencial (total de posibles compradores) constante e igual a M y denote por x(t) el porcentaje del mercado que ha comprado el producto del monopolista en el inatante t. Ma´s au´n, denote la intensidad de la publi- cidad hecha por la empresa al tiempo t por u(t) y asuma que los costos de publicidad esta´n dados por la funcio´n cuadra´tica u2(t)/2. (a) Interprete la siguiente dina´mica para el estado x˙(t) = u(t)M[1− x(t)]. (b) El objetivo es maximizar el nu´mero total de consumidores hasta el tiempo T menos los costos totales en los que se incurre, i. e., el funcional objetivo es F(u(·)) := ∫ T 0 −u2(t) 2 dt + x(T). Muestre que u∗(t) = u¯ para todo t ∈ [0, T]. 70 Respuesta: El control o´ptimo u¯ es tal que u¯eu¯MT = M. 3.6 El PCO esta´ndar (3.14), considerado en la Seccio´n 3.3, se dice que esta´ en la forma de Bolza. Considere la misma ley de movimiento pero ahora con un funcional objetivo de la forma S(x(T)), se dice que este funcional esta´ en la forma de Mayer. Una tercera forma para el funcional objetivo es la de Lagrange∫ T 0 g(t, x(t), u(t)) dt. Demuestre que las tres formulaciones son equivalentes, es decir, cada forma del funcional objetivo puede expresarse en cualquiera de las otras dos. Sugerencia: Ver Cerda´ Tena (2001) [Seccio´n 4.2, pp. 115–118]. 3.7 Resuelva el siguiente PCO, usando el PMP ma´x u(·) { ∫ 1 0 [x(t) + u(t)]dt ∣∣∣∣ x˙(t) = 1− u2(t), x(0) = 1}. 3.8 Considere el siguiente problema de optimizacio´n dina´mica ma´x I(·) { ∫ T 0 [q f (K(t))− c(I(t))]dt ∣∣∣∣ K˙(t) = I(t)− δK(t), K(0) = K0}. (a) Formule una explicacio´n econo´mica para este PCO. (b) Escriba las condiciones necesarias del PMP. (c) Suponga que f (K) = K − 0.03K2, q = 1, c(I) = I2, δ = 0.1, K0 = 10 y T = 10. Explique co´mo resolver el problema. (d) ¿Se verfican las condiciones suficientes de Mangasarian o Arrow? 3.9 Resuelva el siguiente PCO, usando el PMP ma´x u(t)∈[−1,1] { ∫ 1 0 [−x(t)]dt ∣∣∣∣ x˙(t) = u(t), x(0) = 1}. 3.10 (Lab) Encuentre el control o´ptimo y la correspondiente trayectoria de estado del siguiente PCO ma´x u(t)∈[−1,1] { ∫ 1 0 −x 2(t) 2 dt ∣∣∣∣ x˙(t) = u(t), x(0) = 1}. 71 3.11 Usando el PMP, encuentre el control o´ptimo y la funcio´n λ(·) del siguiente PCO ma´x u(t)∈[0,2] { ∫ 2 0 (2x(t)− 3u(t)− u2(t))dt ∣∣∣∣ x˙(t) = u(t) + x(t), x(0) = 5}. 3.12 Considere el PCO esta´ndar en el caso auto´nomo, i. e., se quiere maximizar (3.4) sujeto a (3.3). Suponga que el cada conjunto U(x(t)) es abierto. Demuestre que el Hamiltoniano, evaluado en las trayectorias o´ptimas, es una funcio´n con- stante. Sugerencia: Ver Kamien y Schwartz (1991) [Ejercicio II.2.8, p. 132]. 3.13 (Lab) Sea f : [t0, t1]→ Rn una funcio´n continua, tal que∫ t1 t0 〈 f (t), g(t)〉 dt = 0 para cualquier funcio´n g : [t0, t1] → Rn de clase C2 con g(t0) = g(t1) = 0. Demuestre que f (t) ≡ 0 en todo su dominio. Sugerencia: El caso escalar puede verse en Sydsæter et al. (2008) [Teorema 8.3.2, p. 296]. 3.14 (Lab) Demuestre el Teorema 3.11. 3.15 Suponga que x∗(·) satisface la ecuacio´n de Euler, la condicio´n de transversali- dad (3.29) y F es co´ncava. Demuestre que estas tres condiciones son suficientes para que x∗(·) resuelva el problema (3.28). 3.16 Considere la siguiente versio´n del modelo de Ramsey ma´x K(·) { ∫ T 0 U( f (K(t))− K˙(t))e−rtdt ∣∣∣∣ K(0) = K0, K(T) = KT}. Suponga que la funcio´n de utilidad y la de produccio´n satisfacen las siguientes condiciones f ′ > 0, f ′′ ≤ 0, U′ > 0, U′′ < 0 (3.65) (a) Interprete econo´micamente las hipo´tesis dadas por (3.65). (b) Demuestre que las trayectorias o´ptimas cumplen la siguiente relacio´n C˙ C = r− f ′(K) ε , donde ε := CU′′(C)/U′(C) es la elasticidad de la utilidad marginal. 72 (c) Empı´ricamente se ha estimado ε ≈ −0.6, demuestre que C˙ C > 0⇔ f ′(K) > r e interprete econo´micamente la u´ltima expresio´n. 3.17 Determine la trayectoria o´ptima del capital para el problema anterior si f (K) = bK y U(C) = C1−σ/(1− σ), donde b, σ > 0, σ 6= 1 y bσ 6= b− r. 3.18 Un monopolista enfrenta el siguiente PCO ma´x p(·) { ∫ T 0 [pD(p, p˙)− b(D(p, p˙))] ∣∣∣∣ p(0) = p0, p(T) = pT}. (a) Si p(t) representa el precio del bien producido en el tiempo t, interprete econo´micamente las funciones D(·, ·) y b(·). (b) Encuentre la ecuacio´n de Euler asociada a este problema. (c) Resuelva la ecuacio´n de Euler si b(q) = αq2 + βq + γ y D(p, p˙) = −Ap + Bp˙ + C, suponga que todos los para´metros son positivos. 3.19 Una empresa tiene que entregar B unidades de un bien en la fecha T. Sea x(t) el nivel de inventario de dicho bien en el tiempo t. Suponga que el costo por almacenar x(t) unidades es ax(t) por unidad de tiempo. Adema´s la empresa incurre en costos por la velocidad de produccio´n u(t) = x˙(t), e´stos son iguales a b(u(t))2. Las constantes a, b son nu´meros positivos. El PCO de la empresa es mı´n u(·) { ∫ T 0 [ax(t) + bu2(t)]dt ∣∣∣∣ x˙(t) = u(t), x(0) = 0, x(T) = B, u(t) ≥ 0}. (a) Suponga que λ0 = 1. Escriba las condiciones necesarias del PMP. (b) Encuentre el control o´ptimo para el problema. (c) Explique la intuicio´n del control o´ptimo cuando B < aT2/4b. Sugerencia: Considere dos casos (i) B ≥ aT2/4b, y (ii) B < aT2/4b. Respuesta: (i) u∗(t) = a(2t− T)/4b + B/T, para todo t ∈ [0, T], (ii) u∗(t) = 0 en [0, t∗], u∗(t) = a(t− t∗)/2b en (t∗, T], donde t∗ = T − 2√bB/a. 3.20 Considere la siguiente variante del modelo de Ramsey ma´x c(·) { ∫ T 0 U(c(t))dt ∣∣∣∣ f (k(t)) = c(t) + k˙(t) + δk(t), k(0) = k0, k(T) = kT}. Suponga que la funcio´n de utilidad y la de produccio´n satisfacen las siguientes condiciones f ′ > 0, f ′′ ≤ 0, f (0) = 0, f ′(0) > δ, U′ > 0, U′′ < 0. 73 (a) Escriba la correspondiente ecuacio´n de Euler. (b) En particular, si U(c) = c1−σ/(1− σ), con σ positivo y distinto de 1, de- muestre que las trayectorias o´ptimas para el consumo y el capital esta´n dadas por el sistema de ecuaciones diferenciales k˙ = f (k)− δk− c c˙ = c σ ( f ′(k)− δ). (c) Bosqueje un diagrama de fase alrededor del punto de equilibrio4 (k∗, c∗), donde f ′(k∗) = δ y c∗ = f (k∗) − δk∗. Explique por que´ este equilibrio corresponde a un punto silla. Sugerencia: Ver Lomelı´ y Rumbos (2003) [Seccio´n 11.3, pp. 327–334]. 3.21 Una fa´brica de microchips desea maximizar la siguiente funcio´n de beneficios∫ 5 0 [K(t)− K2(t)− I2(t)/2]dt, donde K es el capital e I es la inversio´n bruta. Dada la naturaleza de esta empresa, el capital se deprecia a una tasa muy alta del 50 % por lo que su ecuacio´n de evolucio´n es K˙(t) = I(t)− 0.5K(t). Inicialmente K(0) = 0 y se desea que K(5) = 10. (a) Encuentre las trayectorias o´ptimas para el capital y la inversio´n. (b) Resolver el problema si K(5) esta´ libre. (c) Probar que el punto de equilibrio es un punto silla. 3.22 Despue´s de an˜os de noviazgo, Miguel y Rosita se unen en feliz matrimonio. Deciden llevar una vida poco ortodoxa en la cual planean nunca tener hijos y so´lo vivir hasta sus bodas de oro (cuando cumplan 50 an˜os de matrimonio). La funcio´n de utilidad de este matrimonio esta´ dada por U(c) = 2 √ c, donde c representa el consumo. Asimismo, poseen una tasa de descuento temporal dada por ρ. Sus ingresos reales provienen de dos fuentes: el ingreso laboral w y ra(t) que corresponde a los rendimientos reales de una cantidad a(t) de activos con una tasa de intere´s r; tanto w como r se suponen constantes. Sus egresos reales son el consumo c y la acumulacio´n de activos a˙. Resolver el problema de maximizacio´n de Miguel y Rosita si a(0) = 0 y a(50) = 0. 4El par (k∗, c∗) no es el u´nico punto de equilibrio, sin embargo, es el de mayor intere´s. 74 3.23 Demuestre el Teorema 3.21. 3.24 Aplique el Teorema 3.18 en el siguiente problema y demuestre que λ0 = 0 ma´x u(·) { ∫ 1 0 −u(t) dt ∣∣∣∣ x˙(t) = u2(t), x(0) = 0, x(1) = 0, u ∈ R}. 3.25 Considere un consumidor que espera vivir T an˜os. Sea c(t) su gasto en con- sumo en el instante t y y(t) su prediccio´n para el ingreso. (a) Si r(t) denota la tasa instanta´nea de intere´s en el tiempo t, interprete econo´micamente la siguiente ecuacio´n diferencial w˙(t) = r(t)w(t) + y(t)− c(t), w(0) = w0, (3.66) donde w(t) representa la riqueza en el tiempo t. (b) Suponga que este consumidor tiene un factor de descuento β > 0 y una utilidad U(c(t)) que depende del consumo en el instante t, escriba el PCO correspondiente. Asuma que U′(c) > 0 y U′′(c) < 0 para todo c. Imponga la restriccio´n terminal w(T) ≥ 0, ¿que´ interpretacio´n econo´mica puede dar para esta restriccio´n? (c) Use el Teorema 3.18, con λ0 = 1, para demostrar que la variable adjunta, λ(t), es igual al valor presente de la utilidad marginal. (d) Suponga que r(t) = r, es decir, la tasa de intere´s es constante y adema´s β = r. Demuestre que el consumo es constante, digamos c∗(t) = c¯. Pruebe tambie´n que w∗(t) = ert [ w0 + ∫ t 0 e−rsy(s) ds− c¯ r (1− e−rt) ] . (3.67) (e) Use la condicio´n de transversalidad para probar que w∗(T) = 0. (f) Con el inciso anterior y (3.67) determine c¯. 3.26 Para el PCO planteado en el Ejercicio 3.25 (b), suponga que U(c) = { (c−c)1−σ (1−σ) si σ 6= 1 ln(c− c) si σ = 1. El escalar c puede interpretarse como un nivel mı´nimo de consumo para la supervivencia. (a) Para σ > 0, demuestre que la elasticidad de la utilidad marginal (ver Ejer- cicio 3.16 (b)) es igual a −σ. 75 (b) Use el Teorema 3.18, con λ0 = 1, para demostrar que c∗(t) = c + [eβtλ(t)]−1/σ. (c) Suponga que r(t) = r y encuentre una expresio´n para w∗(t) y verifique que w∗(T) = 0. (d) Determine la monotonı´a de la trayectoria de consumo cuando β > r y β < r. Interprete econo´micamente. 3.27 Use el Teorema 3.18, con λ0 = 1, para resolver el siguiente PCO ma´x u(·) { ∫ 1 0 [2x(t)− x2(t)] dt ∣∣∣∣ x˙(t) = u(t), x(0) = 0, x(1) = 0, u ∈ [−1, 1]}. 3.28 Para el PCO del inciso anterior, demuestre que λ0 > 0. 3.29 Resuelva el siguiente PCO con dos variables de estado y una de control ma´x u(·) { ∫ T 0 [x + y− u2/2] ∣∣∣∣ x˙(t) = y(t), y˙(t) = u(t), x(0) = y(0) = 0}. 76 4. Ape´ndice: Espacios me´tricos y correspondencias 4.1. Espacios me´tricos completos Definicio´n 4.1. Una distancia o me´trica sobre un conjunto X es una funcio´n d : X × X → R, tal que para cualesquiera x, y, z ∈ X: (a) d(x, y) = d(y, x), (b) d(x, y) ≥ 0 con igualdad si y so´lo si x = y, (c) d(x, y) ≤ d(x, z) + d(z, y) (Desigualdad del tria´ngulo). En tal caso, se dice que la pareja (X, d) es un espacio me´trico. Definicio´n 4.2. Sea (X, d) un espacio me´trico. Se dice que {xn} ⊆ X es una sucesio´n de Cauchy si para cualquier ε > 0 existe N ∈N tal que d(xn, xm) < ε ∀ m, n ≥ N. (4.1) Si para cualquier sucesio´n de Cauchy {xn} ⊆ X, existe x ∈ X tal que lı´m n→∞ d(xn, x) = 0, (4.2) se dice que (X, d) es un espacio me´trico completo. Observacio´n 4.3. La definicio´n de sucesio´n de Cauchy se puede escribir, de man- era equivalente, en la siguiente forma lı´m n,m→∞ d(xn, xm) = 0. ♦ Si una sucesio´n en un espacio me´trico (X, d) satisface la condicio´n (4.2), se dice que la sucesio´n converge a x. Se puede demostrar (ver Ejercicio 4.1) que cualquier sucesio´n convergente es una sucesio´n de Cauchy, sin embargo, el recı´proco es cierto so´lo en espacios me´tricos completos. Ejemplo 4.4. A partir del Axioma del supremo, se puede demostrar que (R, | · |) es un espacio me´trico completo. ♦ Definicio´n 4.5. Sean T : X → X una funcio´n y x∗ ∈ X. Se dice que x∗ es un punto fijo de T, si T(x∗) = x∗. Teorema 4.6 (Banach). Sea (X, d) un espacio me´trico completo. Supo´ngase que T : X → X es una contracio´n, i.e., d(T(x), T(y)) ≤ θd(x, y), ∀x, y ∈ X (4.3) donde 0 ≤ θ < 1. Entonces T tiene un u´nico punto fijo en X. 77 Demostracio´n. La unicidad se sigue de la propiedad (4.3) y de la definicio´n de punto fijo. Para probar la existencia del punto fijo, esco´jase un elemento cualquiera x0 ∈ X y defı´nase la sucesio´n {xn}, mediante xn+1 := T(xn) para n = 0, 1, 2, . . . , (4.4) esta sucesio´n es convergente y su lı´mite sera´ el punto fijo buscado. Si m > n, por la construccio´n (4.4), se cumple d(xm, xn) ≤ (θn + θn+1 + . . . + θm−1)d(x0, x1), al hacer m, n→ ∞ se demuestra que {xn} es una sucesio´n de Cauchy. La completi- tud de X garantiza la existencia del lı´mite de la sucesio´n, digamos x∗. Ahora, por la desigualdad del tria´ngulo, d(x∗, T(x∗)) ≤ d(x∗, xn+1) + d(xn+1, T(x∗)), luego, al usar (4.3), (4.4) y hacer n→ ∞ se tiene que d(x∗, T(x∗)) = 0. Definicio´n 4.7. Sea V un espacio vectorial sobre R. Una funcio´n ‖ · ‖ : V → R es una norma si para todo u, v ∈ V, α ∈ R se satisfacen los siguientes axiomas (a) ‖v‖ = 0 si y so´lo si v =~0 (b) ‖v‖ > 0 si v 6=~0 (c) ‖αv‖ = |α| · ‖v‖ (d) ‖u + v‖ ≤ ‖v‖+ ‖u‖ (Desigualdad del tria´ngulo). Lema 4.8. Sean (X, d) un espacio me´trico y el espacio vectorial C(X) := { f : X → R | f es continua y acotada}. Entonces la funcio´n ‖ · ‖ : C(X)→ R, dada por ‖ f ‖ := sup x∈X {| f (x)|}, es una norma en C(X). Demostracio´n. Ejercicio 4.2. La norma definida en el espacio vectorial C(X) induce una me´trica, a saber, d( f , g) := ‖ f − g‖. De este modo, (C(X), d) es un espacio me´trico. Teorema 4.9. El espacio me´trico (C(X), d) es completo. Demostracio´n. Ejercicio 4.3. 78 4.2. Correspondencias En esta seccio´n se asume que X ⊆ Rn, Z ⊆ Rm. Definicio´n 4.10. Una correspondencia Ψ es una funcio´n que asocia a cada elemento x ∈ X, un conjunto Ψ(x) ⊆ Z y se denota como Ψ : X � Z. Adema´s, se define la gra´fica de la correspondencia Ψ como el conjunto gr(Ψ) := {(x, z) ∈ X× Z | z ∈ Ψ(x)} . Definicio´n 4.11. Sea Ψ : X � Z una correspondencia tal que Ψ(x) 6= ∅ para todo x ∈ X. Se dice que Ψ es hemicontinua inferior (hci) en x ∈ X si para cada z ∈ Ψ(x) y para cualquier {xn} tal que xn → x, existe {zn} tal que zn ∈ Ψ(xn) (n = 1, 2, . . .) y zn → z. Definicio´n 4.12. Sea Ψ : X � Z una correspondencia tal que Ψ(x) es compacto y no vacı´o para cada x ∈ X. Se dice que Ψ es hemicontinua superior (hcs) en x ∈ X si para cualquier {xn} tal que xn → x y {zn} tal que zn ∈ Ψ(xn) (n = 1, 2, . . .), existe una subsucesio´n convergente {znk} tal que lı´mk→∞ znk ∈ Ψ(x). Definicio´n 4.13. Una correspondencia Ψ : X � Z es continua en x ∈ X si es hci y hcs en x. Se dice que Ψ es continua en X si es continua en cada x ∈ X. Teorema 4.14. Sea Ψ : X � Z una correspondencia tal que Ψ(x) 6= ∅ para todo x ∈ X. Supo´ngase que la gra´fica de Ψ es cerrada y que para cada A ⊆ X acotado, su imagen Ψ(A) := {z ∈ Z | z ∈ Ψ(x) para algu´n x ∈ A} es un conjunto acotado. Entonces Ψ(x) es compacto para todo x ∈ X, ma´s au´n, Ψ es hcs. Demostracio´n. Ejercicio 4.8. Teorema 4.15 (Berge). Sea f : X × Z → R una funcio´n continua. Sea Ψ : X � Z una correspondencia continua y tal que Ψ(x) es compacto para todo x ∈ X. Entonces (a) la funcio´n h : X → R, dada por h(x) := ma´x{ f (x, z) | z ∈ Ψ(x)}, (4.5) es continua, (b) para cada x ∈ X, el conjunto G(x) := {z ∈ Ψ(x) | f (x, z) = h(x)}, (4.6) es no vacı´o y compacto, (c) la correspondencia G : X � Z, definida por (4.6), es hcs. Demostracio´n. Ejercicio 4.9. 79 4.3. Ejercicios 4.1 Demostrar que, en un espacio me´trico, cualquier sucesio´n convergente es una sucesio´n de Cauchy. 4.2 Demostrar el Lema 4.7. 4.3 Demostrar el Teorema 4.8. 4.4 Sea (X, d) un espacio me´trico completo. Supo´ngase que Y es un subconjunto cerrado de X. Demuestre que (Y, d) es un espacio me´trico completo. 4.5 Demostrar que para cada x ∈ Rn se cumple la desigualdad ‖x‖2 ≤ ‖x‖1 (ver Notacio´n, p. 4). 4.6 Resolver los Ejercicios 3.11a y 3.12a de Stokey y Lucas [21, pp. 57–58]. 4.7 Resolver el Ejercicio 3.13b de Stokey y Lucas [21, p. 59]. 4.8 Demostrar el Teorema 4.14. 4.9 Demostrar el Teorema de Berge, siguiendo los siguientes pasos. Sea x ∈ X un elemento arbitrario. (a) Argumentar por que´ G(x) es no vacı´o. (b) Demostrar que G(x) es compacto. (c) Probar que G es hcs en x. (d) Demostrar que h es continua en x. 80 Referencias [1] Bartle, R. G., Sherbert, D. R. (2002) Introduccio´n al Ana´lisis Matema´tico de una Variable, 2a ed. Limusa, Me´xico. [2] Benveniste, L., Scheinkman, J. (1979). On the differentiability of the value func- tion in dynamic models of economics. Econometrica 47, pp. 727–732. [3] Brock, W. A., Malliaris, A. G. (1989). Differential Equations, Stability and Chaos in Dynamic Economics. North–Holland. [4] Brock, W. A., Mirman, L. (1972). Optimal Economic Growth and Uncertainty: The Discounted Case. Journal of Economic Theory 4, pp. 479–513. [5] Cerda´ Tena, E. (2001). Optimizacio´n dina´mica. Prentice Hall. [6] Coddington, E. A. (1975) Introduccio´n a las ecuaciones diferenciales ordinarias. Compan˜ı´a Editorial Continental. [7] Cruz-Sua´rez, H., Montes-de-Oca, R. (2008). An envelope theorem and some applications to discounted Markov decision processes. Math. Meth. Oper. Res. 67, pp. 299–321. [8] Fleming, W. H., Rishel, R. W. (1975). Deterministic and Stochastic Optimal Control. Springer–Verlag. [9] Gamkrelidze, R. V. (1978). Principles of optimal control theory. Plenum. [10] Grass, D., Caulkins, J. P., Feichtinger, G., Tragler, G., Behrens, D. A. (2008). Optimal Control of Nonlinear Processes. With Applications in Drugs, Corruption and Terror. Springer–Verlag. [11] Hartman, P. (2002). Ordinary Differential Equations. 2nd ed. SIAM. [12] Herna´ndez–Lerma, O., Lasserre, J. B. (1996). Discrete–Time Markov Control Pro- cesses: Basic Optimality Criteria. Springer–Verlag. [13] Kamien, M. I., Schwartz, N. L. (1991). Dynamic optimization: the calculus of vari- ations and optimal control in economics and management. 2nd ed. North–Holland. [14] Lomelı´, H., Rumbos, B. (2003). Me´todos dina´micos en economı´a. Otra bu´squeda del tiempo perdido. International Thomson Editores. [15] Pontriaguin, L. S. (1973) Ecuaciones Diferenciales Ordinarias. Aguilar. [16] Rudin, W. (1976). Principles of Mathematical Analysis. 3a ed. McGraw-Hill. 81 [17] Sa´nchez, D. A. (1979) Ordinary Differential Equations and Stability Theory: An Introduction. Dover Publications. [18] Sargent, T. J. (1987). Dynamic Macroeconomic Theory. Harvard University Press. [19] Seierstad, A., Sydsæter, K. (1987). Optimal Control Theory with Economic Appli- cations. North–Holland. [20] Simonovits, A. (1999). Mathematical methods in dynamic economics. St. Martin’s Press. [21] Stokey, N. L., Lucas, R. E. Jr., with Prescott, E. C. (1989). Recursive methods in economic dynamics. Harvard University Press. [22] Sundaram, R. K. (1996). A First Course in Optimization Theory. Cambridge Uni- versity Press. [23] Sydsæter, K., Hammond, P. J., Seierstad, A., Strøm, A. (2008). Further mathe- matics for economic analysis. 2nd ed. Prantice-Hall. 82 Introducción a las ecuaciones diferenciales ordinarias Un teorema de existencia y unicidad Ecuaciones diferenciales lineales con coeficientes constantes Ecuaciones diferenciales no lineales Sistemas de ecuaciones diferenciales ordinarias Ejercicios Optimización dinámica en tiempo discreto Planteamiento de problemas dinámicos en tiempo discreto El método de los multiplicadores de Lagrange Programación dinámica. El Principio de optimalidad y la ecuación de Bellman Problemas con horizonte infinito El modelo de Brock y Mirman Ecuaciones de Euler Ejercicios Optimización dinámica en tiempo continuo Formulación del PCO en tiempo continuo La ecuación de Hamilton--Jacobi--Bellman Principio del máximo de Pontryagin Cálculo de variaciones. Ecuación de Euler Algunas extensiones del PMP Ejercicios Apéndice: Espacios métricos y correspondencias Espacios métricos completos Correspondencias Ejercicios Referencias