Cadenas de Markov Discretas

1
Cadenas de Markov Discretas
2
Propiedades Markovianas
Introducción a las Cadenas de Markov

• Propiedad 1
• El tiempo en que el proceso se mantiene en un
  estado particular debe ser memoryless.
• En el caso de un proceso de parámetro continuo
  esta distribución es una exponencial, en la cual
  su parámetro puede variar a través de los
  distintos estados.
• En el caso de un proceso de parámetro discreto
  esta distribución es una geométrica, al igual que
  en el caso continuo su parámetro puede variar a
  través de los distintos estados.

3
Propiedades Markovianas
Introducción a las Cadenas de Markov

• Propiedad 2
• La transición al siguiente estado sólo depende de
  las condiciones del estado actual.
• Definición formal
• Un proceso estocástico con
• t1ltt2ltt3lt.....lttnlttn1
• x1,x2,x3,.....,xn,xn1
• Cumple la propiedad 2 si
• PX(tn1) xn1 X(t1)x1, X(t2)x2,......,
  X(tn)xn
• PX(tn1) xn1 X(tn)xn

4
Clasificación de Procesos Markovianos
Introducción a las Cadenas de Markov

• Los procesos Markovianos se clasifican de acuerdo
  al tipo de espacio y tipo de parámetro.
• Si el espacio de estados es discreto el proceso
  recibe el nombre de Cadena de Markov, en el otro
  caso, de espacio continuo, se conoce como Proceso
  de Markov.
• Según el parámetro temporal, en ambos casos se
  dividen en procesos o cadenas de Tiempo Continuo
  o Tiempo Discreto.

5
Clasificación de Procesos Markovianos
Introducción a las Cadenas de Markov
Espacio Continuo
Espacio Discreto
En este documento se describirá en profundidad
este tipo de cadenas.
Tiempo Continuo
Proceso de Markov de tiempo continuo
Cadena de Markov de tiempo continuo
Cadena de Markov de tiempo discreto
Tiempo Discreto
Proceso de Markov de tiempo discreto
6
Conceptos básicos
Cadenas de Markov discretas

• Como las cadenas de Markov poseen espacio de
  estados discreto, estos se pueden nombrar
• E0, E1, E2, ...
• Sin embargo, para simplificar la notación, se
  asocian a los números naturales
• Para el caso general el entero i representa al
  estado Ei.

7
Conceptos básicos
Cadenas de Markov discretas

• Para denotar el estado en que se encuentra la
  cadena en un tiempo n se utilizará la siguiente
  notación
• Xni , estar en el estado i en el tiempo n.
• La probabilidad de transición para ir desde el
  estado i al estado j en un paso es
• Pij PXn1 j Xn i

8
Conceptos básicos
Cadenas de Markov discretas

• En general Pij(n) depende de n.
• Cuando Pij(n) no depende de n, la probabilidad de
  transición desde el estado i al j no varia en el
  tiempo.

9
Conceptos básicos
Cadenas de Markov discretas
Representación gráfica

• Es posible representar una cadena de Markov por
  un grafo.
• Cada nodo representa a un elemento del espacio
  muestral.
• Cada arco dirigido representa a la probabilidad
  de transición Pij ( desde i a j) asociada al par
  de estados que conecta (i , j)

10
Conceptos básicos
Cadenas de Markov discretas
Matriz de Probabilidad de Transición

• Las probabilidades de transición Pij se pueden
  representar en una matriz cuadrada llamada Matriz
  de Probabilidad de Transición de la cadena.

11
Representación Matricial

• O equivalentemente, el diagrama de estados puede
  representarse en forma matricial de la siguiente
  manera

P
12
Conceptos básicos
Cadenas de Markov discretas
Matriz de Probabilidad de Transición

• Las propiedades de la matriz de transición de
  probabilidad son
• 1.
• Como cada elemento de la matriz representa una
  probabilidad, ésta debe tener un valor entre 0 y
  1.

13
Conceptos básicos
Cadenas de Markov discretas
Matriz de Probabilidad de Transición

• Las propiedades de la matriz de transición de
  probabilidad son
• 2.
• Esto significa que para cada estado la suma de
  todas las probabilidades de transición sean 1.
• Además, dentro de cada fila los valores son no
  negativos, estos valores están entre 0 y 1. La
  suma de los valores de la fila es 1, luego, se
  dice que la matriz es de tipo estocástica.

14
EjemploComo se representa una Cadena de
Markov?

• Existen dos formas de representar una cadena de
  Markov en forma GRÁFICA y en forma MATRICIAL

15
1. Representación Gráfica

• El diagrama de estados puede representarse en
  forma de tabla de la siguiente manera
• En la posición (i,j) de la matriz se coloca la
  probabilidad de
• transitar desde el estado i al estado j

i
0.97
0.03
P
j
16
1. Representación Gráfica

• El diagrama transición de estados
• Matriz de Probabilidad de transición entre
  estados

P
17
Cadenas de Markov discretas

• Dada , que corresponde a la probabilidad de
  transición del estado i al estado j en 1 paso, se
  puede generalizar a que representa la
  probabilidad de ir del estado i al estado j en n
  transiciones como

Además i,j pertenecen al espacio de estados
18
Cadenas de Markov discretas

• Si las probabilidades de transición son
  estacionarias, podemos generalizar la expresión
  anterior a
• Esto representa la probabilidad de pasar desde
  el estado i al estado j en n pasos, partiendo
  desde el estado i, sin importar como se llegó a
  este estado (en general, en m pasos).

Además i,j pertenecen al espacio de estados
19
Ecuaciones de Chapman-Kolmogorov
Cadenas de Markov discretas

• La forma obtener la probabilidad de ir del estado
  i al estado f en n pasos, es la expresada en esta
  ecuación
• Pero lo que se está buscando es una forma más
  general de expresar esta probabilidad.

20
Ecuaciones de Chapman-Kolmogorov
Cadenas de Markov discretas
n-1 pasos
1 paso
n-1 pasos
1 paso

• i

f
n-1 pasos
1 paso
1 paso
n-1 pasos
21
Ecuaciones de Chapman-Kolmogorov
Cadenas de Markov discretas

• Se desea generalizar el resultado anterior, o
  sea, obtener la probabilidad de estar en el
  estado f en el tiempo b dado que se estuvo en el
  estado i en el tiempo a.
• Lo anterior queda representado por la siguiente
  expresión

22
Ecuaciones de Chapman-Kolmogorov
Cadenas de Markov discretas

• Si en el tiempo a se estuvo en el estado i y en
  el tiempo b se está en el f, entonces en un
  tiempo intermedio q se pasó por algún estado k.
• Así es posible rescribir la expresión anterior
  como

23
Ecuaciones de Chapman-Kolmogorov
Cadenas de Markov discretas

• i

f
a
q
b
24
Ecuaciones de Chapman-Kolmogorov
Cadenas de Markov discretas

• La expresión anterior es independiente del tipo
  de proceso estocástico que se presente, por el
  hecho de contar absolutamente todos los casos.
• Usando las propiedades de las probabilidades
  condicionales puede escribirse de la siguiente
  manera

25
Ecuaciones de Chapman-Kolmogorov
Cadenas de Markov discretas

• Esta expresión puede simplificarse, pero debe ser
  acotada a las cadenas de Markov.
• Aplicando la propiedad de que el estado actual
  depende exclusivamente del estado anterior, se
  llega a la siguiente expresión

26
Ecuaciones de Chapman-Kolmogorov
Cadenas de Markov discretas

• Sean i, k, f ? ?, estados genéricos de la cadena
  de Markov, se define la ecuación de
  Chapman-Kolmogorov
• PikmPkfn representa la probabilidad de ir desde
  el estado i al estado f en mn transiciones a
  través de una ruta en la que, en el tiempo q, la
  Cadena de Markov se encuentra en el estado k.

27
Ecuaciones de Chapman-Kolmogorov
Cadenas de Markov discretas

• i

f
a
q
b
m
n
28
Cadenas de Markov discretas Ecuaciones de
Chapman-Kolmogorov

• Tenemos por lo tanto un procedimiento que nos
  permite calcular la probabilidad de ir de i a f
  en nm pasos, considerando todos los posibles
  estados intermedios
• Es conveniente en este punto introducir notación
  matricial
• Se tiene la matriz P pij con M estados (matriz
  de MxM), donde pij es la probabilidad de ir de un
  estado i a un estado j en un paso, independiente
  de las anteriores transiciones.

29
Cadenas de Markov discretas Ecuaciones de
Chapman-Kolmogorov

• Considerando que en el primer paso se efectuó la
  transición desde el estado k al estado f, tenemos
  la siguiente forma para la ecuación de
  Chapman-Kolmogorov
• Para el caso especial de m1, es decir se llega
  al estado f en dos pasos se tiene la siguiente
  forma

30
Cadenas de Markov discretas Ecuaciones de
Chapman-Kolmogorov
Descomponiendo
Matriz de transiciones de un paso del sistema
31
Cadenas de Markov discretas Ecuaciones de
Chapman-Kolmogorov

• Se observa que la probabilidad de ir de i a f en
  2 pasos es
• Por lo que se puede extender este resultado para
  obtener de una vez las probabilidades de ir de un
  estado i cualquiera a un estado j cualquiera, en
  dos pasos utilizando la operación multiplicación
  entre dos matrices

32
Cadenas de Markov discretas Ecuaciones de
Chapman-Kolmogorov
Que es la matriz de transiciones de 2 pasos
Utilizando este resultado se puede extender el
análisis al caso en que nm3, es decir calcular
la probabilidad de ir de i a j en 3 pasos
33
Cadenas de Markov discretas Ecuaciones de
Chapman-Kolmogorov
Para el caso de nm 3 y siguiendo con el caso
en que el estado intermedio e2 se alcanza en un
paso, para ir de un estado i cualquiera a j
tenemos que la ecuación de Ch-K nos queda
Descomponiendo en casos podemos escribir la
siguiente ecuación
34
Cadenas de Markov discretas Ecuaciones de
Chapman-Kolmogorov

• Utilizando el resultado obtenido anteriormente
  podemos escribir la ecuación

• Desarrollando la expresión resulta

35
Cadenas de Markov discretas Ecuaciones de
Chapman-Kolmogorov

• Se puede ver que es equivalente a

p(3)if
36
Cadenas de Markov discretas Ecuaciones de
Chapman-Kolmogorov

• Por lo tanto podemos obtener la matriz de
  transición de 3 pasos, es decir

Que entrega las probabilidades p(3)if de ir
de i a f en tres pasos
37
Cadenas de Markov discretas Ecuaciones de
Chapman-Kolmogorov

• Generalizando este resultado para n pasos, vemos
  que resolver la ecuación de Chapman-Kolmogorov es
  equivalente a encontrar la matriz de transiciones
  de n pasos P(n)

38
Notación
Cadenas de Markov discretas

• Se define la probabilidad de estar en el estado e
  en el n-ésimo paso, y se anota

• Se define el vector al que se asocia la
  probabilidad de estar en cualquiera de los
  estados existentes en la cadena en el n-ésimo, y
  se anota

39
Notación
Cadenas de Markov discretas

• Se define la probabilidad inicial del sistema,
  como la probabilidad de estar en el estado e en
  el comienzo del análisis, y se anota

40
Análisis Transiente
Cadenas de Markov discretas
Ejemplo

• Ahora se puede generalizar la expresión a

• Este vector indica la probabilidad de estar en
  cualquiera de los estados de la cadena después de
  n pasos, con la condición inicial ( que
  define el estado en el cual se inicia el
  proceso).

41
Análisis Transiente
Cadenas de Markov discretas

• Sea, la probabilidad de estar en el
  estado e en un tiempo n.
• Sea, , el
  vector que indica la probabilidad de estar en
  cualquier estado después de n pasos.
• Sea, P la matriz de transición de estados donde
  Pij es la probabilidad de ir desde el estado i al
  estado j, en un paso.

42
Análisis Transiente
Cadenas de Markov discretas

• La ecuación de Chapman-Kolmogorov en el último
  paso, en forma matricial, es

Obs La ecuación (3) presenta un mejor desempeño
al realizar cálculos cuando el número de pasos es
muy grande.
43
Análisis Estacionario
Cadenas de Markov discretas
Definición

• Una cadena de Markov con probabilidad
  estacionaria cumple
• es decir, la probabilidad de estar en el estado
  e es independiente del tiempo (n), y es
  constante.

44
Análisis Estacionario
Cadenas de Markov discretas
Definición

• Se define el vector de probabilidad estacionaria
  como
• Se dice que la cadena de Markov tiene
  probabilidad de transición estacionaria si se
  cumple la ecuación matricial

45
Análisis Estacionario
Cadenas de Markov discretas
Ejemplo

• Se dispone de 4 módulos de atención que se van
  activando secuencialmente a medida que la
  cantidad de usuarios que deben ser atendidos
  aumenta.
• Cada módulo tiene un máximo de usuarios a los
  que puede entregar servicio.
• Cuando un módulo está completamente utilizado,
  entra en servicio el siguiente módulo.
• Si un módulo deja de ser utilizado, el módulo se
  desactiva temporalmente, quedando en servicio los
  módulos anteriores.

46
Análisis Estacionario
Cadenas de Markov discretas
Ejemplo

• Interesa conocer
• Cuál es la probabilidad de que cada módulo esté
  en uso?.
• Es decir, se desea conocer, con que probabilidad
  se utiliza cada módulo, en cualquier instante de
  tiempo.

47
Análisis Estacionario
Cadenas de Markov discretas
Ejemplo

• La definición de estados para el ejemplo será
• Estado 1 El módulo 1 está siendo utilizado.
• Estado 2 El módulo 2 está siendo utilizado.
• Estado 3 El módulo 3 está siendo utilizado.
• Estado 4 El módulo 4 está siendo utilizado.

48
Análisis Estacionario
Cadenas de Markov discretas
Ejemplo

• Las probabilidades de transición, asociada a cada
  módulo son

Desde el 1 al 1 0.3 Desde el 1 al 2 0.7 Desde
el 1 al 3 0 Desde el 1 al 40
Desde el 2 al 1 0.4 Desde el 2 al 2 0.2 Desde
el 2 al 3 0.4 Desde el 2 al 4 0
Desde el 3 al 1 0 Desde el 3 al 2 0.3 Desde el
3 al 3 0.1 Desee el 3 al 4 0.6
Desde el 4 al 1 0 Desde el 4 al 2 0 Desde el 4
al 3 0.5 Desee el 4 al 4 0.5
49
Análisis Estacionario
Cadenas de Markov discretas
Ejemplo

• El diagrama de estados que representa la
  situación antes descrita es el siguiente

50
Análisis Estacionario
Cadenas de Markov discretas
Ejemplo

• La matriz de transición asociada al ejemplo es

• El vector de probabilidad de transición
  estacionaria es

51
Análisis Estacionario
Cadenas de Markov discretas
Ejemplo

• Considerando las ecuaciones matricial

(1)
En estado estacionario la probabilidad de estar
en estado i en el paso n, es igual a la
probabilidad de estar en estado i en el paso n1
Condición de probabilidades totales
(2)
52
Análisis Estacionario
Cadenas de Markov discretas
Ejemplo

• Resolviendo el sistema de ecuaciones anteriores,
  se obtiene

53
Análisis Estacionario
Cadenas de Markov discretas
Ejemplo

• Finalmente respondiendo a la pregunta original,
  Cuál es la probabilidad de que cada módulo esté
  en uso?.
• La probabilidad de que el módulo 1 esté en uso es
  0.027
• La probabilidad de que el módulo 2 esté en uso es
  0.189
• La probabilidad de que el módulo 3 esté en uso es
  0.351
• La probabilidad de que el módulo 4 esté en uso es
  0.433

54
Ejemplo 3 Alumno de Enseñanza Media

• Se desea estudiar el número de alumnos que están
  estudiando en la enseñanza media de un colegio en
  particular.
• Se considerará que un alumno en un año en
  particular puede pasar de curso, repetir el curso
  cuantas veces sea necesario o retirarse del
  establecimiento sin posibilidades de regresar.

55
Ejemplo 3 Alumno de Enseñanza Media

• Si consideramos los siguientes porcentajes, para
  pasar de curso, repetir o retirarse en cada año

Repetir 1º año 2 Pasar a 2º año 97 Retirarse
al final del 1º año 1
Repetir 3º año 4 Pasar a 4º año 92 Retirarse
al final del 3º año 2
Repetir 2º año 3 Pasar a 3º año 95 Retirarse
al final del 2º año 2
Repetir 4º año 1 Egresar 96 Retirarse al
final del 4º año 3
56
Ejemplo 3 Alumno de Enseñanza Media

• Definición de estados
• Estado 1 Estar en primer año.
• Estado 2 Estar en segundo año.
• Estado 3 Estar en tercer año.
• Estado 4 Estar en cuarto año.
• Estado 5 Egresar del establecimiento.
• Estado 6 Retirarse del establecimiento.

57
Ejemplo 3 Alumno de Enseñanza Media

• La representación gráfica de los estados
  definidos es

1
2
3
4
6
5
58
Ejemplo 3 Alumno de Enseñanza Media

• Asociando las probabilidades, se grafica de la
  siguiente forma

Repetir 1º año 2 Pasar a 2º año 97 Retirarse
al final del 1º año 1
0.97
1
2
0.02
0.01
6
Nota La suma de las probabilidades asociadas a
las flechas salientes del estado 1 suman 1.
59
Ejemplo 3 Alumno de Enseñanza Media

• El diagrama de estados completo es

60
Resumen sobre las Representaciones
Ejemplo

• A partir del diagrama de estados, se obtiene la
  siguiente matriz de transición asociada al
  sistema.

61
Cadenas de Markov discretas
Ejemplo

• Luego obtenemos el mismo resultado expresado caso
  por caso

62
Análisis Transiente
Cadenas de Markov discretas
Ejemplo
63
Cadenas de Markov Otros Ejemplos
Predicción del Tiempo

• Dos Posibles estados
• 0 Llueve
• 1 No llueve
• Supuesto
• El tiempo de mañana sólo depende del de Hoy.
• Llueve Hoy Prob. que llueva mañana
• No llueve Hoy Prob. que llueva mañana

64
Cadenas de Markov Otros Ejemplos
Predicción del Tiempo
0

• La matriz de transición P queda
• Gráficamente

1
0
1
65
Cadenas de Markov Otros Ejemplos
Predicción del Tiempo

• Sea la probabilidad que llueva hoy de 0.2

• Cual es la Probabilidad incondicional de que
  mañana llueva?

66
Cadenas de Markov Otros Ejemplos
Predicción del Tiempo

• Aplicando el Teorema de Probabilidades Totales
• Sea Probabilidad incondicional de que
  lloverá mañana.
• P(mañana lloverá /hoy llueve)
• P(mañana lloverá /hoy no llueve)

67
Cadenas de Markov Otros Ejemplos
Predicción del Tiempo
En el caso General
68
Cadenas de Markov Otros Ejemplos
Predicción del Tiempo

• Si a 0.7 y b 0.4, entonces la probabilidad
  límite que lloverá será
• es decir