Cadenas de Markov discretas

1
Cadenas de Markov discretas

• Clasificación de Estados

2
Clasificación de Estados
Cadenas de Markov discretas
1.- Estado Alcanzable (accesible)

• Un estado j, es alcanzable desde el estado i si
  se puede transitar desde j a i en un número
  finito de pasos.
• Donde n representa el número de pasos (asociado
  al parámetro de tiempo discreto).

3
Clasificación de Estados
Cadenas de Markov discretas
2.- Comunicación de Estados

• Los estados i y j se comunican, cuando i es
  alcanzable desde j y vice-versa.
• Es decir, existe un n y m tal que

• Propiedades
• (i) El estado i se comunica con si mismo.
• (ii) Si i se comunica con j, entonces j se
  comunica con i.
• (iii) Si, i se comunica con j, y j con k,
  entonces i se comunica con k.

4
Clasificación de Estados
Cadenas de Markov discretas
3.- Estado Absorbente

• Un estado i es absorbente cuando no es posible a
  alcanzar otro estado excepto a sí mismo.

Estado Absorbente
5
Clasificación de Estados
Cadenas de Markov discretas
4.- Probabilidad de Retorno

• Para cada estado i se define como la
  probabilidad de que el primer retorno al estado i
  ocurra n transiciones después de dejar i.
• Esto es
• que representa la probabilidad del primer
  retorno a i en n pasos.

6
Clasificación de Estados
Cadenas de Markov discretas

• Se define
• que representa la probabilidad de estar en el
  mismo estado después de 0 transiciones.
• La probabilidad de regresar al estado i alguna
  vez está descrita por

Esta expresión representa la suma de las
probabilidades de volver al estado i en 1, 2, 3,
4....n pasos.
7
Clasificación de Estados
Cadenas de Markov discretas
5.- Estado Recurrente

• Si fi1 entonces se dice que el estado i es
  recurrente.
• Esto indica que con certeza se retornará al
  estado i.
• Propiedades
• Un estado i es recurrente si el número esperado
  de visitas al estado i es infinito

• Si un estado i es recurrente y se comunica con
  j, entonces j también es recurrente

8
Clasificación de Estados
Cadenas de Markov discretas

• Se define el tiempo promedio de retorno al estado
  i, llamado Tiempo medio de Recurrencia de i, como

equivale al número de transiciones esperadas para
volver a i

• Un estado es recurrente nulo si mi? .
• El tiempo medio para volver al estado i es
  infinito
• Un estado es recurrente positivo si milt? .
• El tiempo medio para volver al estado i es finito.

9
Cadenas de Markov discretas
Clasificación de Estados

• Propiedades de m
• En una cadena de Markov de espacio de estado
  finito todos los estados recurrentes son
  recurrentes positivos
• Se sostiene que el tiempo esperado para retornar
  a j es el inverso de la probabilidad estacionaria
  de permanecer en j

10
Clasificación de Estados
Cadenas de Markov discretas
6.- Estado Transiente (Transitorio)

• Un estado i es Transiente si 0lt fi lt1.
• Es decir que al salir desde el estado i existe la
  probabilidad de no retornar, a diferencia de los
  estados recurrentes, que retornará con certeza.
• Se cumple que

el número esperado de visitas al estado i es
finito
11
Clasificación de Estados
Cadenas de Markov discretas
7.- Periodicidad

• Un estado i es periódico de periodo d si
• Si d1, el estado se denomina Aperiódico.

a es aperiódico
a,b,c son periódicos d2
12
Clasificación de Estados
Cadenas de Markov discretas
8.- Clases de Estados

• Dos estados que se comunican pertenecen a la
  misma clase.
• El concepto de comunicación divide el espacio de
  estados en un número de clases disjuntas
• Ejemplo gráfico 2 clases

13
Clasificación de Estados
Cadenas de Markov discretas
9.- Cadena Irreductible

• Es una cadena que tiene una única clase.
• Xn es una cadena de Markov irreductible si todos
  los estados son
• recurrentes positivos ó
• recurrentes nulos ó
• transientes.

14
Clasificación de Estados
Cadenas de Markov discretas
10.- Ergocidad

• Teorema
• Si una cadena de Markov es irreductible y
  aperiódica (d1), entonces pertenece a una de las
  siguientes clases

• Si todos los estados son transientes ó
  recurrentes nulo, entonces Pij(n) ? 0 cuando n ?
  8 para todo i, j. Por lo tanto no existe una
  distribución de probabilidad estacionaria.
• Si todos los estados son recurrente positivos
  (espacio de estados finito) entonces la cadena de
  Markov es Ergódica. Por lo tanto existe una única
  distribución de probabilidad estacionaria.