Procesos estocsticos

1
Procesos estocásticos
2
Clasificación de los Procesos Estocásticos

• Independientemente de la clasificación anterior
  los procesos estocásticos se pueden clasificar
  considerando los siguientes aspectos
• Dinámica del Proceso Describe la manera en que
  proceso transita de un estado a otro.
• Permanencia en los estados Tiempo que el
  proceso se mantiene en un mismo estado.

3
Clasificación de los Procesos Estocásticos

• Dentro de estas categorías, uno de los procesos
  más comunes es el llamado MARKOVIANO.
• Este tipo de procesos se caracterizan por una
  dinámica y tipo de permanencia que es resumido en
  las siguientes propiedades

Tiempo entre estados es memoryless. Transición
al siguiente estado depende sólo del actual.
4
Propiedades Markovianas

• Propiedad 1
• El tiempo en que el proceso se mantiene en un
  estado particular debe ser memoryless.
• En el caso de un proceso de parámetro continuo
  esta distribución es una exponencial, en la cual
  su parámetro puede variar a través de los
  distintos estados.
• En el caso de un proceso de parámetro discreto
  esta distribución es una geométrica, al igual que
  en el caso continuo su parámetro puede variar a
  través de los distintos estados.

5
Propiedades Markovianas

• Propiedad 2
• La transición al siguiente estado sólo depende de
  las condiciones del estado actual.
• Definición formal
• Un proceso estocástico con
• t1ltt2ltt3lt.....lttnlttn1
• x1,x2,x3,.....,xn,xn1
• Cumple la propiedad 2 si
• PX(tn1) xn1 X(t1)x1, X(t2)x2,......,
  X(tn)xn
• PX(tn1) xn1 X(tn)xn

6
Clasificación de los Procesos Estocásticos
Definición de Representación gráfica

• La definición del espacio de estados depende
  integramente del sistema a analizar, pero para
  efectos de cálculo se enumeran los estados.
• Se define Pij como la probabilidad de transición
  desde el estado i al estado j, en un paso.

j
Pij
i
7
Clasificación de los Procesos Estocásticos
Markov
8
Proceso de Markov
Descripción General

• Este proceso cumple con las Propiedades 1 y 2.
• En general, Pij es nulo para los estados
  ij1,2,..,n.
• El grafo representa una cadena de Markov de
  estados discretos.

2
1
3
0
9
Proceso de Markov
Diagrama de Venn
Cumple propiedad 1 Cumple propiedad 2
10
Proceso de Markov
Descripción del sistema a modelar

• Se analizará el comportamiento de un ascensor en
  un edificio de tres pisos. Observamos que cuando
  el ascensor está en el piso 2, hay dos
  posibilidades, ir al piso 1 (si viene del piso 3)
  o ir al piso 3 (si viene del piso 1).
• Dada la definición de estados anterior, el
  proceso no es Markoviano ya que la transición a
  un próximo estado depende de la historia
  (secuencia).
• Con una nueva definición de estado podemos
  modelar el problema a través de un proceso
  Markoviano.

11
Proceso de Markov
Modelado formal del sistema

• Definición de estados
• Estado 1 estar en el piso 1
• Estado 2 estar en el piso 2 subiendo.
• Estado 3 estar en el piso 2 bajando.
• Estado 4 estar en el piso 3.
• Se observa que al estar en un estado cualquiera,
  la transición al próximo sólo depende del estado
  actual.

Este ascensor sólo viaja del piso 1 al 3
12
Proceso de Markov
Modelado formal del sistema

• Sea n el número de la medición que se está
  realizando. Esto define el parámetro temporal.
• n 0, 1, 2, 3,......,k
• La solución de este ejemplo está descrita por
• Sea P(X(n)i)pi(n) la probabilidad de estar en
  el piso i justo después de la n-ésima
  observación.

13
Proceso de Markov

• Si en un proceso Markoviano se restringen las
  posibles transiciones de un estado a otro, de
  modo que se cumpla que
• Pij 0 si i-jgt1.
• El subconjunto generado a partir de esta
  restricción recibe el nombre de Proceso de
  Nacimiento y Muerte.

14
Clasificación de los Procesos Estocásticos
Descripción General
Markov
Nacimiento y Muerte
Diagrama de Venn
Descripción del sistema a modelar
Modelado formal del sistema
Secuencia del sistema modelado
15
Proceso de Nacimiento y Muerte
Descripción General

• Este proceso cumple las Propiedades 1 y 2.
• La propiedad 2 se restringe de modo que
• Pij 0 si i-jgt1.

16
Proceso de Nacimiento y Muerte
Diagrama de Venn
Cumple propiedad 1 Cumple propiedad 2 con la
restricción Pij 0 para j-igt1
17
Proceso de Nacimiento y Muerte
Descripción del sistema a modelar

• Se observa un grupo de gente esperando por ser
  atendida en un banco.
• La gente está llegando al banco en forma
  aleatoria.
• Se busca determinar el número de personas
  esperando en la fila, en un determinado instante.
• Este sistema se puede modelar como un Proceso de
  Nacimiento y Muerte.

18
Proceso de Nacimiento y Muerte
Modelado formal del sistema

• Sea t el instante en que se cuenta el número de
  personas esperando en la fila. Esto define el
  parámetro temporal.
• t 0...?
• El espacio de estados está definido por el
  posible número de personas esperando a ser
  atendidos.
• S 0, 1, 2,3,4...., C
• La solución de este ejemplo está descrita por
• Sea P(X(t)i) pi(t) la probabilidad de tener i
  personas esperando en el instante de tiempo t.

19
Proceso de Nacimiento y Muerte
Secuencia del sistema modelado
Secuencia de llegadas y abandonos en la fila
Fila con capacidad de 6 personas
persona
persona
persona
persona
20
Proceso de Nacimiento y Muerte

• Si en un proceso Markoviano se restringe la
  probabilidad de transición de un estado a otro.
• Sólo existen transiciones al estado siguiente o
  permanencia en el mismo, es decir
• Pij gt 0 si j-i lt 1 y j gt i
• El subconjunto generado a partir de esta
  restricción recibe el nombre de Proceso de
  Nacimiento Puro.

21
Clasificación de los Procesos Estocásticos
Descripción General
Markov
Nacimiento y Muerte
Diagrama de Venn
Nacimiento Puro
Descripción del sistema a modelar
Modelado formal del sistema
Secuencia del sistema modelado
22
Proceso de Nacimiento Puro
Descripción General

• Este proceso cumple las Propiedades 1 y 2.
• La propiedad 2 se restringe de modo que
• Pij gt 0 si j-i lt 1 y j gt i.

23
Proceso de Nacimiento Puro
Diagrama de Venn
Cumple propiedad 1 Cumple propiedad 2 con la
restricción Pij gt 0 si j-i lt1 y jgti
24
Proceso de Nacimiento Puro
Descripción del sistema a modelar

• Continuando con la idea del ejemplo anterior, y
  con la modificación de que la gente no es
  atendida, por lo que se acumula en la fila.
• Interesa conocer el número de personas esperando
  por ser atendidas en cierto instante del día.

25
Proceso de Nacimiento Puro
Modelado formal del sistema

• Sea t el instante en que se cuenta el número de
  personas esperando en la fila. Esto define el
  parámetro temporal.
• t 0...?
• El espacio de estados está definido por el
  posible número de personas esperando en la fila.
• S 0, 1, 2,3,4...., C
• La solución de este ejemplo está descrita por
• Sea P(X(t)i) pi(t) la probabilidad de tener i
  personas acumuladas en el instante de tiempo t.

26
Proceso de Nacimiento Puro
Secuencia del sistema modelado
Secuencia de arribos a la fila
Fila con capacidad de 6 personas
persona
persona
persona
persona
27
Proceso de Nacimiento Puro

• Si en un proceso Markoviano se restringe la
  probabilidad de transición de un estado a otro.
• Sólo existen transiciones al estado siguiente,
  es decir
• Pij gt 0 si j-i lt 1 y j gt i
• Además, se exige una tasa de arribos constante.
  Con estas condiciones, obtenemos el subconjunto
  que recibe el nombre de Proceso de Poisson.

28
Clasificación de los Procesos Estocásticos
Markov
Nacimiento y Muerte
Nacimiento Puro
29
Proceso de Poisson
Descripción General

• Este proceso cumple las Propiedades 1 y 2.
• La propiedad 2 se restringe de modo que
• Pij gt 0 si j-i lt 1 y j gt i.
• La tasa de arribos es constante, definida a
  través del parámetro ? de poisson.

?
?
?
30
Proceso de Poisson
Diagrama de Venn

• Cumple propiedad 1
• Cumple propiedad 2 con la restricción
• Pij gt 0 si j-i lt1 y jgti
• Además posee tasa de arribos constante para cada
  estado i, ?i ?

Poisson
31
Proceso de Poisson
Descripción del sistema a modelar

• En este caso no existe ningún cajero.
• La tasa de arribo de la gente a la fila del
  banco es constante.

32
Proceso de Poisson
Modelado formal del sistema

• Sea t el instante en que se cuenta el número de
  personas esperando en la fila. Esto define el
  parámetro temporal.
• t 0...?
• El espacio de estados está definido por el
  posible número de personas esperando en la fila.
• S 0, 1, 2,3,4...., C
• La solución de este ejemplo está descrita por
• Sea P(X(t)i) pi(t) la probabilidad de tener i
  personas acumuladas en el instante de tiempo t.
• Se debe notar que la única diferencia con los
  procesos de nacimiento puro es que la tasa de
  arribos es constante.

33
Clasificación de los Procesos Estocásticos
Markov
Nacimiento y Muerte
Nacimiento Puro
Poisson
34
Proceso de Markov
Diagrama de Venn
Cumple propiedad 1 Cumple propiedad 2
35
Proceso de Markov

• Si en un proceso Markoviano relajamos la
  propiedad 1, liberándolo de la restricción de ser
  memoryless, obtenemos un Proceso Semi-Markoviano.
• Ésto nos permite modelar una mayor cantidad de
  sistemas, ya que se relajó una de las propiedades
  Markovianas. El tiempo de permanencia en un
  estado no necesariamente debe ser exponencial o
  geométrico.

36
Clasificación de los Procesos Estocásticos
Descripción General
Semi-Markov
Diagrama de Venn
37
Proceso Semi-Markoviano
Descripción General

• Este proceso cumple la Propiedad 2.
• En general, para la Propiedad 1, el tiempo que
  proceso se mantiene en un estado particular no es
  necesariamente memoryless.

2
1
0
3
38
Proceso Semi-Markoviano
Diagrama de Venn
Cumple propiedad 1 Puede No Cumplir con la
propiedad 2
Poisson
39
Proceso Semi-Markoviano

• En un proceso Semi-Markoviano la distribución de
  probabilidad de transición de un estado a otro
  varía dependiendo del estado en el cual se
  encuentre, si ésto se restringe a que la
  distribución de probabilidad de transición sea
  única se obtiene el subconjunto llamado Caminata
  Aleatoria.

40
Clasificación de los Procesos Estocásticos
Semi-Markov
Descripción General
Caminata Aleatoria
Diagrama de Venn
Relaciones
41
Proceso Caminata Aleatoria
Descripción General

• Este proceso cumple la Propiedad 2, pero
  restringida a ser única e igual en todos los
  estados.
• En general, para la Propiedad 1, el tiempo que
  proceso se mantiene en un estado particular no es
  necesariamente memoryless.

42
Proceso Caminata Aleatoria
Diagrama de Venn
Caminata Aleatoria
Cumple propiedad 1 restringida. Puede No Cumplir
con la propiedad 2
Poisson
43
Proceso Caminata Aleatoria
Relaciones
Caminata Aleatoria
Poisson
44
Proceso Caminata Aleatoria

• En un proceso Semi-Markoviano la distribución de
  probabilidad de transición de un estado a otro
  varía dependiendo del estado en el cual se
  encuentre, si ésto se restringe a que la
  distribución de probabilidad de transición sea
  única y tenga valor 1, se obtiene el subconjunto
  llamado Proceso de Renovación.

45
Clasificación de los Procesos Estocásticos
Semi-Markov
Caminata Aleatoria
Descripción General
Renovación
Diagrama de Venn
46
Proceso de Renovación
Descripción General

• Este proceso cumple la Propiedad 2, pero
  restringida a ser única y de valor 1 para todos
  los estados ssi
• Pij 1 si j-i 1.
• En general, para la Propiedad 1, el tiempo que
  proceso se mantiene en un estado particular no es
  necesariamente memoryless.

1
1
1
47
Proceso de Renovación
Diagrama de Venn
Cumple propiedad 1 Pij 1 si j-i 1. Puede No
Cumplir con la propiedad 2
Caminata Aleatoria
48
Clasificación de los Procesos Estocásticos
Markov
Semi-Markov
Nacimiento y Muerte
Caminata Aleatoria
Nacimiento Puro
Renovación
Poisson
49
Procesos Estocásticos
Resumen de representación en Diagrama de Venn
50
Resumen

• Según la clasificación por tipo de espacio y
  parámetro, los procesos estocásticos se
  clasifican en
• Proceso de espacio discreto y parámetro discreto.
• Proceso de espacio discreto y parámetro continuo.
• Proceso de espacio continuo y parámetro discreto.
• Proceso de espacio continuo y parámetro continuo.

51
Resumen

• Según la clasificación por dinámica de transición
  y tiempo de permanencia se clasifican en
• Markov
• Nacimiento y Muerte
• Nacimiento Puro
• Poisson
• Semi-Markov
• Caminata Aleatoria
• Renovación