TECNICAS DE EVALUACION DE MODELOS

1
TECNICAS DE EVALUACION DE MODELOS
2
Técnicas de Evaluación de Modelos

• Se define como un amplio conjunto de contrastes a
  los cuales un modelo puede y debe someterse en
  muy diferentes etapas durante el proceso de
  construcción y subsiguiente empleo.
• Existen una gran cantidad de índices que buscan
  medir la bondad de un modelo, la elección se hará
  en base a los objetivos que persigue el
  investigador.

3
Técnicas de Evaluación de Modelos

• Por lo general, para medir la eficancia de los
  modelos se divide la muestra en dos, con la
  primera parte de la muestra se construye el
  modelo y con la segunda se evalúa la eficacia del
  modelo (análisis fuera de la muestra)

4
Técnicas de Evaluación de Modelos

• A continuación se presentan ocho métodos o
  índices utilizados en la contrastación de los
  modelos clasificados en
• Contrastes de significación estadística
• Validación del modelo fuera de la muestra
• Contrastes de hipótesis básicas.

5
Contrastes de Significación Estadística

• 1.- Signo esperado del parámetro de regresión un
  contraste básico para todo parémetro es que su
  signo coincida con el que se había planteado
  originalmente en el modelo, basado en el
  conocimiento teórico de las relaciones
  económicas.
• 2.- Coeficiente de determinación (R2) se
  interpreta como la proporción de la variación de
  la variable endógena que queda explicada por la
  regresión
• R2 1 - Se2 R2 coeficiente de determinación
• Sy2 Se2 varianza de los errores
• Sy2 varianza de la
  variable real

6

• Se establece que un R2 0.8 es suficiente para
  considerar que un modelo es bueno, sin embargo,
  no se puede emitir un juicio inmediato sobre la
  validez del modelo a partir de este indicador.
• 3.- Contraste de significación de un parámetro
  individual (estadístico t) un parámetro puede
  considerarse estadísticamente significativo (a
  niveles de confianza de aprox. 95) si el valor
  del estimador supera dos veces su desviación
  estándar.
• 4.- Estadístico de Durbin y Watson se conoce
  como estadístico d y se utiliza para detectar
  autocorrelación serial (o correlación serial).

7
Et error o residuo en t t tiempo Es la razón de
las sumas de las diferencias al cuadrado de
residuos sucesivos.
Una de las limitaciones de este test es que
verifica la hipótesis de ausencia de
autocorrelación en el término de perturbación,
frente a la hipótesis alternativa
de autocorrelación de primer orden. Si la
estructura de autocorrelación del término de de
perturbación fuese más compleja, su detección
podría pasar inadvertida.
8
Contrastes de Significación Estadística

• 5.- Estadístico H de Durbin es una prueba para
  muestras grandes para detectar correlación serial
  de primer orden en los modelos autorregresivos.
• Se puede obtener a partir de d

9

• H tiene una distribución asintomática normal (AN)
  con promedio cero y varianza unitaria. A partir
  de la distribución normal se sabe que la
  probabilidad de que H se encuentre entre entre
  -1.96 y 1.96 es aproximadamente 95.
• Por tanto, la regla de decisión será si H se
  encuentra entre -1.96 y 1.96 no se rechaza la
  hipótesis nula de que no existe autocorrelación
  de primer orden (positiva o negativa)

10

• Regresiones Espurias
• Este problema aparece cuando se haya la regresión
  estática entre series económicas afectado por
  tendencias comunes, lo que lleva a encontrar R2
  elevados, sin que exista realmente una relación
  de causa efecto. Además, aparte del elevado R2,
  aparece un valor pequeño de Durbin y Watson,
  indicativo de que los errores de la ecuación
  están autocorrelacionados positivamente.
• Si no se presta atención a este problema, se
  puede incurrir en serios problemas de
  especificación.

11
Validación del Modelo Fuera de la Muestra (prueba
a posteriori)

• Se relaciona con la capacidad del modelo para
  describir la realidad y para predecir fuera del
  intervalo muestral el comportamiento de la
  variable endógena.
• Existen una serie de medidas que se pueden
  utilizar bien sea en la fase de construcción de
  un modelo, como también durante el proceso de
  aplicación, los cuales se describen a
  continuación.

12
(No Transcript)
13
1.- Medidas sobre los errores

• Error cuadrático medio consiste en la suma de
  las diferencias al cuadrado entre lo real y lo
  proyectado por el modelo
• Error å(pi - ri)2 åe2i/N
• p valor proyectado, r valor real N tamaño
  de la muestra
• Error medio absoluto y porcentaje cuadrático de
  error
• Error å(pi - ri)2/ri åe2i/N
• p valor proyectado, r valor real N tamaño
  de la muestra

14
Raíz cuadrada del de error cuadrático medio
Para verificar si las diferencias entre los
errores cuadráticos medios correspondientes a los
dos métodos de predicción, es significativa, se
utilizan las siguientes series
St et et y
D et - et donde et e son los
errores de predicción de los procedimientos 1 y
2, respectivamente. Luego, se verifica la
hipótesis de que el coeficiente de correlación
entre S y D es igual a cero, para lo cual se
utiliza el test t o test z de Fisher. Si se
rechaza la hipótesis existe una diferencia
significativa entre los errores cuadráticos
medios de ambas predicciones (índice W-K).
15
2.-Análisis Predicción-Realización

• Diagramas predicción-realización se construye a
  partir de las tasas de variación reales (eje x) y
  estimadas (eje y) para la variable endógena

16

• Cuadrante I cambio de la variable es mayor que
  cero al igual que la variación proyectada
• Cuadrante III cambio de la variable es menor
  que cero al igual que la variación proyectada.
• Cuadrante II y IV el error ha sido de signo se
  han proyectado aumentos (disminuciones) frenta a
  disminuciones (aumentos) reales
• La línea de predicción perfecta corresponde a la
  diagonal que divide a dos cuadrantes (I y III)

17

• Análisis de puntos de cambio de Dirección (P.D)
  los puntos de cambio de tendencia en una serie
  temporal permiten contrastar el correcto
  comportamiento del modelo. Se utiliza
• P.D Porcentaje de predicción de cambios de
  dirección porcentaje de cambios predichos
  correctamente por el modelo (puntos en los
  cuadrantes I y III)
• P.D porcentaje de cambios de tendencia erradas
  respecto al total real de cambios de tendencia

18

• Coeficiente de desigualdad de Theil (U) permite
  analizar tanto la bondad de la predicción como
  los componentes de éste

El coeficiente U se interpreta como la relación
entre la raíz cuadrada del error cuadrático medio
de las predicciones y la raíz cuadrada del error
cuadrático medio correspondiente al modelo
naive que supone que no habrá cambios en el
futuro. Para este modelo, U2 1 , lo que
representa un límite superior, ya que si lo
sobrepasa, implica que el modelo predice peor
que el modelo ingenuo de paseo aleatorio.
19

• Se puede descomponer el índice U2 en tres nuevos
  índices U2U2sU2vU2c
• Componente de sesgo U2s
• Componente de varianza U2v

Recoge las diferencias entre las medias.
Este componente es mayor cuanto más difieran
entre si las desviaciones estándar de las
predicciones y de los datos reales.
20

• Componente de correlación U2c

Recoge las diferencias entre la variación
conjunta entre predicciones y realizaciones. Si
Uc 0 implica que el coeficiente de correlación
es 1. A medida que Uc se va acercando a 1, la
predicción será más imperfecta.
21
3.- Comparación con otros modelos

• Comparación con modelos ingenuos son modelos tan
  simples que en la práctica sólo se usan como
  referencia a fin de valorar la capacidad
  predictiva de otros modelos más complejos,
  comparando sus errores de predicción con los de
  éstos.

22
Otros índices útiles para la valoración de modelos
23