Entender la caracterstica de funcionamiento relativa

1
Entender la característica de funcionamiento
relativa

• Simon J. Mason
• International Research Institute for Climate and
  Society

2
QUE? El WMO incluye caracteristicas relativas
operacionales (ROC) como parte de su sistema
estandarizado de verificacio (SVS). El nombre
incomprensible no significa intimidacion! El
nombre fue heredado de la teoria de
descubrimiento o identificacion.La maioria de los
meteorogolos se refieren a ella como ROC
simplemente. El ROC se usa para medir que tan
buenos son los pronosticos, pero la misma o es
una medida sencilla de prognostico de abilidad
como la correlacion, sino que se presenta
generalmente gratificante.
3
Por qué? El ROC fue seleccionado como parte del
SVS del WMO por muchas rezones, incluyendo las
siguientes characteristicas

• Se puede utilizar con pronosticos determinantes y
  de probabilidad.
• Fue disenado para medir que tan buenos son los
  pronosticos en el contexto de un modelo muy
  simple al tomar decisiones determinantes, y por
  lo tanto es mas conveniente para medir que tan
  buenos son los prognosticos desde la perspectiva
  del usuario en comparacion con otras medidas
  comunmente usadas.
• Reconoce que la calidad del pronostico no puede
  ser medida por un simple numero.

4
Cuándo? El ROC funciona con incognitas
binarias. Incognitas binarias son preguntas que
tienen respuestas "si" /"no" Por
ejemplo Llovera esta tarde? Estara caliente
manana? Producira tornados esta tormenta? Por
supuesto, la Segunda y tercera pregunta tienen
que ser definidas exactamente "Caliente" podria
ser definida como "mayor de 30o C," "inusualmente
humedo" podria significar "mas de 500 mm de
lluvia.
5
Como veremos posteriormente, el pronostico no
tiene que ser expresado con un simple "si" o
"no," pero la respuesta si tiene que ser un
simple "si" o "no." Si los pronosticos son
expresados como ( o convertidos a) "si" o "no,"
la verificacion es simple
As cajas amarillas son pronosticos correctos, las
cajas azules son pronosticos incorrectos.
6
Como?

• El ROC plantea las siguientes preguntas
• Para cuantos de los no-acontecimientos las
  advertenciasfueron proporcionadas
  incorrectamente?
• Para cuantos de los acontecimientos las
  advertencies fueron proporcionadas corretamente?

7
La major manera de ilustrar es por medio de un
juego.
8
A Usted le sera mostrado un arreglo de 120
azulejos de Mahjong organizados en 8 filas
numeradas y 15 columnas (A-O). Usted tendra un
minuto para recordar las posiciones de 12 "wind"
azulejos. Ellos son los unicos azulejos que se
distinguen por sus characters Chinos, negros, y
grandes (mostrados en el lado opuesto). Hay 3 de
cada uno, pero no se preocupe por distinguir
entre los azulejos, solo trate de recordar las 12
posiciones. Trate de recordar el mayor numero
possible. La mayoria de la gente recordaran unos
cuantos.
9
Por ejemplo, en el subconjunto abajo hay 3
azulejos del viento están en C1, B3, y G3.
10
1. Muy confidente (usted recuerda esta
localización claramente) 2. Bastante confidente
(usted piensa que hay un azulejo del viento
aquí, pero puede estar en una localización
vecina) 3. Levemente confidente (usted piensa
que puede haber un azulejo del viento en alguna
parte cerca aquí) 4. Apenas conjeturando (usted
piensa que puede haber localizado del azulejo que
espera arbitrariamente,hay conseguido por suerte).
Usted debe también indicar cómo estas confidente
y se ha recordado la localización correctamente.
Utilice las categorías siguientes
11
Si usted no puede recordar los 12, intento que
enumera un racimo de las localizaciones para ésos
usted no es totalmente seguro alrededor. Por
ejemplo, si usted piensa hay un azulejo del
viento en alguna parte en el centro de la fila 1
pero no puede recordar la columna exacta, enumera
el que usted piensa es primer correctos, y
después enumerar localizaciones cualquier lado.
Proceda solamente cuándo usted es listo para la
prueba.
12
no más de tiempo!
13
Ahora anote las 12 localizaciones como usted las
recuerda, e indique su nivel de confianza (1-4).
Utilice las referencias de la rejilla abajo.
14
Usted debe ahora tener una lista de 12
localizaciones con indicaciones en cómo es
confidente y se las localizaciones están
correctas. Una vez que usted sea feliz con sus
respuestas, y haya indicado su nivel de confianza
apropiadamente, vaya a continuación y compruebe
contra las respuestas en la diapositiva siguiente.
15
(No Transcript)
16
The 12 correct locations are A8 C7 D4 E1 E4 H8
I2 K3 L2 L5 L7 M4 Cuente el número que usted
consiguió derecho e incorrecto para cada nivel de
confianza, y después calcule los totales. Por
ejemplo, las cuentas del dr Xs eran como sigue
17
En el ejemplo, mirando primero solamente las
localizaciones que el dr X era muy confidente
alrededor, 4 localizaciones esté correcto.
Puesto que hay 12 azulejos del viento en total,
las localizaciones de el 33 de los azulejos del
viento fueron identificadas correctamente. El dr
X es tan muy confidente sobre las localizaciones
de el 33 de los azulejos del viento.
Pero una localización es incorrecta. Hay 108
azulejos del no-viento, y así que 0,9 de los
azulejos del no-viento fueron escogidos
erróneamente. El dr X es muy confidente que 0,9
de los azulejos del no-viento son azulejos del
viento.
18
La mayoría de la gente podría conseguir más de
los azulejos del viento si ella incluye las
localizaciones que esta bastante confidente
alrededor. En el ejemplo, ahora hay las
localizaciones 426 correctas, así que las
localizaciones de el 50 de los azulejos del
viento fueron identificadas correctamente. Pero
las localizaciones 112 son incorrectas, así que
1,9 de los azulejos del no-viento fue escogido
erróneamente.
19
Semejantemente usted puede poder conseguir aún
más de los azulejos del viento si incluimos las
localizaciones que usted era levemente confidente
alrededor, y de ésos para los cuales usted era el
conjeturar justo. Sin embargo, como comenzamos a
incluir las localizaciones para las cuales usted
es menos confidente, el número de las
localizaciones escogidas incorrectamente es
probable aumentar. La proporción de azulejos del
viento escogió tan correctamente aumentos como la
confianza disminuye, pero tan también hace la
proporción de azulejos del no-viento escogidos
incorrectamente.
20
Calcule la proporción correcta e incorrecta en
todos los niveles de la confianza. Su tabla debe
mirar algo como el siguiente
Podemos trazar estos puntos en un gráfico
21
(No Transcript)
22
Felicitaciones!! Usted acaba de dibujar (parte
de) un gráfico de ROC! Antes de que intentemos
tener más sentido del gráfico intentemos
resolverse cómo es bueno es su cuenta.
23
Cómo podemos determinarnos cómo esta buena su
cuenta? Una forma es comparar su cuenta con las
cuentas de la gente que no había sido dada una
oportunidad de memorizar las localizaciones de
los azulejos. Esta gente habría tenido que
conjeturar todas las localizaciones. Enumeran a
la gente que conjetura también localizaciones de
la lista 12, pero todos como conjetura.Considerem
os cuántas localizaciones ella es probable
conseguir correcta.
24
Hay 12 azulejos del viento y 120 azulejos en
total los tan 10 de los azulejos son
azulejos del viento. Hay 108 120? 12
azulejos del no-viento los tan 90 de los
azulejos son azulejos del no-viento.
25
Alguna de la gente que conjetura será afortunada
y conseguirá un número grande correcto, pero
otras serán desafortunadas y conseguirán poco
correcto. Asumiendo tenemos porciones de
conjeturar de la gente, podríamos hacer un
promedio de sus cuentas.
En promedio el 10 de las localizaciones estarán
correcto, y el 90 incorrecto. Tan para
cualquier número de conjeturas podemos calcular
las cuentas medias.
26
El porcentaje de los azulejos del viento
conjeturaba correctamente, y de los azulejos del
no-viento conjeturado incorrectamente, es igual.
Agreguemos estas cuentas al gráfico.
27
La línea para cualquier número de conjeturas se
demuestra, pero las marcas se demuestran
solamente para la comparación directa con las
cuentas del ejemplo.
28
Las cuentas de la memoria son mejores que
conjeturando si hay más azulejos del viento y
pocos azulejos del no-viento seleccionados, es
decir más de las localizaciones se identifican
correctamente que se conjeturan correctamente. En
el ejemplo, 5 azulejos eran?very marcado
confidente?, y 4 de éstos estaban correctos. En
promedio, solamente 0,5 azulejos estarían
correctos conjeturando, así que la memoria del dr
X es buena. En el gráfico, una buena memoria
demostraría puntos a la izquierda y sobre la
línea para las conjeturas. Más adelante en
nosotros consideraremos la cuestión de cuánto
mejor que conjeturando sus cuentas sea. Pero
ahora déjenos se aplican qué se ha aprendido a
algunos pronósticos del clima.
29
En el ejemplo de Mahjong le dieron 12 ocasiones
de señalar a las localizaciones de 12 azulejos
del viento de un total de 120 azulejos. Usted
podía utilizar su memoria para mejorar en
conjeturar, y podíamos identificar si su memoria
mejoró sobre conjeturas. Esta clase de problema
es muy común, tan ahora nos dejó tomar un ejemplo
climatológico equivalente
30
Esta vez tenemos 30 años de pronósticos de la
precipitación, y el problema es identificar los
10 años secos sobre el período de 30 años. El
problema es similar al juego de Mahjong, pero con
las diferencias siguientes 30 años en vez de
120 azulejos 10 años secos en vez de 12 azulejos
del viento 20 años no-secos en vez de 108
azulejos del no-viento No tenemos acceso a los
datos de la precipitación, y así que no podemos
memorizar los años.En lugar utilizaremos los
pronósticos para seleccionar el años.
31
El acercamiento más lógico es utilizar el
pronóstico para la menos precipitación (1984 en
0,530) como nuestra indicación más probable de un
año seco, el pronóstico para el segundo menos
precipitación (1963 en 0,729) como nuestro
segundo probable, y el pronóstico para el tercero
menos precipitación (1966 en 0,796) como nuestro
tercero muy probablemente...
32
Podríamos continuar enumerando todos los años en
orden de cómo es confidente somos que cada año es
uno de los 10 años secos. Seríamos los más
confidentes que 1984 es seco y lo más menos
posible confidente que 1962 es seco.
33
Los años realmente secos se destacan arriba.
Calculemos una tabla de la cuenta de la misma
manera que para el juego de la memoria.
Utilizaremos a cada fila como nivel que disminuye
de la confianza.
34
Nuestra primera selección está correcta, así que
hemos identificado 1 (el 10) de los 10 años
secos correctamente. El segundo es incorrecto,
así que hemos seleccionado 1 (5) de los 20
no-secos años incorrectamente.Ahora podemos
trazar estos puntos?
35
(No Transcript)
36
Podemos determinar cómo los pronósticos están
buenos exactamente de la misma manera que para el
juego de la memoria. Comparemos las cuentas para
los pronósticos con las cuentas para la gente que
no tiene ningún pronóstico disponible. Esta
gente habría tenido que conjeturar todos años
secos.
37
Allí son 10 años secos y 30 años en
total tan los cerca de 33 de los años son
secos. Hay 20 30 10 años no-secos tan
los cerca de 67 de los años son no-secos.
38
En el promedio el cerca de 33 de los años
escogidos esté correcto, y el 67 incorrecto.
Tan para cualquier número de conjeturas las
cuentas medias estarán
Y podemos agregar estas cuentas al gráfico
39
(No Transcript)
40
Recuerde eso para que los pronósticos sean
mejores que conjeturando, los pronósticos deben
identificar correctamente ma's los años secos e
identifican poco incorrectamente años no-seco
que las conjeturas. Para los buenos pronósticos
la curva estará a la izquierda y sobre la línea
diagonal aquí los pronósticos identifican una
proporción grande de años secos mientras que
escoge solamente una proporción pequeña del años
no-secos incorrectamente. Los pronósticos
parecen ser buenos en la parte izquierda y media
del gráfico solamente. Qué este medio?
41
Considere otra vez la tabla que demuestra la
orden en la cual escogimos el años secos . Note
que la mayoría de los años secos son
identificados por nuestras opciones más
confidentes. Nuestras selecciones más
confidentes eran bastante acertadas.
42
Sin embargo, después alrededor de la
décimotercero selección, los pronósticos no
proporcionan la dirección útil para identificar
más del años secos.
43
Podemos dibujar la conclusión siguiente del
gráfico de ROC Cuándo el pronóstico sugiere que
las condiciones vayan a ser secas nosotros puedan
ser razonablemente confidentes que secos las
condiciones ocurrirán.Sin embargo, cuando el
pronóstico sugiere que las condiciones vayan a
ser normales o mojadas no podemos hacer
declaración útil sobre la probabilidad de
condiciones secas.
44
La correlación entre haber observado y la
precipitación del pronóstico es 0,044. De
acuerdo con la correlación, no haríamos caso
normalmente de estos pronósticos, pero el gráfico
de ROC sugiere que puedan ser útiles en el
pronóstico condiciones secas. El gráfico de
ROC indica que los pronósticos son mejores que
conjeturas, pero por cuánto?
45
Podemos utilizar un fórmula especial, conocido
como la ecuación hipergeométrica, para calcular
la ocasión alguien que conjetura el mismo número
de años secos como pronosticamos correctamente.
Esta ecuación está disponible como función en
paquetes tales como MS sobresale (HYPGEOMDIST).
46
Utilizar esta ecuación para calcular cómo es
bueno son los pronósticos, debemos primero
elegimos a que los años vamos a tratar como
pronósticos de condiciones secas.Publiquemos
una advertencia de condiciones secas cuando el
pronóstico es menos de 1,0.Los años realmente
secosestán marcados en azul marino.
47
Ahora podemos definir los términos individuales
de la ecuación número de años secos 10 número
de años no-secos 20 número de años 30 número
de advertencias correctas 7 número de
advertencias incorrectas 6 número de
advertencias 13
48
El resultado nos dice que solamente cerca de 3,9
de la gente que tenía 13 tentativas de conjeturar
los 10 años secos conseguirían 7 de los años
correctos. Pero el resultado solamente nos dice
las ocasiones alguien que consigue exactamente el
mismo número correcto conjeturando que
conseguimos con los pronósticos. Alguna gente
podría conseguir más de 7 correctos conjeturando.
49
Porque alguna de la gente que está conjeturando
puramente puede tener más de 7 años de correcto,
debemos contar éstos también. Necesitamos tan
calcular las ocasiones alguien que hace así como,
o mejoramos que, nuestros pronósticos apenas
conjeturando. Las ocasiones de conseguir 8, 9, o
10 conjeturando son cerca de 0,58, 0,02, y
0,0004 respectivamente. Adición de éstos, de las
ocasiones de 7 que conjeturan o más del los años
secos son cerca de 4,5.
50
Por supuesto, conseguiríamos una diversa
respuesta si utilizamos un diverso criterio para
decidir cuando publicar una advertencia. Usted
debe ser cuidadoso de los muchos problemas en la
ejecución de tales pruebas de la
significación. Sin embargo, el gráfico de ROC
sugiere que estos pronósticos contengan una
cierta información útil, a pesar de una
correlación de cerca de cero. Como medida sumaria
del gráfico, el área debajo de la curva de ROC se
calcula con frecuencia
51
El área debajo de la línea que conjetura es 0,5,
y así que un área mayor de 0,5 sugiere que los
pronósticos sean buenos. El área debajo del
gráfico para nuestros pronósticos es 0,61. Qué
este medio?
52
El área debajo del gráfico nos dice la
probabilidad esa el pronóstico para un año seco
es más que el pronóstico para un año
non-seco. Si nos dieron un pronóstico para uno
año seco y para uno año non-seco,
identificaríamos el año seco correctamente el
61 del tiempo. En la práctica, esta información
no es muy provechosa al usuario. Sin embargo, el
gráfico en su totalidad debe ser muy informativo
al previsionista.
53
Feedback
Para supervisar la utilidad de este curso, y
llevar a cabo revisiones y mejoras, podían usted
remitir por favor cualquier comentario o
sugerencias. Dr Simon J. Mason International
Research Institute for Climate Prediction Columbia
University 61 Route 9 W Palisades, NY
10964-8000 USA E-mail simon_at_iri.columbia.edu
54
Lecturas recomendadas

• Murphy, A. H., 1993 What is a good forecast? An
  essay on the nature of goodness in weather
  forecasting. Weather and Forecasting, 8, 281293.
• Wilks, D. S., 1995 Statistical Methods in the
  Atmospheric Sciences, Academic Press, San Diego.
  Chapter 7, Forecast verification, pp 233283.
• Mason, S. J., and N. E. Graham, 1999 Conditional
  probabilities, relative operating
  characteristics, and relative operating levels.
  Weather Forecasting, 14, 713725.
• Mason, S. J., and N. E. Graham, 2002 Areas
  beneath the relative operating characteristics
  (ROC), and levels (ROL) curves statistical
  significance and interpretation. Quarterly
  Journal of the Royal Meteorological Society, 128,
  21452166.