La evaluacin en el marco de la innovacin curricular

1
La evaluación en el marco de la innovación
curricular

• Evaluación de los estándares referenciales
• Patrick Griffin
• Assessment Research Centre
• The University of Melbourne
• Santiago, Chile 2006

2
Objetivos

• Desarrollar criterios de evaluación para un rango
  de habilidades y unidades de enseñanza
• Conectar las unidades o unidades de aprendizaje a
  las
• rubrics que describen
• el desarrollo de habilidades
• los indicadores de estas habilidades
• los criterios de calidad para cada indicador
• Para interpretar el patrón de criterios para
  desarrollar una Vía de Aprendizaje que conduzca a
  un nivel de pensamiento más elevado.

3
Ejemplo de un formulario para la hospitalidad
4
El desarrollo del SRF

• Defina el marco o tema de aprendizaje.
• Subdivida el marco en dominios de aprendizaje.
• Identifique las habilidades dentro de un
  subdominio.
• Para cada habilidad, haga una lista de
  indicadores de desempeño que describa un conjunto
  típico de actividades indicativas que se podrían
  realizar y que lo convenzan.
• Para cada indicador defina criterios de calidad
  que describan diferentes calidades de desempeño.
• Evalúe la dificultad relativa de los criterios e
  interprete los niveles de competencia creciente.
• Relacione los niveles con la intervención en la
  enseñanza.
• Identifique los recursos para la intervención.
• Defina la política que proporciona los recursos.

5
El desarrollo de rubrics para evaluar la
calidad- medición de la reconceptualización
6
De la evaluación a la política
7
Las propiedades de un SRF

• Criterio de Referencia
• De desarrollo
• Analítico y diagnóstico
• Basado en rubrics y evaluación de la calidad
• Para el desarrollo se requiere pericia en el
  tema.
• Relaciona el curriculum, la enseñanza y el
  aprendizaje.
• Relaciona la enseñanza con los recursos y la
  política.

8
Ejemplo de la evaluación de la hospitalidad
9
La unidad el trabajo en un ambiente socialmente
variado
10
Elemento 1.1.Ponerse en comunicación con
clientes y colegas con diversas experiencias
Desarrollo de criterios de calidad para cada
indicador y sus códigos computacionales

• Indicador de Desempeño 1.1.1 Valorar a los
  clientes y colegas de diferentes grupos
  culturales y tratarlos con respeto y sensibilidad.

Desarrolla formas de interactuar y evaluar
enfoques culturalmente sensibles 1.1.1.4
Trabaja con colegas para establecer enfoques
sensibles de los problemas 1.1.1.3
Posee una estrategia coherente para trabajar con
personas de diferentes culturas 1.1.1.2
Menor calidad
Puede describir diferentes culturas 1.1.1.1-
11
Criterios de calidad

• describen una serie de formas de trabajar tales
  que cada descripción comprende un grado de
  calidad
• permiten llegar a una conclusión acerca del
  aprendizaje para el desarrollo, no se debe juzgar
  si las cosas están bien o mal.
• discriminan entre el trabajo para elevar la
  calidad del aprendizaje no debería haber pasos
  a seguir en una secuencia de operaciones
• contienen una idea central que se puede
  reconocer.
• reflejan trabajo o muestras de comportamientos
  conocidos que cubren un rango de distintas
  actuaciones o calidad del trabajo.
• evitan un lenguaje ambiguo sin términos
  comparativos para definir la calidad del
  comportamiento
• son transparentes, de modo que las personas
  evaluadas puedan verificar su evaluación
• reflejan la dificultad relativa comparada con
  cualquier otro criterio.
• se emiten juicios confiables y coherentes entre
  los jueces con cuatro o menos criterios dentro de
  cualquier indicador.
• tienen peso propio basado sólo en la capacidad de
  discriminación no se usará ninguna ponderación.

12
Anderson y Krathwohl (2001)
13
Continuación modelo Dreyfus

• Novicio
• Adherencia rígida a las reglas o planes
  enseñados escasa percepción de situaciones no
  tiene juicio discrecional.
• Principiante avanzado
• Las pautas para actuar están basadas en atributos
  o aspectos (los aspectos son las características
  globales de situaciones que sólo se pueden
  después de una experiencia previa), no es capaz
  de ver la integridad de una nueva situación
  (puede saltarse algunos detalles esenciales).
• Competente
• Percibe las acciones, al menos parcialmente, en
  términos de metas a más largo plazo planifica en
  forma consciente y deliberada procedimientos
  estandarizados y rutinizados.
• Con experiencia
• Ve las situaciones en forma holística en vez de
  en términos de aspectos reconoce lo que es más
  importante en una situación percibe desviaciones
  de un modelo normal y posee una red o
  perspectivas de una situación tiene una manera
  de tomar decisiones menos laboriosa usa máximas
  cuyos significados varían de acuerdo a la
  situación para guiarse (una máxima es una breve
  expresión de una verdad simple, un código de
  conducta o instrucciones crípticas que sólo
  tienen sentido si ya existe una profunda
  comprensión de la situación).
• Experto
• . Ya no confía en las reglas, pautas o máximas
  actúa a partir de una profunda comprensión total
  de la situación (Bueno, todo depende), los
  enfoques analíticos los usa solamente en
  situaciones nuevas o cuando sucede algún
  problema visión de lo que es posible.

14
Para solucionar problemas

• Lista
• Modelos
• Reglas
• Generalizaciones
• Hipótesis
• Solución inteligente creativa

15
Enfoque genérico de los criterios de calidad
Bloom
16
Enfoque genérico de los criterios de calidad
Dreyfus
17
Enfoque genérico de los criterios de
calidadLa solución de problemas
18
(No Transcript)
19
(No Transcript)
20
Marco de un ejemplo médico Evaluación clínica
de la neumonia

• Domain 1 - Assess clinical identification of
  pneumonia and possible complications

21
La matriz

• Haga una columna para cada indicador de
  desempeño.
• Coloque los criterios en cada columna dejando la
  altura necesaria para reflejar la dificultad
  relativa acordada.
• Identifique grupos de criterios en tajadas
  horizontales
• Interprete los grupos y ajuste la altura de los
  criterios para ayudar a la interpretación
• Fije un nivel desarrollo aceptable.
• Identifique las necesidades de entrenamiento para
  los candidatos de cada nivel.
• Formule recomendaciones con respecto a cómo se
  registrará esto.
• Identifique los recursos necesarios para asegurar
  que los candidatos puedan ser cambiados un nivel.

22
El proceso de calibración de la matriz

• Escriba cada criterio en un papel adhesivo
  (postit note)
• Use la mesa o una pared en blanco y alinee todos
  los criterios de acuerdo con su dificultad
  relativa.
• Use una columna por indicador
• Agregue sus criterios a los de otros grupos.
• Interprete la progresión del desarrollo.

23
Modelación de las respuestas por item y la matriz
24
IRT y la Matriz
25
La matriz basada en opiniones
Tema identificado entre los indicadores del
próximo grupo
Anticipates, monitors and resolves difficult
situation
Industry Issues relevant to tasks
Tema identificado entre los indicadores del
próximo grupo
Legal and ethical issues
sensitivity and high quality service
Tema identificado entre los indicadores del
próximo grupo
Deals with difficult situations
Tema identificado entre los indicadores del grupo
más bajo
Information for day to day use
Communicates well with clients
26
Capabilities and their Performance Indicators
for the unit
27
Interpretando los grupos de las rubrics PC para
una unidad de competencia
28
Interpreting clusters of PC rubrics for a unit
of competence
29
Interpreting clusters of PC rubrics for a unit
of competence
30
Interpreting clusters of PC rubrics for a unit
of competence
31
Interpreting clusters of PC rubrics for a unit
of competence
32
Resumir al nivel de unidad
33
Rotar el resumen
34
Rotar el resumen
35
Rotar el resumen
36
para obtener una escala de clasificación de esta
habilidad
37
para obtener una escala de clasificación de una
habilidad
38
y agregar otras habilidades
39
para obtener la evaluación de una materia
40
to get a subject assessment
41
Combinar las clasificaciones y repetir la
ponderación e interpretación con el resumen
Tema identificado entre los indicadores del
próximo grupo
Anticipates, monitors and resolves difficult
situation
Industry Issues relevant to tasks
Tema identificado entre los indicadores del
próximo grupo
sensitivity and high quality service
Legal and ethical issues
Tema identificado entre los indicadores del
próximo grupo
Deals with difficult situations
Tema identificado entre los indicadores del grupo
más bajo
Information for day to day use
Communicates well with clients
42
Para obtener una matriz a nivel de un
programa Hacemos lo mismo con las declaraciones
resumidas igual como lo hacemos con las rubricas
originales
43
Un exemplo empírico hacer un mapa de las
dificultades relativas de las rubricas PC
1
2
3
4
5
6
7
8
9
10
11
12
44
An empirical example - mapping the relative
difficulty of PC rubrics
1
2
3
4
5
6
7
8
9
10
11
12
45
An empirical example - mapping the relative
difficulty of PC rubrics
1
2
3
4
5
6
7
8
9
10
11
12
46
An empirical example - mapping the relative
difficulty of PC rubrics
1
2
3
4
5
6
7
8
9
10
11
12
47
An empirical example - mapping the relative
difficulty of PC rubrics
1
2
3
4
5
6
7
8
9
10
11
12
48
Program Levels Interpretation
49
Muestra de Aplicaciones

• Educación de profesores
• Evaluación de profesores
• Evaluación de directores de colegios
• Acogida
• Negocios/Comercio
• Administración de emergencia
• Ingeniería
• Tecnología de información
• Práctica en clínica médica

50
Tarea de evaluación clase de magister
51
Criterios de Tarea
52
Record keeping
53
Desde la medición a la política
54
Conclusiones

• Se puede identificar la intervención
• Desarrollo continuo de las habilidades de una
  persona
• Aumento de un nivel en cada persona
• El efecto global en la organización será enorme.
• Un enfoque que puede promover la interpretación
  ROI
• Mayor calidad y competencia
• Se conservan los métodos de evaluación existentes
• Se perfeccionan los sistemas de registro e
  información
• Actual C/NYC
• Concepto de competencia
• Cambiar al nivel demostrado
• Mismo proceso de auditoría y cierre
• La trascripción se entrega a nivel de tema
  definiendo un nivel para cada unidad.
• Proporciona datos comparativos para los
  interesados pertinentes.