Presentaci

1
Evaluación y Tecnología Un matrimonio de
conveniencia
Gregorio Rodríguez Gómez (UCA) Eduardo García
Jiménez (US) Grupo EVALfor
2
Estructura de la conferencia

1. Evaluar utilizando la Tecnología

2. Innovación? Modernización?
3. Tareas de evaluación sofisticadas y evaluación
2.0
4. El reto de la retroinformación
5. Prospectiva qué deberíamos exigir a la
Tecnología?
3
1. Evaluar utilizando la Tecnología
Tecnologías que aumentan nuestra fuerza o
resistencia
Tecnologías que amplían nuestros sentidos
TECNOLOGÍAS INTELECTUALES Amplían/apoyan nuestra
capacidad mental
Tecnologías que modifican la naturaleza
Carr, N. (2011) . Superficiales. Qué está
haciendo Internet con nuestras mentes?. Madrid
Taurus.
4
1. Evaluar utilizando la Tecnología
5
1. Evaluar utilizando la Tecnología
6
1. Evaluar utilizando la Tecnología
Evaluación de competencias en contextos de
aprendizaje mixto (blended-learning) Ref.
EA2007-0099
Evaluación de competencias con Herramientas de
Interacción Dialógica Asíncrona (Foros, blogs y
wikis) Ref. EA2008-0237
Reingeniería de la e-Evaluación, tecnologías y
desarrollo de competencias en profesores y
estudiantes universitarios Ref. Proyecto de
Excelencia P08-SEJ-03502
INnovación en la EVALuación de COmpetencias
Diseño y desarrollo de procedimientos e
instrumentos para la evaluación de competencias
en entornos de aprendizaje mixtos/virtuales con
la participación de los estudiantes en los
títulos de grado Ref. EA2010-0052
7
2. Innovación? Modernización?
8
2. Innovación? Modernización?
9
2. Innovación? Modernización?
Delimitando la innovación
Conceptualización
Experiencia innovación creación de valor José
Antonio Pérez-Nievas Heredero. Presidente de
Iberfomento
 
Capacidad innovadora de una Universidad
INNOVACIÓN Entorno x (Creatividad x Riesgo
Asumido)
Bajo control de la organización
Fuente Club de excelencia en gestión
10
2. Innovación? Modernización?
11
2. Innovación? Modernización?
Retos
12
3. Tareas de evaluación sofisticadas y evaluación
2.0

• La  evaluación en un entorno virtual se ha
  mantenido fiel a su origen
• Las prácticas de evaluación al uso en la
  enseñanza presencial.
• La evaluación basada en el uso de ordenadores.
  (Computer Based Assessment Computer Based
  Assessment PLATO)

13
3. Tareas de evaluación sofisticadas y evaluación
2.0

• El cambio en los fundamentos teóricos (TRI a TCT)
  tampoco ha modificado en esencia las tareas de
  evaluación. Los TAIs (CAT) continúan la tradición
  de la taxonomía de Bloom al construir las tareas
  de evaluación.

• TAIs en Educación Secundaria, CC. Sociales y
  Jurídicas, elaborados a partir de MICROCAT
  (García, Gil y Rodríguez, 1999)
• SIETTE (Guzman y Conejo, 2002)

14
3. Tareas de evaluación sofisticadas y evaluación
2.0

• La aparición de Internet no ha cambiado
  sustancialmente el tipo de tareas de evaluación
  planteadas al estudiante.
• QUIZIT, WebCT ahora Blackboard,  ASSYST. Moodle o
  PILOT

permite que los estudiantes respondan a preguntas
y reciban retroinformación desde cualquier
dispositivo conectado a Internet en cualquier
momento.   
15
3. Tareas de evaluación sofisticadas y evaluación
2.0

• Los estudiantes contestan oralmente a una
  pregunta, completan matrices de información,
  emparejen preguntas y respuestas, arrastran y
  sueltan objetos, ponen etiquetas, etc..
• Feedback automatizado y cerrado
• a la respuesta errónea A le corresponde el
  feedback A

La evaluación han modernizado la forma de
preguntar y dar retroinformación a los
estudiantes pero no el enfoque de las preguntas
ni de la retroalimentación.  
16
3. Tareas de evaluación sofisticadas y evaluación
2.0

• Bennett (1998) una nueva generación de
  evaluación
• Habría que cambiar la naturaleza de las tareas y
  de las preguntas.
• El cambio generacional debería ser capaz de
  integrar las tareas de evaluación y el
  aprendizaje
• Con tutores inteligentes, micromundos y
  simulaciones.
• Contenido altamente dinámico y adaptable
  considerando los intereses particulares, las
  fortalezas y debilidades de los estudiantes.   
• PERO LAS INNOVACIONES SIGUEN SIENDO ESCASAS !!

17
3. Tareas de evaluación sofisticadas y evaluación
2.0

• El avance de las TICs como respuesta
• Automatización del proceso de evaluación
• Lei He (2006)
• evalúa los resultados de los estudiantes y las
  actividades de enseñanza de los profesores en la
  vida real, pero sigue apoyándose en la taxonomía
  de Bloom.
• e-Examiner (Guelt, 2007).
• permite generar automáticamente pruebas
  proporcionando retroinformación automática al
  estudiante, pero sigue utilizando preguntas
  semicerradas y de texto libre (hasta 20
  palabras).

18
3. Tareas de evaluación sofisticadas y evaluación
2.0

• Tareas sofisticadas una alternativa?
• material de estímulo rico en medios (gráficos,
  sonido, vídeo o animación).
• requiere al estudiante que interactúe en una
  variedad de formas con dicho material.
• Cada tarea debe hacer referencia a varios temas o
  tópicos centrales en el aprendizaje del
  estudiante.
• Tripartite Interactive Assessment Development
  System (TRIADs).
• pruebas ricas en medios que permiten al
  estudiante interactuar con las diferentes
   informaciones presentes en un ítem (textos,
  imágenes, sonidos) pero finalmente se trata de
  elegir una respuesta entre varias opciones o para
  completarla.
• Retroalimentación inmediata y de una única
  fuente el profesor.

19
3. Tareas de evaluación sofisticadas y evaluación
2.0
Tripartite Interactive Assessment Development
system (TRIADs)
Mackenzie, 1999
20
3. Tareas de evaluación sofisticadas y evaluación
2.0
Tripartite Interactive Assessment Development
system (TRIADs)
Mackenzie, 1999
21
3. Tareas de evaluación sofisticadas y evaluación
2.0

• Integración de evaluaciones (University of
  Technology, Sidney)
• Tareas integradoras
• los estudiantes reúnen y reprocesan los
  diferentes trabajos que han llevado a cabo a lo
  largo de un curso, después reflexionan sobre
  ellos y los analizan, de ese modo modifica tanto
  su interpretación de las exigencias de cada tarea
  como su valoración del alcance de las mismas.
• Examen completo
• Se da al estudiante un caso de estudio dos
  semanas antes del examen pueden crearse grupos
  de estudio para analizarlo. En el examen de
  conjunto se incluyen diferentes pruebas a través
  de distintas materias, que se apoyan en preguntas
  cortas o de elección múltiple, y requieren
  conocimiento aplicado.
• Maastricht University (Segers, 1997).

22
3. Tareas de evaluación sofisticadas y evaluación
2.0

• Assessment 2.0 (Elliot, 2008)
• Desarrollo de tareas de evaluación en un entorno
  Web 2.0
• Apoyada en applets, simulaciones u hojas de
  cálculo con macros, reorientación de objetos
  dentro de una imagen o un gráfico, empleo de
  imágenes de video o 3D.
• Acontecida de forma natural ya existente no
  generada ad hoc para realizar la evaluación.
• Multimedia existente en formato texto, audio o
  video.
• Digital correo electrónico, mensajería
  instantánea, blogs, wiki y grabaciones en audio y
  video.
• Distribuida como la que puede obtenerse a través
  de varias fuentes, tales como sitios web, blogs,
  inbox, iPod.

23
3. Tareas de evaluación sofisticadas y evaluación
2.0

• Assessment 2.0 (Elliot, 2008)
• Auténtica.
• Personalizada.
• Negociada.
• Socialmente construida.
• Reconoce las habilidades previas.
• Orientada a problemas.
• Elaboradas de forma colaborativa.
• Autoevaluación y evaluación entre iguales.

24
3. Tareas de evaluación sofisticadas y evaluación
2.0

• Assessment 2.0 (Elliot, 2008)
• Inconvenientes
• Tecnología sofisticada para desarrollar una
  evaluación que también es sofisticada y que tiene
  aplicaciones igualmente sofisticadas.
• Se necesita que los profesores tengan las
  habilidades necesarias para construir una
  evaluación 2.0 y puedan dedicar el tiempo que se
  necesita, detrayéndolo de otras actividades como
  por ejemplo la investigación.
• Es necesaria tanta sofisticación? Es un
  problema tecnológico o de enfoque de la
  evaluación?

25
3. Tareas de evaluación sofisticadas y evaluación
2.0

• SE REQUIEREN TAREAS TAN SOFISTICADAS?
• LA INNOVACIÓN EN LAS TAREAS DE EVALUACIÓN, ES
  UN PROBLEMA TECNOLÓGICO O UN PROBLEMA DE ENFOQUE?

26
4. El reto de la retroinformación

• La retroinformación al uso en la enseñanza
  virtual no es muy diferente a la que se lleva a
  cabo en la enseñanza presencial, como parte de
  una evaluación de tipo formativa.
• La investigación sobre retroinformación se ha
  centrado fundamentalmente en hacer más eficaz la
  labor del profesor que sigue a la evaluación de
  los estudiantes.

27
4. El reto de la retroinformación

• Shute (2007 30-33) ha sistematizado los
  resultados de las investigaciones sobre
  retroalimentación en cuatro categorías lo que
  puede hacerse, lo que puede evitarse,
  oportunidad de la retroinformación y
  características de los estudiantes.

28
4. El reto de la retroinformación

• En el caso particular de la enseñanza asistida
  por ordenador, la investigación sobre
  retroinformación se ha apoyado igualmente en el
  concepto de evaluación formativa tratando de
  identificar el mejor modo de que el profesor
  apoye el aprendizaje del estudiante, una vez
  realizada la evaluación.
• Mason y Bruning (2001), un esquema para la toma
  de decisiones sobre el tipo de retroinformación
  más adecuado en una enseñanza asistida por
  ordenador.

29
4. El reto de la retroinformación
30
4. El reto de la retroinformación

• El profesor como la única fuente de
  retroinformación tiene el monopolio de la
  retroinformación.
• Se priva a otros agentes los compañeros de clase
  y el propio estudiante, entre otros- de
  participar en ese proceso.
• Buena parte del potencial de Internet, y
  especialmente de la Web 2.0, quedarían
  desaprovechados.
• La evaluación formativa es una una rémora en el
  avance de la evaluación al desviar el foco de
  atención hacia el profesor y la enseñanza.

31
4. El reto de la retroinformación

• Este tipo de retroinformación centrada en la
  enseñanza y monopolizada por el profesor tiene
  además otro consecuencia fundamental
• su utilidad es una función de la capacidad del
  estudiante para
• a) decodificar el mensaje (feedback) del
  profesor
• b) internalizar dicho mensaje y,
• c) utilizarlo para confirmar su respuesta, hacer
  cambios en ella o simplemente reemplazarla.

32
4. El reto de la retroinformación

• Nicol y Macfarlane-Dick (2006), modelo de
  aprendizaje autorregulado, 7 principios básicos
  para una buena retroinformación
• Clarificar qué se entiende por un trabajo bien
  hecho.
• Facilitar la reflexión y la autoevaluación en el
  aprendizaje.
• Proporcionar información significativa en la
  retroinformación que ayude a los estudiantes a
  autocorregirse.
• Promover el diálogo profesor-estudiantes y
  compañeros.
• Estimular la autoestima y la motivación positiva.
• Crear las oportunidades para que se pueda actuar
  sobre la retroinformación.
• Utilizar la retroinformación de los estudiantes
  para mejorar la enseñanza.

33
4. El reto de la retroinformación

• Algunas experiencias del JISC frustrantes?
• Open University, en su curso a distancia
  Explorar la ciencia, basando en iMACs
• Diferentes tipos de preguntas abiertas o
  cerradas, texto libre (hasta 20 palabras).
• Retroinformación diferenciada en función de cada
  uno de los intentos que realiza el estudiante
  para responder de forma correcta a una pregunta
  (a más intentos más retroinformación).
• Si es necesario remiten al estudiante a los
  materiales fundamentales del curso
• Se puntúan las respuestas correctas en función
  del número de intentos necesarios para lograrlas.
  

34
4. El reto de la retroinformación

• Algunas experiencias del JISC frustrantes?
• Open University, en su curso a distancia
  Explorar la ciencia
• A medio camino entre la retroinformación
  proporcionada en los modelos de evaluación
  apoyados en el uso del ordenador y la
  autorregulación del aprendizaje.
• Evaluación que prima ciertamente ya no es un
  monopolio- el papel de una retroinformación
  externa en detrimento de la interna o de la que
  puedan proporcionar los propios compañeros.

35
4. El reto de la retroinformación

• Algunas experiencias del JISC frustrantes?
• Universidad de Leicester en un Máster sobre
  Psicología Ocupacional.
• Tecnología en la que se apoyó la
  retroinformación archivos de audio (podcasts)
  grabados por el profesor/ tutor distribuidos vía
  correo electrónico/ Blackboard y descargados a
  través de un sistema de redifusión (RSS) en MP3
  en su teléfono móvil, ipad u ordenador.
• Estudiantes rompen su aislamiento (humanizan),
  pueden recibir la retroinformación en cualquier
  momento y lugar.
• Profesores adecuada y eficiente, especialmente
  en aquellos casos en los precisan dar al
  estudiante una retroinformación detallada como en
  los trabajos finales de máster

36
4. El reto de la retroinformación

• Algunas experiencias del JISC frustrantes?
• Universidad de Leicester en un Máster sobre
  Psicología Ocupacional.
• El enfoque sigue considerando al profesor como
  fuente única de dicha retroinformación y, desde
  luego, esta lejos de favorecer procesos de
  autorregulación del aprendizaje del estudiante.

37
4. El reto de la retroinformación

• Podemos esperar algo más?
• Grupo Evalfor en diferentes enseñanzas
  universitarias, ámbito de las Ciencias de la
  Salud
• Estudiantes de Enfermería han llevado un proceso
  de evaluación que comporta autoevaluación,
  evaluación entre compañeros y evaluación del
  profesor.
• En una metodología de enseñanza por pequeños
  grupos, los estudiantes tenían que elaborar un
  genograma y subirlo a un entorno de aprendizaje
  virtual Moodle.
• Posteriormente, los estudiantes de cada grupo
  tenían acceso a los genogramas elaborados por los
  demás grupos, los evaluaban utilizando una
  rúbrica común elaborada ad hoc y podían
  proporcionar retroinformación a sus compañeros.

38
4. El reto de la retroinformación

• Podemos esperar algo más?
• Grupo Evalfor en diferentes enseñanzas
  universitarias, ámbito de las Ciencias de la
  Salud
• Limitaciones/Posibilidades
• Una mayor formación específica sobre evaluación
  del aprendizaje.
• Proceso dialógico Criterios de evaluación y
  estándares de ejecución son objeto de revisión
  por profesores y alumnos.
• Un entrenamiento en directrices que articulan la
  retroinformación hubieran contribuido a un mayor
  aprovechamiento de esta última por parte de los
  estudiantes acrecentando su capacidad para
  autorregular el aprendizaje.
• Proceso dialógico Ejemplificar y compartir
  modelos de retroinformación.
• En el futuro, sería necesario profundizar en la
  relación entre dicha formación y entrenamiento y
  la mejora de los procesos de autorregulación.

39
5. Prospectiva qué deberíamos exigir a la
Tecnología
Evaluación 2020 La evaluación tiene más efecto cuando 1. La evaluación se utiliza para involucrar a los estudiantes en un aprendizaje productivo
La tecnología tendrá más efecto cuando Permita que los estudiantes se involucren en un aprendizaje productivo a través de la evaluación
Grado de desarrollo ALGO Las redes sociales permiten involucrar a los estudiantes en la evaluación, aunque actualmente no están muy preparadas para ello POCO ALTO. Las tecnologías Web 2.0 permiten que los estudiantes produzcan resultados que son evaluables. No obstante, las herramientas que se utilizan para ello aún no tienen herramientas de soporte a la evaluación por parte del profesor.
40
Evaluación 2020 La evaluación tiene más efecto cuando 2.   La retroalimentación se utiliza para mejorar de forma activa el aprendizaje del estudiante
La tecnología tendrá más efecto cuando Permite la autorregulación del aprendizaje, incorporando la retroalimentación de profesores y compañeros
Grado de desarrollo BASTANTE Los sistemas de mensajería electrónica (e-mail) y las redes sociales habilitan la retroalimentación, aunque está aun por determinar en qué momentos es más adecuado que dicha retroalimentación se produzca BASTANTE Sistemas de preguntas/respuestas con guía para los alumnos. Disponibles en LMSs. ALTO Las herramientas on-line permiten dar realimentación de profesores y compañeros en diferentes modos, anónima o con identificación, para cualquier tipo de entrega e incluso para contribuciones en medios asíncronos como los foros.
41
Evaluación 2020 La evaluación tiene más efecto cuando 3.   Estudiantes y profesores se conviertan en socios responsables en el aprendizaje y la evaluación
La tecnología tendrá más efecto cuando Hace posible la colaboración del estudiante, sus compañeros y profesores en el diseño y desarrollo integral de la  evaluación y del aprendizaje
Grado de desarrollo POCO la co-responsabilización en la evaluación poco o nada tienen que ver con la tecnología. Aunque hay ayudas tecnológicas que han demostrado su utilidad en el aprendizaje colaborativo (v.g. herramientas de CSCL - Computer-Supported Collaborative Learning), en escasa medida lo han hecho para fomentar la co-responsabilización en la evaluación. ALGO Herramientas como wikis fomentan esta co-dependencia. BAJO Los sistemas actuales mantienen una diferencia entre el profesor y los estudiantes en cuanto al diseño de la evaluación. No ha soporte explícito a este aspecto.
42
Evaluación 2020 La evaluación tiene más efecto cuando 4.   Los estudiantes se inician en las prácticas de evaluación y las culturas de la enseñanza superior
La tecnología tendrá más efecto cuando Hace posible el entrenamiento progresivo en la evaluación
Grado de desarrollo BASTANTE Las herramientas para implementar prácticas e instrumentos de evaluación (e.g. LAMS) permiten definirlos cada vez más complejos, en función del nivel del estudiante . ALGO Técnicas de revisión entre iguales soportadas por esquemas como por ejemplo e-portfolios hacen posible la revisión mutua con rúbricas. BAJO Aunque en ciertos tipos de evaluación se permite el entrenamiento progresivo como en los tests, en general la tecnología no soporta explícitamente versionado y ayuda automática para el estudiante.
43
Evaluación 2020 La evaluación tiene más efecto cuando 5.   La evaluación para el aprendizaje está en el centro del diseño de las asignaturas y el programa educativo
La tecnología tendrá más efecto cuando La interfaz esté diseñada de modo que permite que la evaluación del aprendizaje sea el centro de la planificación de las asignaturas y del título
Grado de desarrollo POCO Las herramientas usuales de planificación docente están más centradas en la estimación del esfuerzo del estudiante que en el proceso de evaluación, que suele ocupar un papel secundario. POCO/NADA A nivel institucional (en mi experiencia) todavía se focaliza los aspectos meramente operativos, y no de efectividad del aprendizaje. MEDIO Las herramientas tecnológicas están organizadas en torno a los contenidos y los medios de interacción, pero no a la evaluación, aunque se pueden utilizar de modo que se soporte.
44
Evaluación 2020 La evaluación tiene más efecto cuando 6.   La evaluación para el aprendizaje es esencial para el desarrollo institucional y del profesorado
La tecnología tendrá más efecto cuando Exista una estrategia institucional que permite que la tecnología desarrolle la evaluación del aprendizaje, contribuyendo de ese modo al logro de los objetivos de la institución.
Grado de desarrollo POCO las mismas razones que en la pregunta anterior POCO/NADA . A nivel institucional (en mi experiencia) todavía se focaliza los aspectos meramente operativos, y no de efectividad del aprendizaje. BAJO Los LMS utilizados en la mayoría de las instituciones educativas no fomentan un desarrollo específico y sistemático para el desarrollo de la evaluación para el aprendizaje.
45
Evaluación 2020 La evaluación tiene más efecto cuando 7.   La evaluación proporciona una representación completa y certera del rendimiento del estudiante.
La tecnología tendrá más efecto cuando Permite el seguimiento del aprendizaje y es capaz de reflejar las competencias que el alumno ha desarrollado al finalizar sus estudios.
Grado de desarrollo POCO Las herramientas actuales permiten hacer analíticas (v.g. learning analytics) de la actividad real del estudiante o bien recoger evidencias normalmente documentales (v.g. e-portfolios) de la misma, pero usualmente desde una perspectiva puntual (i.e. una tarea, curso, una asignatura) y, sobre todo en el caso de la analítica, pocas veces global e integrada (i.e. un plan de estudios). POCO La tendencia es a incluir más objetivos a conseguir por el estudiante, pero el seguimiento de estos objetivos es muy deficiente (me refiero a habilidad para trabajar en equipo, necesidad de aprendizaje a lo largo de la vida) MEDIO Existen medios para hacer el seguimiento, pero son demasiado costosos y no se explotan completamente las posibilidades de la adaptatividad para soportar el trabajo del profesor.
46
(No Transcript)
47
Let us envisage new forms of e-assessment and
then build and evaluate them. Imaginemos nuevas
formas de e-evaluación y después construyámoslas
y evaluémoslas. (Whitelock, 2009)
48
(No Transcript)
49
(No Transcript)