TAIs EN EVALUACI

1
TAIs EN EVALUACIÓN EDUCATIVA

• María Fuentes García

2

• Recientemente la tecnología digital empieza a
  impactar en el diseño y desarrollo de nuevos
  modelos y técnicas más sofisticadas de
  evaluación.
• Bundreson, Inouye y Olsen (1989) hablan de cuatro
  generaciones de la evaluación asistida por
  ordenador
• -1ª generación Evaluación informatizada.
• - 2ª generación Evaluación adaptativa.
• - 3ª generación Evaluación continua.
• - 4ª generación Evaluación inteligente.

3

• Wainer (1990) define los TAI de la siguiente
  forma
• La idea fundamental de un Test Adaptativo es
  imitar de forma automática el comportamiento de
  un examinador. Esto es, si un examinador le
  presenta al alumno un ítem demasiado difícil para
  él, éste dará una respuesta errónea, y por lo
  tanto, la siguiente vez, el examinador presentará
  una pregunta algo más fácil, y viceversa

4

• ? La selección de ítems y el criterio de parada
  del test son, por tanto, adaptativos.
• ? La evaluación del alumno se toma dinámicamente,
  basándose en las respuestas del alumno.
• ? Por disponer de un banco de ítems calibrado,
  será posible equiparar las habilidades de dos
  sujetos incluso aunque en sus tests no hayan
  respondido ningún ítem en común.
• ? El objetivo final de un test adaptativo es
  diagnosticar el nivel de conocimiento del alumno.

5
- DÓNDE SE PUEDEN APLICAR TAI ?

• Pruebas de acceso.
• Capacidad de comprensión lectora.
• Conocimiento matemático.
• Conocimiento sobre lengua inglesa.

6
Prueba de acceso EXHCOBA

• La Universidad Autónoma de Baja California
  (1994).
• El objetivo central del examen es seleccionar a
  los mejores alumnos de primer ingreso a la
  universidad.
• Nace con la idea se evaluar el aprendizaje básico
  y que se supone necesario para poder tener
  aprendizajes significativos y por lo tanto cursar
  con éxito el nivel de licenciatura.

7
(No Transcript)
8
EXHCOBA

• Tipo de pregunta
• -Opción múltiple con 4 posibles respuestas más
  una 5ª denominada No sé(Esta opción la debe
  utilizar el estudiante cuando no conozca o no
  recuerde la respuesta correcta).
• Importante recordar que el examen evalúa el
  manejo de la información y no la memorización del
  conocimiento. Por esta razón, algunas preguntas
  podrán tener más de una opción parcialmente
  verdadera, aunque siempre habrá sólo una
  respuesta correcta.

9
EXHCOBA

• SICODEX sistema informatizado para administrar
  el EXHCOBA.
• Función generación de examen personalizado.

10
(No Transcript)
11
EXHCOBA

• Resultados
• ? El estudiante trabaja eficientemente.
• ? Realizar muchos exámenes.
• ? No permite que se copien.
• ? Resultados inmediatos.
• ? Seguridad.

12
Capacidad de comprensión lectoraCOMTEX

• Programa MICROCAT.
• -Banco calibrado de 437 ítems.
• -10 y 35 ítems y error de estimación menor de
  0,30.
• -Finalidad valor del instrumento construido,
  recogiendo para ello las opiniones de quienes han
  tenido experiencia práctica con el mismo, y
  contrastando empíricamente la validez de los
  resultados que arrojara

13
COMTEX

• Evaluaba
• -   Formato de la prueba
• -     Contenido de la prueba
• -     Aceptación por parte de los alumnos
• -     Validez de las puntuaciones otorgadas a los
  examinados.
• -     Utilidad para la docencia en el área de
  Geografía, Historia y Ciencias Sociales

14
COMTEX

• Aplicación
• - Alumnos de la ESO.
• -Participaron 5 Institutos.
• ? Estimación de la capacidad 0 y 10.

15
COMTEX

• Resultados
• -Cuestionarios
• -Calificación en TAI
• -Entrevistas
• -Calificación del curso

16
TEST DE MATEMÁTICAS

• Prueba de signos(Alonso Tapia y Olea, 1997)
• Operaciones tipo a b c
• Formato de pregunta
• Sentencias canónicas de verificación
• -24 ítems son sumas, 24 restas, 9 productos y 9
  divisiones

17
Prueba de signos

• Conclusiones
• - Ítems de mayor dificultad.
• Cumplir otros criterios de ajustes más exigentes.
• Respecto al modelo de Rasch, que ítems de 2
  respuesta pueden tener tasas de adivinación
  pequeñas en determinadas poblaciones y en cierto
  tipo de ítems, si se piensa bien la redacción de
  las opciones incorrectas.

18
Test de inglés e-CAT

• Desarrollado por el Instituto de Ingeniería del
  Conocimiento (IIC), en colaboración con el Equipo
  de Desarrollo e Investigación en Medición (EDIM)
  de la UAM.
• Objetivo
• Medir de manera precisa el nivel de inglés
  escrito de cada persona.

19
e-CAT

• Entre 20 y 40 ítems.
• Formato
• Ejercicios de cloze y de elección múltiple.
• -Al finalizar la prueba proporciona un informe.
• -Ideado para empresas.
• -Administración a través de Internet o
  instalarse en la red local

20

• TOEFL
• http//www.learn4good.com/languages/spec_english_t
  oefl.htm

21
QUÉ SE ESTÁ HACIENDO?

• -Un modelo para el diagnóstico en STI basado en
  Tests Adaptativos.
• -Sistemas de evaluación de los alumnos mediante
  test informatizados utilizando telefonía móvil.

22
Enseñanza asistida por ordenador

• Hezinet es un Sistema Hipermedia Adaptativo
• 4 tipos de tests
• -Tests de sesión
• -Tests de capa
• -Tests de curso
• -Tests de admisión

23
Hezinet

• Resultado de la evaluación
• -El estudiante recibirá el porcentaje de
  respuestas correctas sobre el total y una
  estimación de su habilidad.
• -Además de registrar cuales han sido las
  preguntas administradas y su respuesta
• - El sistema almacena otros datos (como el tiempo
  invertido en la realización del test) que
  facilita una mejor adaptación al alumno en una
  próxima evaluación.

24
Sistemas de evaluación de los alumnos mediante
test informatizados utilizando telefonía móvil.

• La universidad de Córdoba ha desarrollado una
  aplicación que cubre la ejecución de test
  adaptativos informatizados de tipo actividad y
  examen
• Java 2 Micro Edition

25
Java 2 Micro Edition
26
VENTAJAS

• Las estimaciones realizadas por un TAI son más
  precisas y no están sesgadas.
• Se ajustan a las características personales de
  cada examinado.
• Los tests son más seguros, ya que a cada alumno
  le es suministrado un conjunto y un número
  diferente de ítems.

27
DESVENTAJAS

• Seguridad, ya que los examinados podrían
  memorizar los ítems de un test y dar esta
  información a futuros examinados
• Calibraciones costosas
• Sentirse discriminados
• Inferir un único nivel de conocimiento del
  alumno.