BIGT Banco de metaItems para la Generaci

1
BIGTBanco de metaItems para la Generación de Test

• Juan Carlos Rodríguez del Pino
• Margarita Díaz Roca
• José Daniel González Domínguez
• Zenón Hernández Figueroa
• Dpto. de Informática y Sistemas
• Universidad de Las Palmas de Gran Canaria

2
Ponencia

• Introducción
• Descripción del sistema
• El banco de metaitems
• Aplicación desarrollada
• Conclusiones y perspectivas

3
Introducción (1/2)

• La evaluación forma parte esencial del proceso de
  aprendizaje
• Los test destacan por su objetividad y porque son
  susceptibles de un alto grado de informatización
• Se requiere un banco de items
• Seguridad/fiabilidad de los test
• Generación de items

4
Introducción (2/2)

• Propuesta BIGT
• Desarrollo de un sistema de generación y
  evaluación de test
• Claridad y sencillez como objetivo
• Basado en metaitems capaces de generar numerosos
  items multichoice

5
Descripción del sistema (1/7)

• Los Metaítem sirve de generatriz de items
  multichoice y están formados por
• Un enunciado
• Una pregunta, y asociado, un conjunto de
  respuesta correctas a la pregunta
• Un conjunto de respuestas incorrectas y,
  opcionalmente, una pregunta asociada
• La segunda pregunta debe ser tal que los
  conjuntos de respuestas correctas e incorrectas
  se intercambian

6
Descripción del sistema (2/7)

• Las preguntas y los conjuntos de respuestas
  correctas e incorrectas deben ser coherentes
• Pueden existir relaciones entre respuestas
  correctas e incorrectas que las hagan
  incompatibles para aparecer juntas en un mismo
  ítem.
• El banco está organizado en temas que agrupan
  metaitems relacionados.

7
Descripción del sistema (3/7)

• Formato de representación
• Se usa XML (eXtensible Markup Language) como
  medio de representación
• Se ha definido un DTD (Document Type Definition)
• XML posibilita que el material que se elabore sea
  fácilmente trasladable a otros sistemas
• Sencillez y claridad
• Permite generar con facilidad el banco de
  metaitems
• Mejorar su comprensibilidad y legibilidad por un
  lector humano.

8
Descripción del sistema (4/7)

• DTD
• lt!ELEMENT bancoDeMetaitems (tema) gt
• lt!ATTLIST bancoDeMetaitems título CDATA
  REQUIREDgt
• lt!ELEMENT tema (metaitem) gt
• lt!ATTLIST tema título CDATA REQUIREDgt
• lt!ELEMENT metaitem (enunciado?,
  preguntaRespuestasCorrectas,
  preguntaRespuestasIncorrectas)gt
• lt!ATTLIST metaitem identificador ID REQUIREDgt
• lt!ELEMENT preguntaRespuestasCorrectas
  (pregunta,respuesta)gt
• lt!ELEMENT preguntaRespuestasIncorrectas
  (pregunta?,respuesta)gt
• lt!ELEMENT enunciado (PCDATAbiprebr)gt
• lt!ELEMENT pregunta (PCDATAbiprebr)gt
• lt!ELEMENT respuesta (PCDATAbiprebr)gt
• lt!ATTLIST respuesta idIncompatibilidad CDATA
  IMPLIEDgt
• lt!ELEMENT b (PCDATAbri)gt
• lt!ELEMENT i (PCDATAbrb)gt
• lt!ELEMENT pre (PCDATAbrbi)gt
• lt!ELEMENT br EMPTYgt

9
Descripción del sistema (5/7)
10
Descripción del sistema (6/7)

• El DTD propuesto es sencillo (8 etiquetas)
• El estándar QTI 2.1 (Question Test
  Interoperability) desarrollado por el IMS (Global
  Learning Consortium) tiene más de 100 etiquetas
• Como mucho se permite variar el orden del las
  respuestas
• La sencillez no supone grandes restricciones en
  cuanto a las posibilidades del banco
• El esquema es válido para expresar items clásicos

11
Descripción del sistema (7/7)

• lt?xml version"1.0" encoding"iso-8859-1"?gt
• lt!DOCTYPE bancoDeMetaitems SYSTEM "bigt.dtd"gt
• ltbancoDeMetaitems título"Lenguaje de
  programación C"gt
• lttema título"Léxico"gt
• ltmetaitem identificador"tb_hexadecimal"gt
• ltenunciadogt
• Es posible escribir literales de un
  entero en hexadecimal.
• lt/enunciadogt
• ltpreguntaRespuestasCorrectasgt
• ltpreguntagtIndique cuál es el formato
  correcto?lt/preguntagt
• ltrespuestagtcomienzan por 0x ó por
  0Xlt/respuestagt
• lt/preguntaRespuestasCorrectasgt
• ltpreguntaRespuestasIncorrectasgt
• ltrespuestagtcomienzan por HEXlt/respuestagt
• ltrespuestagtcomienzan por x0 ó por
  X0lt/respuestagt
• ltrespuestagtfinalizan con x0 ó por
  X0lt/respuestagt
• lt/preguntaRespuestasIncorrectasgt
• lt/metaitemgt
• lt/temagt

12
Construcción del banco de metaitems (1/3)

• Se debe elaborar una lista de objetivos
  detallados y seguirla apoyándose en el material
  didáctico
• Cada tema debe quedar reflejado en el documento
  XML
• Cada apartado o concepto del tema debe reflejarse
  en un metaítem

13
Construcción del banco de metaitems (2/3)

• El enunciado del metaítem debe establecer el
  concepto sobre el que versa el ítem
• El nivel de abstracción, tanto del enunciado como
  de la pregunta, debe ser tal que permita varias
  respuestas correctas
• El conjunto de respuestas incorrectas deben ser
  alteraciones verosímiles de las respuestas
  correctas

14
Construcción del banco de metaitems (3/3)

• ltmetaitem identificador"id3"gt
• ltenunciadogtLas palabras reservadas no se pueden
  usar como dentificadores.lt/enunciadogt
• ltpreguntaRespuestasCorrectasgt
• ltpreguntagt Cuál de los siguientes términos
  ltbgtes una palabra reservadalt/bgt en C?lt/preguntagt
• ltrespuestagt auto lt/respuestagt
• ltrespuestagt extern lt/respuestagt
• ltrespuestagt short lt/respuestagt
• ltrespuestagt signed lt/respuestagt
• ltrespuestagt static lt/respuestagt
• lt/preguntaRespuestasCorrectasgt
• ltpreguntaRespuestasIncorrectasgt
• ltpreguntagt Cuál de los siguientes términos
  ltbgtno es una palabra reservadalt/bgt en
  C?lt/preguntagt
• ltrespuestagt import lt/respuestagt
• ltrespuestagt dynamic lt/respuestagt
• ltrespuestagt repeat lt/respuestagt
• ltrespuestagt fault lt/respuestagt
• ltrespuestagt until lt/respuestagt
• ltrespuestagt with lt/respuestagt
• ltrespuestagt record lt/respuestagt

15
Variabilidad

• Caso de 4 respuestas por pregunta
• nrc Número de respuestas correctas
• nre Número de respuestas incorrectas

Si nrc5 y nre7 entonces nird12 nid245 y
nidco5880
16
Aplicación para la generación de test (1/4)

• Como entrada tiene bancos de metaitems en XML
• Genera test autoevaluable en HTMLJavaScript
• Medio de autoevaluación para los alumnos
• Genera tests en RTF para examen escrito
• Permite personalizarlo antes de imprimirlo
• Suministra plantilla de respuestas correctas
• Facilidad de corrección

17
Aplicación para la generación de test (2/4)
18
Aplicación para la generación de test (3/4)
19
Aplicación para la generación de test (4/4)
20
Experiencia de uso

• Buena acogida de los test autoevaluables
• Facilidad en la elaboración del examen escrito
• 4 versiones distintas para evitar copias
• Corrección manual de 2 test por minuto
• Para los alumnos
• prueba sin subjetividad en la corrección
• Revisión de exámenes sólo para comprobar errores,
  sin polémica

21
Conclusiones y perspectivas

• Se ha desarrolla un sistema de generación y
  evaluación de test
• Usabilidad del banco sin perdida de fiabilidad
• Formato claro y sencillo
• No cerrado
• Coste de elaboración de material abordable
• Usable en autoevaluación y exámenes escritos
• Perspectivas
• Desarrollar una interfaz amigable en la
  elaboración de los bancos
• Poder usar ecuaciones, gráficos, etc. en
  enunciados y respuestas
• Exportación de datos a otros formatos (GIF, QTI,
  moodle)
• Integración en sistemas de apoyo a la docencia
• A más largo plazo, el calibrado automático de los
  items

22
Fin exposición