Elaboraci - PowerPoint PPT Presentation

About This Presentation
Title:

Elaboraci

Description:

Title: Elaboraci n de un Test Adaptativo Informatizado en el Centro de Formaci n del P.A.S. de la Universidad de Sevilla . Author: mila Last modified by – PowerPoint PPT presentation

Number of Views:92
Avg rating:3.0/5.0
Slides: 28
Provided by: mila119
Category:
Tags: elaboraci | mila

less

Transcript and Presenter's Notes

Title: Elaboraci


1
Elaboración de un Test Adaptativo Informatizado.
Un estudio de caso.
X Congreso de Metodología de las Ciencias
Sociales y de la Salud. Universidad de Barcelona.
Fco.P. Holgado-Tello, S. Chacón-Moscoso, M.I.
Barbero-Garcia, J.A. Perez-Gil J.A. Ruiz-Rivas
M. Sánchez-Martín y J.R. Campos-Vega
2
CONTEXTOCentro de Formación del PAS de la USE
  • Elabora acciones formativas (AAFF) que ayudan a
    la formación y perfeccionamiento de los miembros
    del P.A.S. de la Universidad de Sevilla
  • Evaluación actual
  • Satisfacción
  • Aprendizaje/adquisición conocimientos
  • Estudio piloto de Transferencia
  • Objetivo general de este trabajo describir
    estado de la evaluación del conocimiento mediante
    TAIs.

3
OBJETIVO de la construcción de un TAI en FORPAS
  • Delimitar criterios para acreditar el nivel de
    conocimiento que presentan los usuarios de un
    programa de formación.
  • Influirá en
  • Asignación inicial de los usuarios a los
    distintos grupos de la AAFF que se conformen.
    (comparabilidad intergrupos).
  • Acreditación inicial de conocimientos o niveles
    de aptitud (bajo, medio y avanzado).
  • Valoración final que se haga del nivel de
    adquisición.

4
OBJETIVO de la construcción de un TAI en FORPAS
  • Principales ventajas
  • Elección de los reactivos más apropiados en
    función de los parámetros conocidos de los ítems.
  • Estimaciones precisas del nivel de aptitud de los
    examinados (incluso con menor número de ítems que
    en formato tradicional).
  • Escasa intrusividad (realización desde puesto de
    trabajo).
  • Alta validez ecológica (potencia la precisión en
    la medida).

5
OBJETIVOS DEL ESTUDIO
  • Estado actual de Lindogatito(plataforma para la
    gestión y administración de test adaptativos vía
    web).
  • Limitaciones y vías de desarrollo futuro

6
SITUACIÓN ACTUAL DE LA EVALUACIÓN DE ADQUISICIÓN
DE CONOCIMIENTO
Dependiendo de características de la muestra y
tipo de datos se realiza la prueba pertinente
Estadístico de contraste
PRETEST
IMPLEMENTACIÓN A.F.
POSTEST
Análisis calidad métrica de la prueba
7
EJEMPLO RESULTADOS MÉTRICOS (pre) 1 (METRIX)
8
EJEMPLO RESULTADOS MÉTRICOS (pre) 2 (METRIX)
9
EJEMPLO RESULTADOS MÉTRICOS (post) 3 (METRIX)
10
EJEMPLO RESULTADOS MÉTRICOS (post) 4 (METRIX)
11
PERFIL DE ÍTEMS
12
EJEMPLO DIFERENCIA DE MEDIAS
13
LIMITACIONES de la evaluación actual de
adquisición de conocimientos
  • Progresiva disminución de AAFF que cumplimentan
    el cuestionario pre-post (23 en 2000 13 en 2001
    14 en 2002 37 en 2003 28 en 2004 y 17 en 2005)
    .
  • Razón del incremento en 2003 seminario para
    formadores.
  • Imposibilidad de retroalimentación
    evaluadores-formadores (falta de tiempo entre
    pre-post).
  • Realización manual de los análisis e informes.

14
ESQUEMA DEL PROCESO
15
Lindogatito(plataforma para la gestión y
administración de test adaptativos vía web)
  • Estado actual en el uso como sistema experto para
    generar informes que sirvan de orientación al
    diseñador de la prueba.
  • Avances en módulo para el análisis bajo la TCT de
    los ítems utilizados en las distintas acciones
    formativas.

16
Estado actual en el uso como sistema experto
  • Instalado y configurado el servidor Linux que
    soporta la aplicación web.
  • Diseño e implementación de la base de datos SQL
    que soporta el banco de ítems y los TAIs.
  • Introducción de 375 ítems sobre ofimática.
  • Implementación del módulo de calibración por
    expertos.
  • Implementación del módulo de introducción y
    edición de ítems (migrado a Linux).
  • Diseño del programa PHP que permite administrar
    los TAIs.

17
(No Transcript)
18
(No Transcript)
19
(No Transcript)
20
(No Transcript)
21
(No Transcript)
22
(No Transcript)
23
Lindogatito(plataforma para la gestión y
administración de test adaptativos vía web)
  • Estado actual en el uso como sistema experto para
    generar informes que sirvan de orientación al
    diseñador de la prueba.
  • Avances en módulo para el análisis bajo la TCT de
    los ítems utilizados en las distintas acciones
    formativas.

24
Módulo para el análisis bajo la TCT.
Características.
  • Permite realizar una valoración inmediata vía web
    de la calidad métrica de los test utilizados en
    las distintas AAFF.
  • Opcionalmente esta información se puede almacenar
    directamente.
  • Funciona como sistema experto para generar
    informes que sirvan de orientación al diseñador
    de la prueba.
  • Disponible libremente vía web para cualquier
    usuario (http//lindogatito.us.es)

25
Avances en módulo para el análisis bajo la TCT
  • Análisis de los ítems bajo TCT
  • No Items
  • No Rs. expertos

Análisis bajo TCT
Agrupación ítems en función de parámetros de TCT
(ítems con condiciones mínimas de calidad)
Simulaciones desde TRI
Calibración desde TRI
26
CONTINUACIÓN DEL TRABAJO
  • Realización de los análisis bajo la TCT en items
    disponibles
  • Depuración de los ítems existentes
  • Ajuste y Calibración ítems desde TRI
  • Simulaciones
  • Incremento del nº ítems base para realización de
    TAIs
  • Depuración de Lindogatito

27
MUCHAS GRACIAS POR SU ATENCIÓN
http//innoevalua.us.es
Write a Comment
User Comments (0)
About PowerShow.com