Tema 5 Test informatizados (TIs) - PowerPoint PPT Presentation

About This Presentation
Title:

Tema 5 Test informatizados (TIs)

Description:

A os 60: Surgen sistemas automatizados de interpretaci n para tests como el 16PF, el California Psychological Inventory, el Rorschach o el WAIS. Historia – PowerPoint PPT presentation

Number of Views:105
Avg rating:3.0/5.0
Slides: 31
Provided by: bele97
Category:

less

Transcript and Presenter's Notes

Title: Tema 5 Test informatizados (TIs)


1
Tema 5 Test informatizados (TIs)
2
Historia
  • Años 40 aplican los desarrollos analógicos a la
    puntuación automatizada del Strong Vocational
    Interest Blank(SVIB) y del Minnesota Multiphasic
    Personality Inventory (MMPI).
  • Años 50 primeras aplicaciones de hojas de
    respuesta electrónica y lectoras ópticas, que
    sustituyen a los sistemas basados en tarjetas.
  • Años 60 Surgen sistemas automatizados de
    interpretación para tests como el 16PF, el
    California Psychological Inventory, el Rorschach
    o el WAIS.

3
Historia
  • Años 70 primeras experiencias sobre la
    aplicación informatizada de test.
  • MMPI de los primeros que puede presentarse en
    pantalla y responderse mediante el teclado.
  • También administraciones informatizadas y otros
    test de personalidad como el Eysenck Personality
    Inventory, el 16PF.
  • Gracias a la tecnología digital se informatizan
    tests de inteligencia general y aptitudes ( con
    presentación de ítems más complejos)

4
Historia
  • Años 80 incremento exponencial de versiones
    informatizadas de tests convencionales aplicados
    en contextos escolares, organizacionales o
    clínicos.
  • En los Recursos Humanos la batería CAM
    (conjunto de tests informatizados que miden
    habilidades relacionadas con el procesamiento de
    la información).
  • En Clínica versiones informatizadas de
    entrevistas estructuradas y ensayos con los que
    se denominan entrevistas adaptativas
    informatizadas (para establecer procedimientos de
    ramificación e itinerarios según las respuestas
    de los sujetos.
  • En psicoterapia tests informatizados para
    identificar pensamientos irracionales o programas
    integrados para evaluar y superar progresivamente
    problemas relacionados con la toma de decisiones
    en diversas situaciones.

5
Qué son?
  • Son test que existen en papel y lápiz y se
    trasladan al formato informático.
  • Utilizan el ordenador para presentar los ítems,
    responder y analizar e interpretar el
    rendimiento.
  • Se presentan los mismos ítems y con la misma
    secuencia de presentación a todos los sujetos, es
    decir no son adaptativos, al igual que los test
    informatizados de procesos cognitivos.
  • Por tanto son técnica sistemática o
    estandarizada en la que la tarea, las
    instrucciones, las respuestas, el procedimiento
    de aplicación, la corrección, y la interpretación
    están pautadas y son equivalentes para todos los
    sujetos a los que se les aplica.


6
Diferencias con los TAIS
  1. En los TAIS, los ítems son seleccionados y se
    presentan al candidato según el nivel.
  2. El test se acaba justo cuando se ha especificado
    el nivel del alumno.
  3. Son relativamente cortos tanto en el número de
    preguntas como en el tiempo que se necesita para
    completarlos.

7
Ventajas Ventajas Ventajas Ventajas
En Condiciones de aplicación En Condiciones de aplicación En Procesamiento de respuesta e interpretación de datos En Procesamiento de respuesta e interpretación de datos
Menos tiempo Que en hoja electrónica Permite baremar (informa del nivel del sujeto) Permite baremar (informa del nivel del sujeto)
Menos tiempo Que en lápiz y papel Permite baremar (informa del nivel del sujeto) Permite baremar (informa del nivel del sujeto)
Menor posibilidad de copia (no conocen respuestas correctas) Menor posibilidad de copia (no conocen respuestas correctas) Menos tiempo Para corregir
Condiciones similares para todos los sujetos Condiciones similares para todos los sujetos Menos tiempo Para baremar respuestas
Menos costes Menos costes Menos errores al corregir y baremar Menos errores al corregir y baremar
8
Otras ventajas
  • La tecnología informática permite diseñar nuevos
    instrumentos dentro de la nueva generación de
    test.
  • En estos test se requiere el uso del ordenador
    para un control adecuado del tiempo de
    presentación de los ítems y de las latencias de
    respuesta.

9
Inconvenientes
  • Al automatizar un test de papel y lápiz se
    proporcionan puntuaciones equivalentes?
  • Lo estudian Mazzeo y Harvey (1988) y obtienen
  • Puntuaciones medias diferentes, aunque pequeñas y
    de poca significación.
  • Dichas diferencias tenían medias más altas en las
    versiones originales no informatizadas.
  • Los test de rapidez se respondían en menos tiempo
    empleando el teclado.
  • En algunos test informatizados de personalidad se
    produjo un mayor número de elecciones de la
    opción no lo sé.

10
Inconvenientes
  • Resultados no concluyentes
  • - Entre las versiones informatizadas
  • Mucha heterogeneidad en el nivel de
    automatización
  • Se produjeron deficiencias técnicas que
    explicarían el menor rendimiento de los sujetos
    en estas pruebas
  • No se permitió entrenamiento con el procedimiento
    de respuesta con la revisión de las respuestas
    proporcionadas.

11
Algunos estudios
  • Las diferencias halladas en test de personalidad
    son pequeñas o nulas, por lo que es mejor no
    realizar una nueva baremación para las versiones
    informatizadas.
  • Esto no ocurre con los tests de aptitudes y
    neuropsicológicos.
  • Si en la versión informatizada y en la no
    informatizada se proporcionan al sujeto las
    mismas condiciones de flexibilidad, los
    parámetros de dificultad de los ítems son
    equivalentes.

12
Más estudios
  • Sobre la utilidad de los informes generados
    mediante ordenador
  • Comparativos con criterios externos comparan las
    valoraciones que se realizan en el informe
    automatizado con otra fuente (expertos clínicos)
  • Sobre la satisfacción de los clientes comprueban
    el grado en que manifestaban satisfacción los
    profesionales de la psicología y de la
    psiquiatría en relación a la claridad (adecuación
    de la información o utilidad)

13
Otros estudios
  • Para mejorar la calidad de las interpretaciones
    automáticas (Endres, Guastello y Rieke (1992)
  • La fiabilidad metainterpretativa que comprueba
    el grado de precisión con que un sistema de
    interpretación automática refleja en texto las
    puntuaciones del test.
  • Sobre propiedades psicométricas de las medidas
    procesuales (Roznowski, 1993)
  • las medidas procesuales reflejarán diferencias
    individuales estables si las tareas incluyen
    niveles heterogéneos de complejidad.

14
En definitiva
  • El verdadero problema de la validación de test
    informatizado de procesos cognitivos requiere
    nuevas estrategias relacionadas con
  • la comprobación empírica de que el test detecta
    las previsiones derivadas del modelo teórico y
  • la planificación de estudios predictivos para
    demostrar la utilidad de las medidas en
    situaciones reales donde intervienen los procesos
    que se pretende medir.

15
Cómo se construye una prueba?
  • Pasos (Croker y Algina, 1986)
  • Delimitar el objetivo para el que van utilizarse
    las puntuaciones.
  • Definir el constructo que se pretenda medir.
  • Describir los componentes del constructo
    (general).
  • Diseñar el instrumento.
  • Redactar los ítems.
  • Analizar la calidad de los ítems.
  • Estudiar la fiabilidad del instrumento.
  • Estudiar la validez del instrumento.
  • Elaborar las normas de aplicación, interpretación
    y baremación de las puntuaciones.

16
Delimitar el objetivo
  • 1. Delimitación formal incluye número y tipo de
    ítems y número de alternativas de respuesta.
  • Número de ítems se deben construir como mínimo
    el doble de los que se usarán para la versión
    final y ajustarlos al tiempo disponible para
    realizar el test.
  • Tipo de ítems existen dos tipos de respuestas
  • Abiertas el sujeto reproduce la respuesta. Son
    difíciles de cuantificar, pero adecuadas para
    evaluar conceptos complejos. Pueden ser de
    completar, sustituir o corregir y de ensayo
  • Cerradas el sujeto selecciona las respuestas de
    entre dos o más respuestas propuestas. Son
    fáciles de cuantificar, precisas y fiables
    adecuadas para evaluar una gran diversidad de
    conceptos. Aparecen en los test de ejecución
    máxima (respuestas V/F, elección múltiple o
    relacionar) o típica (escalas tipo Likert).

17
  • 2. Delimitación teórica-conceptual Se
    identifica cuál es el objetivo del instrumento
    (el objetivo debe ser comportamental para
    declarar explícitamente el objetivo para el que
    van a utilizarse las puntuaciones).
  • Ventaja objetivo comprensible y ayuda a definir
    el constructo.
  • Definir el constructo
  • Definición operacional define los
    comportamientos considerados como indicadores del
    constructo. Se identifica con el modelo de medida
    del constructo.
  • Definición estructural teoría consistente y
    sustantiva, relaciona el constructo medido con
    otros constructos empíricos de su entorno. En
    técnica de modelos estructurales se denomina
    parte estructural de un modelo o teoría.

18
  • Descripción de los componentes del constructo.
  • Diseño del instrumento
  • Errores frecuentes que han de evitarse (Muñiz)
  • Alternativas de respuestas que no sean igualmente
    plausibles
  • Enunciados negativos.
  • Alternativas de diferente longitud
  • Reiteración innecesaria en el texto.
  • Cifras desordenadas en las alternativas de
    respuestas.
  • Abuso de la opción todas /ninguna de las
    anteriores en las alternativas de respuestas.

19
  • V. Redacción de los ítems
  • Partir de las ideas relevantes para elaborar
    ítems que midan objetivos importantes con el
    máximo poder discriminativo.
  • Presentar el ítem con claridad y precisión para
    evitar introducir elementos no funcionales
    demasiado específicos o que puedan sugerir las
    respuestas
  • Eliminar frases estereotipadas.
  • Analizar la calidad de los ítems
  • La calidad de los ítems, la fiabilidad y la
    validez son las características fundamentales de
    un buen instrumento de medida. Por ello se exigen
    a un buen test y se deben tener en cuenta para
    evaluarlos con criterios de calidad.

20
  • Análisis de los ítems Implica obtener
    información descriptiva y estadística
  • a) Información descriptiva evidencias de
    validez (de contenido, de constructo y de
    criterio) de los elementos.
  • Objetivo establecer juicios razonables sobre
    el grado en que las evidencias permiten emprender
    acciones basadas en el modelo de medida (a través
    de los ítems o indicadores).
  • Por tanto, HAY QUE PLANTEARSE SI EL SISTEMA DE
    VALORES ESTA EN RELACION CON LOS OBJETIVOS A
    MEDIR.
  • b) Información estadística estimar parámetros
    para cada ítem, analizar los distractores o
    alternativas incorrectas de respuesta y examinar
    el posible funcionamiento diferencial de los
    ítems en grupos de interés.

21
  • Fiabilidad
  • - Criterio de calidad. Se relaciona con la
    precisión de las medidas obtenidas con un test.
  • - Informa sobre el grado en que las
    puntuaciones empíricas reflejan las verdaderas y
    grado de ajuste entre puntuaciones empíricas y
    verdaderas.
  • - Procedimientos para constatar la fiabilidad
    basados en el modelo lineal de regresión. Índice
    usado coeficiente de correlación de Pearson
    (para la estabilidad temporal de las puntuaciones
    obtenidas y la consistencia interna del test).
  • Por tanto, UNA MEDIDA ES FIABLE SI ES PRECISA.
    ESTABLE Y CONSISTENTE.
  • VIII. Validez
  • - Grado en que un instrumento mide aquello
    que dice medir.

22
  • IX. Elaborar las normas
  • Evaluación de los sujetos asignación,
    interpretación y equiparación de las
    puntuaciones.
  • Las puntuaciones directas se transforman en
    estandarizadas y con éstas se confeccionan
    baremos.
  • Existen dos tipos de baremos
  • a) Referidos al criterio informan sobre el
    grado en que el sujeto posee la característica o
    dominio medido. Se ven posibilitados gracias a
    las mediciones que se realizan desde la TRI
    (teoría de respuesta al ítem).
  • b) Referidos a la norma informan de la posición
    que ocupa el sujeto, en el rasgo medido, respecto
    a su grupo de iguales. Las mediciones de este
    tipo de baremos se realizan desde la TCT (teoría
    clásica de los test).

23
Diferencias entre baremos
DE CRITERIO DE NORMA
Finalidad evaluación Estimar rendimiento en los objetivos que mide Indicar las diferencias interindividuales en el rasgo que miden.
Construcción del instrumento Especificar el dominio de contenido y del uso pretendido por el instrumento Los ítems se construyen derivados de alguna teoría de rasgo o de constructo
Selección de los ítems En función de objetivos y uso predeterminado del instrumento Indica la varianza del test, Maximiza la varianza y elige los ítems de dificultad
Significado de las puntuaciones Puntuación estimador muestral de la conducta del sujeto en el dominio indican las diferencias interindividuales, maximizan la varianza del test y eligen los ítems de dificultad
Interpretación de las puntuaciones Significado en términos absolutos Significado solo con relación al grupo normativo de referencia
24
Construcción según distintas teoría
  • Teoría de test
  • Teoría que aporta modelos para las puntuaciones
    de los test
  • Función Dar cuenta del error de medida inherente
    a toda medición psicológica (estimar el error y
    proporcionar una estimación del rasgo o
    característica evaluada estimación de la
    característica de interés)
  • Teoría clásica de los test
  • Desarrolla un modelo estadístico que contempla
    los errores de medida.
  • Asume que la puntuación empírica que obtiene un
    sujeto cuando se le administra un test (X) es
    función de
  • - El nivel real o verdadero en que el sujeto
    posee la característica o rasgo que se está
    evaluando (V)
  • - El error de medida que siempre se introduce
    en cualquier proceso de medida (E).
  • La relación entre el comportamiento observable
    (X) y el nivel del sujeto en la variable no
    observable (V) es una relación lineal.

25
Limitaciones de la TCT
  • La no invarianza de las mediciones respecto de
    los instrumentos utilizados.
  • Las propiedades de los instrumentos de medida
    dependen en exceso de los objetos medidos, es
    decir, de los sujetos a los que se aplica el
    test.
  • Dificultad real que existe para construir test
    paralelos, concepto clave en la TCT ya que afecta
    directamente al cálculo del coeficiente de
    fiabilidad y longitud de los tests.
  • Alternativa a las limitaciones anteriores
  • Teoría de Respuesta al ítem
  • - Permite construir y analizar de modo más
    potente los tests
  • - Objetivo principal conseguir medidas
    invariantes respecto de los sujetos medidos y de
    los instrumentos utilizados.(Muñiz,1997).
  • - Unifica dos conceptos el de separación de
    parámetros e invarianzas de los mismos.
  • - Por tanto, sus principales supuestos se van a
    referir a la naturaleza del rasgo que se pretende
    medir y a las relaciones que se esperan entre las
    respuestas de los ítems.

26
Tipos de informes I
  • Descriptivos interpretan cada subescala sin
    referirse a las demás. Dichas interpretaciones
    pueden
  • Añadir grado al nombre de la escala
  • Indicar la posición del sujeto en la subescala
    según varias categorías ordenadas.
  • Añadir información estadística sobre el
    rendimiento del sujeto en relación al grupo
    normativo (sólo los más elaborados)
  • Condicionados interpretan en qué nivel se
    cumplen ciertas condiciones en diferentes
    subescalas (primer acercamiento al problema).

27
Tipos de informes II
  • Consultivos
  • Empleados por los expertos que emplean
    frecuentemente el test
  • Utiliza lenguaje técnico adecuado y formas de
    redacción similares a las que se emplean en los
    informes clínicos
  • Más elaborados que los informes condicionados.

28
Test que se ofertan
29
Recursos humanos AUTOMATIZADOS POSIBLE CORRECCION MECANIZADA POSIBLE CORRECCION POR INTERNET DISQUETE DE CORRECCION Y PERFIL
Recursos humanos INTELIGEN CIA 1 11 0 0
Recursos humanos APTITUDES 0 19 0
Recursos humanos PERSONALIDAD 3 10 7 5
Recursos humanos COMPETENCIAS 0 0 2 0
Recursos humanos CLIMA LABORAL, MOTIVACIONES, VALORES 0 3 2 0
Recursos humanos IDIOMAS 0 1 0 0
30
ESCOLAR Y CLINICA INFORMATIZADOS POSIBLE CORRECCION MECANIZADA CORRECCION POR INTERNET DISQUETE DE CORRECCION Y PERFIL
ESCOLAR Y CLINICA INTELIGENCIA 1 3 1 2
ESCOLAR Y CLINICA APTITUDES 2 9 1 0
ESCOLAR Y CLINICA PERSONALIDAD 2 11 6 3
ESCOLAR Y CLINICA CLINICOS 1 8 4 6
ESCOLAR Y CLINICA INTERESES, MOTIVACIONES Y VALORES 0 5 1 0
ESCOLAR Y CLINICA PROYECTIVO 0 0 0 0
ESCOLAR Y CLINICA NEUROPSICOLOGICO 1 0 1 0
ESCOLAR Y CLINICA PEDAGOGICO Y DE RENDIMIEN TO 2 7 3 0
ESCOLAR Y CLINICA JUEGOS DE INTERVENCION 0 0 0 0
ESCOLAR Y CLINICA PROGRAMAS DE INTERVENCION 2 0 1 0
ESCOLAR Y CLINICA RELAJACION 2 0 0 0
Write a Comment
User Comments (0)
About PowerShow.com