Title: Tema 5 Test informatizados (TIs)
1Tema 5 Test informatizados (TIs)
2Historia
- Años 40 aplican los desarrollos analógicos a la
puntuación automatizada del Strong Vocational
Interest Blank(SVIB) y del Minnesota Multiphasic
Personality Inventory (MMPI). - Años 50 primeras aplicaciones de hojas de
respuesta electrónica y lectoras ópticas, que
sustituyen a los sistemas basados en tarjetas. - Años 60 Surgen sistemas automatizados de
interpretación para tests como el 16PF, el
California Psychological Inventory, el Rorschach
o el WAIS.
3Historia
- Años 70 primeras experiencias sobre la
aplicación informatizada de test. - MMPI de los primeros que puede presentarse en
pantalla y responderse mediante el teclado. - También administraciones informatizadas y otros
test de personalidad como el Eysenck Personality
Inventory, el 16PF. - Gracias a la tecnología digital se informatizan
tests de inteligencia general y aptitudes ( con
presentación de ítems más complejos)
4Historia
- Años 80 incremento exponencial de versiones
informatizadas de tests convencionales aplicados
en contextos escolares, organizacionales o
clínicos. - En los Recursos Humanos la batería CAM
(conjunto de tests informatizados que miden
habilidades relacionadas con el procesamiento de
la información). - En Clínica versiones informatizadas de
entrevistas estructuradas y ensayos con los que
se denominan entrevistas adaptativas
informatizadas (para establecer procedimientos de
ramificación e itinerarios según las respuestas
de los sujetos. - En psicoterapia tests informatizados para
identificar pensamientos irracionales o programas
integrados para evaluar y superar progresivamente
problemas relacionados con la toma de decisiones
en diversas situaciones.
5Qué son?
- Son test que existen en papel y lápiz y se
trasladan al formato informático. - Utilizan el ordenador para presentar los ítems,
responder y analizar e interpretar el
rendimiento. - Se presentan los mismos ítems y con la misma
secuencia de presentación a todos los sujetos, es
decir no son adaptativos, al igual que los test
informatizados de procesos cognitivos. - Por tanto son técnica sistemática o
estandarizada en la que la tarea, las
instrucciones, las respuestas, el procedimiento
de aplicación, la corrección, y la interpretación
están pautadas y son equivalentes para todos los
sujetos a los que se les aplica.
6Diferencias con los TAIS
- En los TAIS, los ítems son seleccionados y se
presentan al candidato según el nivel. - El test se acaba justo cuando se ha especificado
el nivel del alumno. - Son relativamente cortos tanto en el número de
preguntas como en el tiempo que se necesita para
completarlos.
7Ventajas Ventajas Ventajas Ventajas
En Condiciones de aplicación En Condiciones de aplicación En Procesamiento de respuesta e interpretación de datos En Procesamiento de respuesta e interpretación de datos
Menos tiempo Que en hoja electrónica Permite baremar (informa del nivel del sujeto) Permite baremar (informa del nivel del sujeto)
Menos tiempo Que en lápiz y papel Permite baremar (informa del nivel del sujeto) Permite baremar (informa del nivel del sujeto)
Menor posibilidad de copia (no conocen respuestas correctas) Menor posibilidad de copia (no conocen respuestas correctas) Menos tiempo Para corregir
Condiciones similares para todos los sujetos Condiciones similares para todos los sujetos Menos tiempo Para baremar respuestas
Menos costes Menos costes Menos errores al corregir y baremar Menos errores al corregir y baremar
8Otras ventajas
- La tecnología informática permite diseñar nuevos
instrumentos dentro de la nueva generación de
test. - En estos test se requiere el uso del ordenador
para un control adecuado del tiempo de
presentación de los ítems y de las latencias de
respuesta.
9Inconvenientes
- Al automatizar un test de papel y lápiz se
proporcionan puntuaciones equivalentes? - Lo estudian Mazzeo y Harvey (1988) y obtienen
- Puntuaciones medias diferentes, aunque pequeñas y
de poca significación. - Dichas diferencias tenían medias más altas en las
versiones originales no informatizadas. - Los test de rapidez se respondían en menos tiempo
empleando el teclado. - En algunos test informatizados de personalidad se
produjo un mayor número de elecciones de la
opción no lo sé.
10Inconvenientes
- Resultados no concluyentes
- - Entre las versiones informatizadas
- Mucha heterogeneidad en el nivel de
automatización - Se produjeron deficiencias técnicas que
explicarían el menor rendimiento de los sujetos
en estas pruebas - No se permitió entrenamiento con el procedimiento
de respuesta con la revisión de las respuestas
proporcionadas.
11Algunos estudios
- Las diferencias halladas en test de personalidad
son pequeñas o nulas, por lo que es mejor no
realizar una nueva baremación para las versiones
informatizadas. - Esto no ocurre con los tests de aptitudes y
neuropsicológicos. - Si en la versión informatizada y en la no
informatizada se proporcionan al sujeto las
mismas condiciones de flexibilidad, los
parámetros de dificultad de los ítems son
equivalentes.
12Más estudios
- Sobre la utilidad de los informes generados
mediante ordenador - Comparativos con criterios externos comparan las
valoraciones que se realizan en el informe
automatizado con otra fuente (expertos clínicos) - Sobre la satisfacción de los clientes comprueban
el grado en que manifestaban satisfacción los
profesionales de la psicología y de la
psiquiatría en relación a la claridad (adecuación
de la información o utilidad)
13Otros estudios
- Para mejorar la calidad de las interpretaciones
automáticas (Endres, Guastello y Rieke (1992) - La fiabilidad metainterpretativa que comprueba
el grado de precisión con que un sistema de
interpretación automática refleja en texto las
puntuaciones del test. - Sobre propiedades psicométricas de las medidas
procesuales (Roznowski, 1993) - las medidas procesuales reflejarán diferencias
individuales estables si las tareas incluyen
niveles heterogéneos de complejidad.
14En definitiva
- El verdadero problema de la validación de test
informatizado de procesos cognitivos requiere
nuevas estrategias relacionadas con - la comprobación empírica de que el test detecta
las previsiones derivadas del modelo teórico y - la planificación de estudios predictivos para
demostrar la utilidad de las medidas en
situaciones reales donde intervienen los procesos
que se pretende medir.
15Cómo se construye una prueba?
- Pasos (Croker y Algina, 1986)
- Delimitar el objetivo para el que van utilizarse
las puntuaciones. - Definir el constructo que se pretenda medir.
- Describir los componentes del constructo
(general). - Diseñar el instrumento.
- Redactar los ítems.
- Analizar la calidad de los ítems.
- Estudiar la fiabilidad del instrumento.
- Estudiar la validez del instrumento.
- Elaborar las normas de aplicación, interpretación
y baremación de las puntuaciones.
16Delimitar el objetivo
- 1. Delimitación formal incluye número y tipo de
ítems y número de alternativas de respuesta. - Número de ítems se deben construir como mínimo
el doble de los que se usarán para la versión
final y ajustarlos al tiempo disponible para
realizar el test. - Tipo de ítems existen dos tipos de respuestas
- Abiertas el sujeto reproduce la respuesta. Son
difíciles de cuantificar, pero adecuadas para
evaluar conceptos complejos. Pueden ser de
completar, sustituir o corregir y de ensayo - Cerradas el sujeto selecciona las respuestas de
entre dos o más respuestas propuestas. Son
fáciles de cuantificar, precisas y fiables
adecuadas para evaluar una gran diversidad de
conceptos. Aparecen en los test de ejecución
máxima (respuestas V/F, elección múltiple o
relacionar) o típica (escalas tipo Likert).
17- 2. Delimitación teórica-conceptual Se
identifica cuál es el objetivo del instrumento
(el objetivo debe ser comportamental para
declarar explícitamente el objetivo para el que
van a utilizarse las puntuaciones). - Ventaja objetivo comprensible y ayuda a definir
el constructo. - Definir el constructo
- Definición operacional define los
comportamientos considerados como indicadores del
constructo. Se identifica con el modelo de medida
del constructo. - Definición estructural teoría consistente y
sustantiva, relaciona el constructo medido con
otros constructos empíricos de su entorno. En
técnica de modelos estructurales se denomina
parte estructural de un modelo o teoría.
18- Descripción de los componentes del constructo.
- Diseño del instrumento
- Errores frecuentes que han de evitarse (Muñiz)
- Alternativas de respuestas que no sean igualmente
plausibles - Enunciados negativos.
- Alternativas de diferente longitud
- Reiteración innecesaria en el texto.
- Cifras desordenadas en las alternativas de
respuestas. - Abuso de la opción todas /ninguna de las
anteriores en las alternativas de respuestas.
19- V. Redacción de los ítems
- Partir de las ideas relevantes para elaborar
ítems que midan objetivos importantes con el
máximo poder discriminativo. - Presentar el ítem con claridad y precisión para
evitar introducir elementos no funcionales
demasiado específicos o que puedan sugerir las
respuestas - Eliminar frases estereotipadas.
- Analizar la calidad de los ítems
- La calidad de los ítems, la fiabilidad y la
validez son las características fundamentales de
un buen instrumento de medida. Por ello se exigen
a un buen test y se deben tener en cuenta para
evaluarlos con criterios de calidad.
20- Análisis de los ítems Implica obtener
información descriptiva y estadística - a) Información descriptiva evidencias de
validez (de contenido, de constructo y de
criterio) de los elementos. - Objetivo establecer juicios razonables sobre
el grado en que las evidencias permiten emprender
acciones basadas en el modelo de medida (a través
de los ítems o indicadores). - Por tanto, HAY QUE PLANTEARSE SI EL SISTEMA DE
VALORES ESTA EN RELACION CON LOS OBJETIVOS A
MEDIR. - b) Información estadística estimar parámetros
para cada ítem, analizar los distractores o
alternativas incorrectas de respuesta y examinar
el posible funcionamiento diferencial de los
ítems en grupos de interés.
21- Fiabilidad
- - Criterio de calidad. Se relaciona con la
precisión de las medidas obtenidas con un test. - - Informa sobre el grado en que las
puntuaciones empíricas reflejan las verdaderas y
grado de ajuste entre puntuaciones empíricas y
verdaderas. - - Procedimientos para constatar la fiabilidad
basados en el modelo lineal de regresión. Índice
usado coeficiente de correlación de Pearson
(para la estabilidad temporal de las puntuaciones
obtenidas y la consistencia interna del test). - Por tanto, UNA MEDIDA ES FIABLE SI ES PRECISA.
ESTABLE Y CONSISTENTE. - VIII. Validez
- - Grado en que un instrumento mide aquello
que dice medir.
22- IX. Elaborar las normas
- Evaluación de los sujetos asignación,
interpretación y equiparación de las
puntuaciones. - Las puntuaciones directas se transforman en
estandarizadas y con éstas se confeccionan
baremos. - Existen dos tipos de baremos
- a) Referidos al criterio informan sobre el
grado en que el sujeto posee la característica o
dominio medido. Se ven posibilitados gracias a
las mediciones que se realizan desde la TRI
(teoría de respuesta al ítem). - b) Referidos a la norma informan de la posición
que ocupa el sujeto, en el rasgo medido, respecto
a su grupo de iguales. Las mediciones de este
tipo de baremos se realizan desde la TCT (teoría
clásica de los test).
23Diferencias entre baremos
DE CRITERIO DE NORMA
Finalidad evaluación Estimar rendimiento en los objetivos que mide Indicar las diferencias interindividuales en el rasgo que miden.
Construcción del instrumento Especificar el dominio de contenido y del uso pretendido por el instrumento Los ítems se construyen derivados de alguna teoría de rasgo o de constructo
Selección de los ítems En función de objetivos y uso predeterminado del instrumento Indica la varianza del test, Maximiza la varianza y elige los ítems de dificultad
Significado de las puntuaciones Puntuación estimador muestral de la conducta del sujeto en el dominio indican las diferencias interindividuales, maximizan la varianza del test y eligen los ítems de dificultad
Interpretación de las puntuaciones Significado en términos absolutos Significado solo con relación al grupo normativo de referencia
24Construcción según distintas teoría
- Teoría de test
- Teoría que aporta modelos para las puntuaciones
de los test - Función Dar cuenta del error de medida inherente
a toda medición psicológica (estimar el error y
proporcionar una estimación del rasgo o
característica evaluada estimación de la
característica de interés) - Teoría clásica de los test
- Desarrolla un modelo estadístico que contempla
los errores de medida. - Asume que la puntuación empírica que obtiene un
sujeto cuando se le administra un test (X) es
función de - - El nivel real o verdadero en que el sujeto
posee la característica o rasgo que se está
evaluando (V) - - El error de medida que siempre se introduce
en cualquier proceso de medida (E). - La relación entre el comportamiento observable
(X) y el nivel del sujeto en la variable no
observable (V) es una relación lineal.
25 Limitaciones de la TCT
- La no invarianza de las mediciones respecto de
los instrumentos utilizados. - Las propiedades de los instrumentos de medida
dependen en exceso de los objetos medidos, es
decir, de los sujetos a los que se aplica el
test. - Dificultad real que existe para construir test
paralelos, concepto clave en la TCT ya que afecta
directamente al cálculo del coeficiente de
fiabilidad y longitud de los tests. - Alternativa a las limitaciones anteriores
- Teoría de Respuesta al ítem
- - Permite construir y analizar de modo más
potente los tests - - Objetivo principal conseguir medidas
invariantes respecto de los sujetos medidos y de
los instrumentos utilizados.(Muñiz,1997). - - Unifica dos conceptos el de separación de
parámetros e invarianzas de los mismos. - - Por tanto, sus principales supuestos se van a
referir a la naturaleza del rasgo que se pretende
medir y a las relaciones que se esperan entre las
respuestas de los ítems.
26Tipos de informes I
- Descriptivos interpretan cada subescala sin
referirse a las demás. Dichas interpretaciones
pueden - Añadir grado al nombre de la escala
- Indicar la posición del sujeto en la subescala
según varias categorías ordenadas. - Añadir información estadística sobre el
rendimiento del sujeto en relación al grupo
normativo (sólo los más elaborados) - Condicionados interpretan en qué nivel se
cumplen ciertas condiciones en diferentes
subescalas (primer acercamiento al problema).
27Tipos de informes II
- Consultivos
- Empleados por los expertos que emplean
frecuentemente el test - Utiliza lenguaje técnico adecuado y formas de
redacción similares a las que se emplean en los
informes clínicos - Más elaborados que los informes condicionados.
28Test que se ofertan
29Recursos humanos AUTOMATIZADOS POSIBLE CORRECCION MECANIZADA POSIBLE CORRECCION POR INTERNET DISQUETE DE CORRECCION Y PERFIL
Recursos humanos INTELIGEN CIA 1 11 0 0
Recursos humanos APTITUDES 0 19 0
Recursos humanos PERSONALIDAD 3 10 7 5
Recursos humanos COMPETENCIAS 0 0 2 0
Recursos humanos CLIMA LABORAL, MOTIVACIONES, VALORES 0 3 2 0
Recursos humanos IDIOMAS 0 1 0 0
30ESCOLAR Y CLINICA INFORMATIZADOS POSIBLE CORRECCION MECANIZADA CORRECCION POR INTERNET DISQUETE DE CORRECCION Y PERFIL
ESCOLAR Y CLINICA INTELIGENCIA 1 3 1 2
ESCOLAR Y CLINICA APTITUDES 2 9 1 0
ESCOLAR Y CLINICA PERSONALIDAD 2 11 6 3
ESCOLAR Y CLINICA CLINICOS 1 8 4 6
ESCOLAR Y CLINICA INTERESES, MOTIVACIONES Y VALORES 0 5 1 0
ESCOLAR Y CLINICA PROYECTIVO 0 0 0 0
ESCOLAR Y CLINICA NEUROPSICOLOGICO 1 0 1 0
ESCOLAR Y CLINICA PEDAGOGICO Y DE RENDIMIEN TO 2 7 3 0
ESCOLAR Y CLINICA JUEGOS DE INTERVENCION 0 0 0 0
ESCOLAR Y CLINICA PROGRAMAS DE INTERVENCION 2 0 1 0
ESCOLAR Y CLINICA RELAJACION 2 0 0 0