El marco PISA para la evaluacin lingstica

1
El marco PISA para la evaluación lingüística

• Eduardo Vidal-Abarca
• Catedrático Universidad de Valencia
• Miembro del Grupo de Expertos de PISA-Lectura

2
Contenidos

• PISA Una visión general
• PISA-Lectura
• TCL-PISA
• De la evaluación al currículum

3
PISA Una visión general
4
Mapa de PISA
5
Evolución de PISA
6
La evaluación de PISA

• Competencias complejas
• Lectura, Matemáticas, Ciencias
• Evaluadas cada 3 años
• 2000 Lectura, Matemáticas, Ciencias
• 2003 Lectura, Matemáticas, Ciencias
• 2006 Lectura, Matemáticas, Ciencias
• 2009 Lectura, Matemáticas, Ciencias
• Recomendaciones de política educativa

7
Tipos de evaluación

• En común
• Definir un campo de evaluación
• Diseñar tareas representativas (modelos
  teóricos, currículum)
• Graduar tareas por dificultad
• Desarrollar instrumentos de medida (fiabilidad,
  validez, etc)

8
Tipos de evaluación

• Diferencias
• Muestras vs. Totalidades
• Cantidad de ítems de las pruebas
• Uso de los datos

9
PISA Lectura
10
Evaluación de sistemas PISA
Marco internacional de evaluación Consenso
(definición, marco, medidas) Conexión políticas
públicas evaluación - investigación
Evaluar capacidades lectoras Más allá de lo
escolar (Curriculum vs. Capacidades) Ampliar lo
textual (desarrollo personal y social) Conectar
con procesos (investigación cognitiva)
La competencia en lectura se define como
comprender, usar y reflexionar sobre textos
escritos a fin de lograr metas personales,
desarrollar el conocimiento y las potencialidades
personales, y participar en la sociedad
11
Organización de PISA Lectura

• Situaciones En qué situaciones se lee?
• Textos Qué textos se leen?
• Aspectos (tareas) En qué tareas hay que ser un
  competente lector?

12
Situaciones

• Publicas (38 ) participar en la sociedad
• Documentos oficiales, periódicos, folletos
  públicos, etc
• Educativas (28) - información y conocimiento
• Libros de texto, enciclopedias educativas, etc
• Personal (19 ) intereses personales
• Novelas, biografías, cartas, textos informativos,
  etc
• Ocupacionales (15 ) tareas laborales
• Leer para hacer (p. ej., qué hacer en caso de )

13
Textos

• Continuos (64 )
• Expositivos
• Narrativos
• Argumentativos
• Descriptivos
• Instrucciones
• No-continuos (36)
• Gráficos
• Tablas
• Diagramas
• Mapas
• Anuncios

14

• Artículo periodístico
• Público
• Continuo-Expositivo

15

• Folleto informativo
• Ocupacional
• Continuo-Descriptivo

16

• Figura de Enciclopedia
• Educativo
• No-Continuo - Gráfico

17

• Informe de resultados
• Público
• No-Continuo Tabla

18
Textos

• Continuos
• No-continuos
• Mixtos
• Múltiples
• Medio
• Impreso
• Electrónicos

2009
19
Aspectos (tareas)
INTRUCCIONES Consulta la tabla para contestar a
las preguntas siguientes
20
Aspectos (estructura de tareas)
LECTURA
Información en texto
Fuera del texto
21
Aspectos (estructura de tareas)
LECTURA
Información en texto
Fuera del texto
Partes independientes
Relaciones en el texto
Todo el texto
Partes del texto
22
Aspectos (estructura de tareas)
LECTURA
Información en texto
Fuera del texto
Partes independientes
Relaciones en el texto
Todo el texto
Partes del texto
Recuperar
Comprensión global
Interpretar
23
Aspectos (estructura de tareas)
LECTURA
Información en texto
Fuera del texto
Partes independientes
Contenido
Estructura
Relaciones en el texto
Todo el texto
Partes del texto
Reflexionar y Evaluar Contenido
Reflexionar y Evaluar Forma
Recuperar
Comprensión global
Interpretar
24
Escalas (Capacidades)
LECTURA
Información en texto
Fuera del texto
Recuperar información
Interpretar
Reflexionar
Comprensión global
Contenido
Recuperar
Interpretar
Forma
25
PROCESOS DE COMPRENSION

• Comprender un texto
• Operaciones -gt representación mental
• Intra-texto (ciclos)
• Formar ideas
• Relacionar ideas partes, globalmente
• Auto-regular
• Más allá contenidos, forma
• Responder preguntas
• Comprender pregunta (Auto-regular)
• Activar representación
• Construir Respuesta (Auto-regular)
• Decisiones (releer?)

26
OPERACIONES MENTALES
27
REPRESENTACION FINAL
CONOCIMIENTO PREVIO TEXTO
Representación mental COHERENTE
Representación mental INCOHERENTE (y errónea)
28
PROCESO PREGUNTA-RESPUESTA
PREGUNTA Cuál de las ?
29
Fuentes de Dificultad

• Texto longitud, complejidad, familiaridad
• Pregunta -Texto
• cantidad de información para buscar o relacionar
• superposición pregunta-texto (inferencias)
• información textual en competición (contexto de
  ideas)
• cantidad conocimiento previo para activar
  (transferencia)
• Formato de pregunta seleccionar vs. producir

30
EJEMPLOS
31
EJEMPLO
32
EJEMPLO
33
Niveles de competencia (Integrar)
Comprensión completa y detallada del texto
5
Inferencias basadas-en-el-texto en contexto poco
familiar
4
Integrar partes del texto para entender una idea
importante
3
2
Identificar la idea esencial de un texto
Reconocer el tema esencial del texto cuando el
tema es familiar
1
34
Conclusiones

• Esquema de competencias amplio pero específico
• Más allá de lo escolar
• Tareas variadas y ajustadas a competencias

35
Test (Individual) de Competencias en Lectura para
ESO (TCL)
36
TCL-PISA (Lápiz y papel)

• Modelo PISA de Capacidades
• Recuperar
• Interpretar
• Reflexionar
• Objetivos
• Evaluar capacidades a comienzos de ESO
• Conectar con intervención educativa

37
Procedimiento de elaboración

• Decidir el esquema de competencias (PISA)
• Seleccionar/Elaborar Textos
• Pertinentes
• Atractivos
• Elaborar preguntas
• Formulación clara
• Dificultad variada
• Criterios de corrección claros
• Pruebas piloto previas

38
Contenido

• Textos
• Continuos 3
• No continuos 2
• Preguntas (20)
• Recuperar
• Integrar
• Reflexionar
• Tarea
• Contestar preguntas usando información textual

39
Ejemplo 1
40
Ejemplo 2
Accidentes de tráfico
41
Ejemplo 3
El calentamiento global
Variación de la temperatura de La Tierra
(1000-2000)
Aumento de Emisiones de CO2 (1800-2000)
42
Ejemplo 4
Energía nuclear
43
Aplicación

• Muestra
• 603 niños y niñas de 1º, 2º, 3º ESO (204, 200,
  199 alumnos respectivamente)
• Control de variables demográficas y educativas

44
Puntuación por curso
Diferencias significativas entre cursos
45
Relación TCL y Rendimiento

• Ciencias .481
• Ciencias Sociales .298
• Matemáticas .223
• Valenciano .187
• Lengua Española .121

46
Conclusiones

• Evaluación individual basada en PISA
• Adecuada para niveles ESO
• Base para intervención educativa
• Relación variada con Rendimiento

47
Evaluación de competencias en centros y aulas
De la evaluación de competencias al currículum
escolar
48
Enseñanza/Evaluación de competencias en centros

• Qué competencias enseñar/evaluar?
• POCAS competencias
• Competencias CLAVE
• Contextos REALES
• Conexión TRANSVERSAL y LONGITUDINAL
• Qué tareas utilizar?
• Alineadas con las competencias
• Variadas (en dificultad y representatividad)
• Con criterios de corrección claros
• Amenas

49
Evaluación de competencias en centros

• Procedimiento para evaluación sumativa
• Elaborar un esquema coherente (competencias
  situaciones conocimientos)
• Seleccionar/Elaborar materiales de evaluación a
  partir del esquema y elaborar criterios de
  corrección
• Probar materiales (textos, preguntas, etc )
  dificultad, adecuación, facilidad de corrección
• Desarrollar prueba final
• Tomar criterios externos de validez

50
Enseñanza de competencias

• Alinear enseñanza y evaluación (pero no
  confundir)
• Enseñar a comprender
• Qué enseñar?
• Captar ideas
• Relacionar ideas
• Sintetizar
• Aplicar
• Reflexionar y evaluar
• Cómo enseñar
• Guiar el aprendizaje
• Atender diferencias individuales
• Evaluar periódicamente

51
Gracias por la atención!