La percepci

1
La percepción de Estudiantes y Profesores de la
Universidad Metropolitana sobre el Instrumento de
Medición del Desempeño Docente y su aplicación

• Autora Silvia Villegas
• Tutora Dra. Antonia López

2
EL PROBLEMA DE ESTUDIO

• Análisis del Instrumento de Medición del
  Desempeño Docente (IMDD) utilizado en la
  Universidad Metropolitana y de su proceso de
  aplicación, bajo la perspectiva de los
  estudiantes (evaluadores) y de los profesores
  (evaluados)

3
(No Transcript)
4
Marco Teórico

• Sistemático medio de articulación entre la
  gestión de los Recursos Humanos y los objetivos y
  estrategias organizacionales de conjunto
• (Organisation de Coopération et Developpment
  Économiques.OCDE)

5
Sistema de Evaluación del desempeño en un marco
de gestión organizacional
Desempeño individual
Desarrollo del recurso humano
Perfil Profesor Selección
Características personales
Determinación del nivel de calidad del desempeño
Motivación y actitud
Propósitos evaluación de desempeño
Comunicación de los Resultados evaluación
Capacidades
Plan de formación
Base para incentivos
Criterios y formas de aplicación
Medición Técnicas e instrumentos
Interpretación
6
LA EVALUACIÓN DEL DESEMPEÑO

• Evolución histórica de la evaluación del
  desempeño
• Creencias y actitudes referidas a procesos de
  evaluación del desempeño docente
• Aspectos de la actividad docente susceptibles
  de evaluación por los estudiantes

7
Evolución histórica de la evaluación del
desempeño
Escuela de la medida (1940-1950) Escuela de la entrevista de evaluación (1950-1980) Escuela de los procesos cognitivos (1980 ) Escuela de gestión del desempeño (1990)
Privilegia Medición Precisión Exactitud Privilegia Abordajes de comunicación (evaluador) Calidad relacional Privilegia Exactitud y tratamiento de la información (evaluador) Normalización de procedimientos organizacionales Privilegia Visión sistémica Resolución de problemas organizacionales Trabajo colectivo
Debilidades Se descuida Motivación Competencias evaluador Características personales Contexto Organizacional Debilidades Se hace difícil el mantenimiento de sistemas de evaluación racionales y apolíticos Debilidades Falta de aplicabilidad por desinterés en contexto organizacional Obsesión con criterios de exactitud de eficacia Excesiva concentración en tratamiento de la información y en juicios evaluativos Debilidades Dificultad en la comparación de las evaluaciones individuales para la toma de decisiones administrativas
Fuente Estudio de la OCDE 1993, citado por
Madureira (2002)
8
Creencias y actitudes referidas a procesos de
evaluación del desempeño docenteLa escalera de
inferencias
Ciclo reflexivo
9
Modelos para evaluar el desempeño docente

• SEEQStudents Evaluation for Education Quality .
  Marsh y colaboradores(1982)
• Endeavour Frey y colaboradores (1982)
• Salvador y Sanz (1988)
• Cronin(1991)
• Fernández Sánchez (1988)

• Se generan de un análisis factorial sobre los
  ítems incluidos en un instrumento, para
  establecer las dimensiones empíricas en las que
  se agrupan.
• Se obtienen entre 5 y 9 factores generalmente

10
Factores de la calidad de la docencia
universitaria

• Organización , Planificación del curso
• Interés por los estudiantes
• Dominio de la materia
• Entusiasmo
• Técnicas y estrategias de enseñanza
• Mecanismos de evaluación y feedback
• Responsabilidad y compromiso
• Desarrollados por Zabalza (2003)
• Marsh (1987) Trabajo basado en cuestionarios
  para estudiantes y autoevaluaciones de profesores

11
Ventajas y desventajas de la metodología de
evaluación basada en opinión de los estudiantes

• Ventajas
• Importante fuente de información y feedback
• Correlacionan significativamente con otro tipo de
  evaluaciones
• Se reconoce el derecho de los alumnos a opinar
• Promueve que se involucren responsablemente en su
  aprendizaje

• Desventajas
• Difícil discriminar por los resultados entre
• Proceso de enseñanza
• Características personales
• Interacción estudiantes-profesores
• Falta de validez e inconsistencia metodológica en
  la elaboración de los instrumentos

12
METODOLOGÍA DE LA INVESTIGACIÓN
13
Planteamiento

• El planteamiento del problema nace por la
  preocupación que manifiestan periódicamente las
  autoridades de la Unimet y profesores en cuanto a
  
• Resultados de las evaluaciones
• Instrumento de evaluación
• Abstención

14
Formulación

• Cuál es el grado de coincidencia entre las
  opiniones del Com. Dec. Fac. y la Comisión SEA
  con la opinión de estudiantes y profesores ?

15
Sistematización

• Hacen falta instrumentos diferenciados ?
• Cuáles son las creencias ?
• Cuál es el nivel de respuesta?
• Por qué los estudiantes no responden al IMDD?
• Qué están interpretando de las preguntas del
  IMDD?
• ..

16
Definición de objetivos
17
OBJETIVOS DE LA INVESTIGACIÓN

• Conocer el nivel de respuesta obtenido en
  las últimas evaluaciones, diferenciados por
  Facultades.
• Conocer la percepción y creencias que, sobre el
  proceso de evaluación de desempeño docente a
  través del instrumento IMDD, tienen los
  profesores y estudiantes de la Unimet.
• Conocer la interpretación que hacen tanto
  profesores como estudiantes de las preguntas que
  contiene el IMDD que se aplica en la Unimet.
• Contrastar la interpretación que estudiantes y
  profesores hacen de las preguntas del IMDD, con
  la intención teórica del mismo.
• Detectar variables relevantes que influyan en
  esas percepciones e interpretaciones.

18
DISEÑO Y FASES DE LA INVESTIGACIÓN

• Diseño
• Población y muestra
• Técnicas e instrumentos

19
Diseño de la investigación

• Fundamentada en hechos cumplidos
• Se trata de determinar relaciones causa-efecto
• No se regulan o controlan condiciones

• Metodología
• Expost-facto

• Formulación y documentación de un problema con el
  objeto de posibilitar una investigación más
  precisa

20
Población y muestra

• Se consideraron 4 poblaciones
• Estudiantes de pregrado
• Estudiantes de postgrado
• Profesores de pregrado
• Profesores de postgrado
• Muestreo aleatorio simple para cada una de las
  poblaciones
• n N p.q (z?/2) 2
• (N-1)B2 (z?/2) 2 p.q
• confiabilidad del 90 (? 0,1 z?/2 1,64)
• error B 0,08
• valor 0,5 para p y q.

21
Población y muestra
Tamaño de la Población Encuestas recogidas
Profesores Pregrado 343 72
Profesores Postgrado 62 39
Estudiantes Pregrado 3913 158
Estudiantes Postgrado 1386 98
22
Obtención de datos

• Cuestionarios
• Identificación de los sujetos
• Valoración de factores del proceso
• Conocimiento del IMDD
• Abstención en la participación
• Aplicabilidad del IMDD en diferentes cursos
• Valoración del momento para la evaluación
• Retroalimentación (profesores)
• Oportunidad en la entrega de resultados
  ( profesores)
• Incidencia en el bono de productividad
  (profesores)
• Creencias
• Interpretación de las preguntas del IMDD

• Datos proporcionados por la Dirección de Recursos
  Humanos

23
Cuestionarios

• Pruebas de confiabilidad y validez para los
  cuestionarios
• Validez de contenido
• juicio de expertos
• Confiabilidad
• Método de la prueba repetida

24
Herramientas

• Se utilizaron Excel y SPSS para el análisis de
  los datos
• Análisis de frecuencia
• Contraste de diferencia de proporciones
• Correlaciones

25
RESULTADOS

• Del análisis de los datos proporcionados por la
  Dirección de Recursos Humanos

26
Promedios IMDD por Facultades pregrado
27
Porcentajes de respuesta al IMDDFacultades de
Pregrado
28
Porcentajes de respuesta al IMDDPostgrado- Julio
2004

• 17 de respuestas al IMDD
• 99 de la secciones evaluadas, por debajo del 50

Correlaciones entre Apreciación General y
Promedio del IMDD

• Todos los coeficientes de correlación calculados
  son muy cercanos a 1

Correlaciones entre de respuesta y Promedio del
IMDD

• Todos los coeficientes de correlación calculados
  son muy cercanos a 0

29
RESULTADOS

• Valoración factores del proceso
• Estudio de frecuencias inicial
• Prueba CDP Contraste de Diferencia de
  Proporciones, para establecer la existencia de
  diferencias significativas en las respuestas de
  las poblaciones comparadas
• Se contrasta H0 de igualdad de proporciones
• (px py), con Ha de una sola cola (px gtpy o pylt
  px)
• Nivel de significación a 0,05

30
Valoración factores del proceso

• Conoce el IMDD?

Promedio (SI) Evidencia estadística de desacuerdo (CDP) Observaciones
72 No se encontró Mayor desconocimiento en Profesores y Estudiantes de postgrado
31
Valoración factores del proceso

• Es el IMDD actual aplicable a todos los cursos
  en los que ha participado?

Promedio (SI) Evidencia estadística de desacuerdo (CDP) Observaciones
72 No se encontró Mayor desacuerdo en Profesores de postgrado (30,4)
32
Valoración factores del proceso

• Se preserva el anonimato del estudiante?

Promedio (SI) Evidencia estadística de desacuerdo (CDP) H0 acuerdo de las partes Observaciones
65 No se encontró Un 14,4 de Profesores no responde desconocimiento del sistema? Un 36 de Estudiantes opinó que no se preserva el anonimato
33
Valoración factores del proceso

• Es seguro el sistema a través de la Web?

Promedio (SI) Evidencia estadística de desacuerdo (CDP) H0 acuerdo de las partes Observaciones
65 Entre Profesores y Estudiantes Un 15,4 de Profesores no responde desconocimiento del sistema? Un 25 de Estudiantes opinó que no es seguro el sistema a través de la Web
34
Valoración factores del proceso

• Factores que influyen en la abstención

Promedio Evidencia estadística de desacuerdo (CDP) H0 acuerdo de las partes Observaciones
Falta de información 28 Desinterés 52 No saben cual es la finalidad13 Flojera27 No confían en el anonimato19 Entre P y E de pregrado, las proporciones de respuesta son muy parecidas . Se acepta H0 en todos los casos. Entre P y E de postgrado si hay evidencia estadística de desacuerdo los P perciben al desinterés y flojera como las causas principales de abstención. Entre E-pre y E-post, se encuentran diferencias de proporciones entre desinterés, flojera y confianza en el anonimato. (mayor acuerdo en pregrado) 40 comentarios para opción otro, de los cuales 21 se refieren a no se toman en cuenta los resultados
35
Valoración factores del proceso

• Cómo le han sido comunicados los resultados del
  IMDD? (Profesores)

sobre respuestas válidas Profesores Pregrado Profesores Postgrado
adecuadamente 75 22,6
inadecuadamente 14 32,3
No comunicados 11 45,2
36
Valoración factores del proceso

• Cómo le han sido comunicados los resultados del
  IMDD? (por Facultades de Pregrado)

sobre respuestas válidas FACES Ingeniería C y A
adecuadamente 37,5 78,6 85,7
Inadecuadamente (14 total) 37,5 7,1 9,5
No comunicados (11 total ) 25 14,3 4,8
37
RESULTADOS

• Creencias
• 14 aseveraciones
• Respuestas de escala tipo Lickert de 4 opciones
  que se agruparon en
• Acuerdo (bastante de acuerdo, muy de acuerdo)
• Desacuerdo (nada de acuerdo, poco de acuerdo)
• Se contrastaron las diferencias de proporciones

38
Creencias

• Aseveraciones para las cuales no se encontraron
  evidencias estadísticas de desacuerdo y su
  porcentaje de acuerdo promedio

Aseveraciones de acuerdo promedio
Un grupo significativo de profesores no toma en serio las evaluaciones hechas por los estudiantes 52
La madurez del estudiante influye en la evaluación que hace del profesor 90
39
Creencias

• Aseveraciones que arrojaron un alto porcentaje
  de acuerdo en alguna de las poblaciones comparadas

Aseveraciones acuerdo
Los estudiantes tienden a enfatizar en las evaluaciones los aspectos que perciben como negativos en el docente. 92 ( P-pre) 70 ( E-pre)
Las características personales de los profesores influyen en la puntuación que le dan los alumnos en la encuesta 80 ( P-pre) 67 (P-post)
40
Creencias

• Aseveraciones en donde se encontraron las
  evidencias estadísticas de desacuerdo más
  resaltantes.

Aseveraciones Desacuerdo (rechazada H0)
Los estudiantes califican a los profesores, basándose en cuan entretenido puede ser un curso y no necesariamente por lo que puedan aprender en el mismo. E-pre y E-post (42-22)
Un alto porcentaje de estudiantes no toma en serio el llenado de las encuestas para evaluar a los profesores P-pre y P-post (73-55)
La importancia que se le otorga a los resultados del IMDD en decisiones administrativas para los profesores, es alta. P-pre y P-post (62- 11)
Los profesores hacen cambios significativos en su estilo de enseñanza, basándose en la información que obtienen de los estudiantes a través del IMDD E y P (26 46)
41
RESULTADOS

• Interpretación de preguntas del IMDD

42
Interpretación preguntas IMDD
Pregunta del IMDD actual y opciones de respuesta La intención de esta pregunta es recabar información acerca de (indique con 1 y 2 su percepción)
Considero que la organización de esta materia es Excelente.Mala Organización, planificación del curso
Considero que la organización de esta materia es Excelente.Mala Interés del profesor por los estudiantes
Considero que la organización de esta materia es Excelente.Mala Dominio de la materia
Considero que la organización de esta materia es Excelente.Mala Entusiasmo del profesor
Considero que la organización de esta materia es Excelente.Mala Técnicas y estrategias de enseñanza
Considero que la organización de esta materia es Excelente.Mala Mecanismos de Evaluación y feedback
Considero que la organización de esta materia es Excelente.Mala Responsabilidad y compromiso
43
Interpretación preguntas IMDD
Análisis solicitado a la Comisión de Evaluación
y Fortalecimiento Académico
Intenciones originales
Tendencia Esperada en cada una de las preguntas
Factores evaluables (Fundamentación Teórica)
Respuestas obtenidas Apuntan a la tendencia
esperada?
44
Interpretación preguntas IMDD

• La organización de esta materia es
  Excelente.mala

45
Interpretación preguntas IMDD

• Considero que el profesor prepara sus clases
  SiempreNunca

46
Interpretación preguntas IMDD

• Considero que el profesor utiliza adecuada y
  eficientemente diversos medios(pizarrón o
  material multigrafiado o láminas de acetato o
  apoyo tecnológico) para que durante la sesión de
  clase se refuercen los contenidos trabajados y se
  logren los objetivos Siempre..nunca

47
Interpretación preguntas IMDD

• Considero que el profesor planifica durante el
  curso diversas actividades como discusión de
  casos, análisis de problemas, contraste entre
  autores, talleres prácticos, seminarios,
  proyectos, actividades colaborativas, tareas,
  entre otras
• Siempre..nunca

48
Interpretación preguntas IMDD

• Considero que las estrategias de evaluación y los
  trabajos asignados en esta materia se ajustan a
  los objetivos de la misma y se corresponden con
  los lineamientos planteados por el profesor
  Siempre..nunca

49
Interpretación preguntas IMDD

• El profesor está dispuesto a atenderme fuera del
  horario de clase
• Siempre..nunca

50
Interpretación preguntas IMDD

• Considero que el profesor ha asistido
  regularmente a clases (sin faltar
  injustificadamente o recuperando las clases
  perdidas)Siempre..nunca

51
Interpretación preguntas IMDD

• En general, mi apreciación sobre el profesor es
  Excelente..mala

52
Interpretación preguntas IMDD

• Total jerarquizado respuestas

53
CONCLUSIONES Y RECOMENDACIONES
54

• Nuestro Programa de Evaluación de Desempeño
  Docente se concibe e inscribe en el contexto
  global de gestión, integrado a un plan de
  desarrollo docente y reconociendo la necesidad
  del mismo.

55
Se recomienda

• Revisar y favorecer los mecanismos de
  comunicación entre la Comisión de Evaluación y
  Fortalecimiento Académico con profesores y
  estudiantes.
• Revisar la estructura jerárquica y responsables
  por la transmisión de los resultados en las
  dependencias académicas (particularmente FACES y
  Postgrado)
• Evaluar la posibilidad de mantener la
  confidencialidad de los resultados

56

• Parece existir un alto grado de acuerdo en cuanto
  a la aplicabilidad del IMDD a todos los cursos
  sin embargo no debe excluirse la posibilidad de
  elaborar instrumentos diferenciados y/o
  complementarios (cursos virtuales o
  semivirtuales, tutorías, otros)

57
Para culminar

• Se recomienda reactivar la divulgación del
  Programa Permanente de Desempeño Docente
• Sus objetivos estratégicos
• El papel del IMDD en este Programa
• Sensibilizar y preparar a los supervisores
  encargados de comunicar los resultados
• Proponer vías para aumentar el de
  participación de los estudiantes

58
(No Transcript)