ToR Taskforce

1
Evaluation des enseignements et des
formations. Contrôler ou valoriser? Expériences
de lUniversité de Genève Dr Nicole Rege Colet
2
Plan

• Evaluation formative et démarches qualité
• Le contexte européen
• Genèse de lévaluation à UniGe
• Epistémologie de lévaluation
• Bilan des pratiques
• Perspectives et enjeux

3
Démarches qualité
Evaluation
Assurance qualité
Accréditation
Quality management
Quality culture
4
Démarches qualité assurance qualité
Accréditation Audit qualité Evaluation
institutionnelle Evaluation dunité
denseignement et de recherche Evaluation
de discipline ou de filières Evaluation
de programme Evaluation de
lenseignement par les étudiants
5
Une progression qui implique de passer de

• Unités de formation ? Systèmes de formation
• Evaluation interne ? Evaluation externe
• Micro-régulation ? Pilotage institutionnel
• Gestion individuelle ? Gestion collective
• Ajustements ? Décisions

6
De lEEE aux démarches qualités intégrées
EEE
AQ

• Approche qui vise à
• Améliorer pratique denseignement
• Renforcer apprentissages des étudiants
• Favoriser dialogue entre enseignants et étudiants

• Approche qui vise à
• Renseigner/informer sur la qualité de
  lenseignement
• Promouvoir la formation universitaire
• Contrôler les prestations

• Une démarche orientée vers
• Développement pédagogique
• Valorisation des activités denseignement

• Une démarche orientée vers
• La régulation et le pilotage institutionnel
• Développement professionnel académique
• Reconnaissance - ranking

7
Principaux enjeux
Principaux enjeux

• Documenter la qualité de lenseignement et de la
  formation
• Mesurer les prestations
• Construire des indicateurs
• Systématiser les démarches
• Bases de données
• Tableaux de bord
• Outils de gestion/aide à la prise de décision
• Critères

8
AQ en Europe .

• Objectif de la Déclaration de Bologne
• Promotion de la coopération en matière
  dévaluation de la qualité (critères
  méthodologie)
• ENQA ESIB EUA EURASHE 4E
• Analyse des pratiques dévaluation en Europe
• Rencontre ministérielle à Bergen en 2005
• Adoption des standards et du guide ESG pour
  lAQ dans lenseignement supérieur
• Colloque européen annuel
• Forum AQ de lEUA, Rome novembre 2007

9
Genèse à lUniversité de Genève
10
Principales étapes

• Années 80 Études exploratoires premiers
  outils
• 1996-1998 Phase des projets pilotes
• 1998-2000 Phase de généralisation
• 2000-2003 Phase de consolidation mesure impact
• 2003-2004 Premier audit qualité
• 2004-2007 La traversée du désert
• 2007-2008 Deuxième audit qualité

11
Principes clés

• Approche formative
• Consentement
• Anonymat
• Confidentialité
• Retour aux étudiants
• Valorisation dans dossier denseignement

12
Les démarches qualité de lenseignement

• Évaluation de lenseignement
• Depuis 1999
• Méthode questionnaire auprès des étudiants
• Mesure perceptions des étudiants par rapport aux
  situations denseignement et dapprentissages
  (degré de satisfaction)
• Évaluation des programmes
• En développement
• Méthode questionnaire
• Mesure perceptions des étudiants par rapport à
  lensemble dun cursus ou programme (degré de
  satisfaction)
• Évaluation des UERs
• De 1992 à 2000 puis reprise dès 2007
• Méthode rapport dauto-évalution et évaluation
  externe par experts
• Mesure qualité des prestations de recherche,
  denseignement et de services

13
Évolution du nombre de dossiers dévaluation1999
à 2007
14
Classement 06-07 de 1308 enseignements évalués
selon lindice de satisfaction valeurs comprises
entre 0.00 - 1.00
0.000.40
0.410.70
0.710.80
0.810.90
0.911.00
15
Une épistémologie de lévaluation
16
Lévaluation, une forme de recherche

• QdR Quelle est la perception des étudiants?
• Hypothèse satisfaction par rapport à certaines
  dimensions
• Opérationnalisation construction dindicateurs
• Méthode questionnaire élaboration cadre
  danalyse
• Analyse interprétation
• Plan daction suivi

17

• Choix méthodologiques
• 15-20 items fermés
• Énoncés positifs
• Items libres
• Échelle de lickert 4 positions
• 3-4 questions ouvertes

• Dimensions couvertes
• Contenus
• Structure
• Habiletés communication
• Supports
• Évaluation apprentissage
• Encadrement
• Investissement

18

• Choix méthodologiques
• Tableaux de fréquence
• Graphique valeurs relatives
• Retranscription intégrale

19
Indice de satisfaction 0.00 1.00
20
Echelle de classification
21
Exploitation de lindice de satisfaction

• Profils individuels
• Comparaison profil individuel tendance générale
• Groupes de comparaison
• Type denseignement
• Département
• Niveau détudes
• Études longitudinales

22
Profils individuels
23
Comparaison profil individuel tendance générale
24
Groupe de comparaison
Cours, 1ère année bachelor
25
Étude longitudinale
26
Bilan des pratiques
27
Évaluation de lenseignement

• Forces
• Augmentation nombre dossiers
• Généralisation à toutes les structures
  académiques
• Émergence dune culture dévaluation
• Analyses des résultats
• Satisfaction des usagers
• Impact sur pratique denseignement
• Observatoire des pratiques

• A développer
• Suivi exploitation des résultats
• Articulation entre évaluation diagnostique et
  évaluation formative
• Mécanismes de régulation et de pilotage
• Procédures darbitrage
• La politique le dispositif de travail
  répartition des responsabilités

28
Évaluation de programmes

• Forces
• Intérêt marqué
• Suivi des innovations dans le cadre du processus
  de Bologne
• Quelques expériences pilotes
• Impact sur planification curriculaire

• A développer
• Politique dispositif de travail principes et
  cadre
• Articulation entre satisfaction des étudiants et
  analyse de la cohérence et pertinence dun
  programme
• Suivi des résultats
• Lien avec laccréditation et les démarches de
  lOAQ

29
Évaluation des UERs

• Forces
• Importante expérience antérieure
• Nouveau concept 07 principes et cadre de
  travail
• Procédure bien définie guide de travail
• Mise en place dun bureau qualité
• Projet pilote en cours

• A développer
• Planification des évaluations
• Suivi des résultats et des plans daction
• Évaluation externe de la procédure
• Lien avec procédures dassurance qualité et
  daccréditation de lOAQ

30
Se rappeler que

• Démarche qualité ? Qualité

31
Prochains enjeux

• Définir une politique en matière dassurance
  qualité pour lUniversité de Genève
• Impliquer lensemble de la communauté académique
• Établir un dispositif intégré et unifié de
  travail
• Réviser développer les différentes procédures
  existantes
• Dégager les ressources nécessaires
• Communiquer et informer sur la politique AQ