Comment

1
Comment évaluer limpact dun dispositif
dapprentissage par projet/problème sur
lapprentissage des étudiants ?

• Chaire de pédagogie universitaire
• B. Galand, E. Bourgeois, M. Frenay, K. Bentein
• Avec la collaboration du groupe impact
• L. Bolle, C. Jacqmot, A. Laloux, E. Milgrom, B.
  Raucent,
• C. Vander Borght, P. Wouters, délégués BdE

2
Limites des recherches existantes

• Centration sur des variables individuelles (vs.
  situationnelles)
• Définition rudimentaire des variables dépendantes
  (apprentissage)
• Peu dapproches globales du rôle des variables
  indépendantes
• Flou des construits théoriques et de leur
  opérationnalisation
• Peu détudes longitudinales des effets
• Peu détudes en contexte européen, francophone

3
Faculté des sciences appliquées UCL

• Examen dentrée
• Deux premières années communes (candidatures),
  sauf architecture.
• Trois années de spécialisation (techniques).
• Depuis septembre 2000, nouveau programme.

4
Volets de létude

• Volet étudiants
• Contrôles sexe, âge, examen dentrée, résultats
• Enquête par questionnaire
• Epreuve de connaissance (1 techn)
• Volet enseignants
• Enquête par questionnaire

5
Présentation

• Candis 2000, le point de vue des enseignants.
• Evaluation de limpact de Candis 2000 sur les
  étudiants.

6
Statistiques

• Tous les effets rapportés sont hautement
  significatifs
• et obtenus au moyen des procédures standard
  utilisées dans ce type détudes.

7
Candis 2000, le point de vue des enseignants

• Résultats préliminaires
• Chaire de pédagogie universitaire Groupe impact

8
Questionnaire enseignants

• Contexte institutionnel
• Implication dans lenseignement
• Pratiques denseignement
• Perceptions relatives aux étudiants
• Satisfaction professionnelle
• Impact de la réforme

9
Méthode

• Enquête  postale , questionnaire anonyme, en
  avril 2002.
• A toute personne assurant tâche dencadrement ou
  denseignement en candis ou 1 technique.
• 101 réponses sur 253 envois, soit 40.
• Réponses très diversifiées (variance).

10
Implication dans lenseignement

• Les enseignants qui ont vécu la transition
• ont davantage modifié leurs pratiques
• travaillent plus en équipe.
• Plus un enseignant participe à Candis 2000 depuis
  longtemps,
• plus il évalue ses  cours 
• plus il se forme.

11
Comparaison candis/1 techn.

• Pratiques pédagogiques
• plus de pratiques aidantes en candis.
• plus de pratiques coopératives en candis.
• Perceptions à propos des étudiants
• plus participatifs en candis.
• moins motivés par des éléments  externes  (ex.
  diplôme, salaire, ) en candis.

12
Impact perçu de la réforme

• Relations enseignants-étudiants
• Relations entre collègues
• Passage du 1er au 2ème cycle
• Investissement
• Rôle denseignant
• Plaisir denseigner
• Image de la FSA

13
Impact perçu de la réforme

• Compétences des étudiants
• Ethique
• Travail en groupe
• Modélisation
• Transfert
• Analyse

14
Commentaires reçus

• Sur 101 réponses, 17 commentaires.
• Les problèmes les plus cités sont
• Problèmes organisationnels coût en temps,
  gestion chaotique, moyens en personnel et
  formation (7).
• Evaluations fréquence, forme (5).
• Gestion des travaux de groupe (4).
• On ne met plus assez laccent sur certaines
  notions théoriques de base (3).

15
Contexte facultaire (1)

• Plus un enseignant estime bénéficier dun
  accompagnement pédagogique adéquat (ex. IPM),
  plus il se sent efficace.
• Plus un enseignant se sent efficace,
• plus il simplique dans son enseignement
• plus il rapporte des pratiques centrées sur
  lapprenant.

16
Contexte facultaire (2)

• Plus un enseignant perçoit que lenseignement est
  valorisé dans sa faculté,
• plus il est satisfait dexercer son métier
• plus il a une vision de limpact de la réforme.
• Par rapport au personnel académique, le personnel
  scientifique
• a une vision moins positive du contexte
  facultaire
• simplique moins dans lenseignement.

17
Discussion des résultats

• La réforme est liée à des changements de
  pratiques conformes aux recommandations de la
  littérature scientifique.
• Limpact perçu de la réforme est globalement
  positif.
• Des problèmes de régulation sont signalés.
• Importance du contexte facultaire pour
  limplication des enseignants.

18
Evaluation de limpact de Candis 2000 sur les
étudiants

• Résultats des deux premiers recueils de données
• Chaire de pédagogie universitaire Groupe impact

19
Objectif de cette évaluation

• Caractériser de la manière la plus précise et
  objective possible
• limpact de lintroduction de Candis 2000
• sur les étudiants, par rapport aux objectifs
  fixés.

20
Plan de recherche
3 techn A
2 techn A B
1 techn A B C
2 candi B C E
1 candi C E
2001 2002 2003
21
Variables de létude

• Motivations (buts, self-efficacy)
• Perceptions du dispositif
• Méthodes de travail (auto-régulation)
• Stratégies détude
• Travail en groupe
• Quantité de travail
• Satisfaction

22
Méthode

• Choix des variables
• Théories
• Objectifs de formation
• Revue de la littérature
• Groupe dexperts
• Enseignants
• Prétest
• Analyses psychométriques

23
Cadres théoriques pour lanalyse des pratiques
pédagogiques

• Centrés sur lapprentissage et le transfert
• Travaux sur la  cognition située   (Greeno,
  1994 Brown, Collins Duguid, 1989)
• Centrés sur la motivation et lengagement
• Travaux de Deci Ryan (Ryan, Sheldon, Kasser
  Deci, 1996 )

24
Construction de loutil (1)

• Compilation ditems
• Ames et Archer (1988) Anderman et Young (1994)
  CUTL McGill, 1997  Frenay Bedard, 2002 
  Galand, 2001 Meece, 1991  Ramsden, 1988 
  Roeser et al. (1996)
• Sélection par groupe dexperts
• Formulation avec enseignants
• Prétest (individuel collectif)

25
Construction de loutil (2)

• AFE par cadre théorique
• AFE sur tous les items restants cohérence
  interne
• Réplication sur un autre échantillon
• AFC
• Validité convergente et divergente

26
Taux de réponse
27
Pratiques denseignement

• Transfert (6 items)
• Ex. les enseignants nous montrent les
  applications pratiques possibles de notre
  formation les enseignants utilisent des
  exemples concrets pour expliquer les concepts.
• Evaluation (5 items)
• Ex. les notes que lon obtient correspondent
  bien à linvestissement fourni par les étudiants
  le contenu des examens ou des interrogations
  est cohérent par rapport aux objectifs des
  enseignements.

28
Méthode de travail

• Sources dinformation (4 items)
• Ex. Si je ne comprends pas bien un texte à
  étudier, jessaie de trouver dautres références
  sur le sujet.
• Planification de létude (4 items)
• Ex. Jétablis un horaire de manière à répartir
  adéquatement mon temps détude.

29
Stratégie détude

• Esprit critique (4 items)
• Ex. Je tire mes propres conclusions à partir des
  données présentées dans les enseignements.
• Répétition (3 items)
• Ex. Jessaie dapprendre mot à mot le contenu
  des cours.

30
Précision satistique

• Dans les analyses qui suivent, les échelles
  obtenues ont été regroupées au moyen danalyses
  factorielles de second ordre.

31
Comparaison en 1 technique

• Comparaison entre
• les étudiants de lancien programme
• les étudiants du nouveau programme.
• Enchantillons équivalents en termes de
• Taux de participation.
• Motivations.

32
Perceptions de la formation en candis

• Soutien académique
• Les étudiants issus du nouveau programme disent
  avoir été beaucoup plus soutenus dans leur
  apprentissage (plus de liens entre théorie et
  applications, plus découte et déchanges).
• Structure organisationnelle
• Les étudiants issus du nouveau programme
  rapportent davantage de problèmes
  organisationnels (surcharge de travail, manque de
  cohérence).

33
Méthodes de travail en 1 techn

• Autonomie
• Les étudiants issus du nouveau programme
  rapportent utiliser davantage de méthodes
  demandant un niveau élevé dautonomie (surtout
  recherche dinfos et vérification).
• Cette différence sexplique par leur perception
  du soutien académique en candis ().
• Concentration et persévérance
• Pas de différence

34
Programme
Autonomie
Perception
Programme
Autonomie
Perception
35
Stratégies détude en 1 techn

• Traitement en profondeur
• Les étudiants issus du nouveau programme disent
  faire plus appel à des stratégies de traitement
  en profondeur (surtout esprit critique).
• Cette différence sexplique par leur perception
  du soutien académique en candis ().
• Traitement en surface
• Les étudiants issus du nouveau programme disent
  faire moins appel à des stratégies de traitement
  en surface (surtout étude par cœur).

36
Travail en groupe et Satisfaction

• Travail en groupe en 1 techn
• Pas de différence concernant support social
  entre étudiants, attitude face au travail en
  groupe, demande daide.
• Satisfaction vis-à-vis de la formation en général
• Les étudiants du nouveau programme sont
  légèrement moins satisfaits.
• Cette différence sexplique par leur perception
  de la structure organisationnelle en candis (-).

37
Quantité de travail en 1 techn

• Heures de travail en dehors des séances
  encadrées.
• Les étudiants du nouveau programme rapportent
  plus dheures de travail.
• Cette différence sexplique par leur perception
  du soutien académique en candis ().
• Fréquentations des activités académiques.
• Les étudiants du nouveau programme rapportent une
  fréquentation plus élevée.
• Cette différence sexplique par leur autonomie
  ().

38
Et par rapport aux autres années?

• Les différences entre les deux recueils de
  létude sont systématiquement plus grandes entre
  les deux techniques quentre les candis.

39
Exemples (1)
40
Exemples (2)
41
Et par rapport aux autres années?

• Les différences entre les deux recueils de
  létude sont systématiquement plus grandes entre
  les deux techniques quentre les candis.
• Ceci soutient lidée dun effet de la réforme
  plutôt que dune simple fluctuation annuelle.

42
A qui profite la réforme?

• Etudiants divisés en 4 sous-groupes suivant leur
  profil motivationnel
• A risque Compétition Apprendre Mixte
• Ce sont les étudiants qui ont le profil le plus
  faible qui bénéficient le plus du nouveau
  programme.
• Aucun sous-groupe nest pénalisé.

43
Discussion des résultats (1)

• Sur une série de variables documentées comme
  étant déterminantes pour la qualité des
  apprentissages, les étudiants du nouveau
  programme obtiennent des résultats supérieurs à
  ceux des étudiants de lancien programme.

44
Discussion des résultats (2)

• Ces différences se manifestent de manière
  spécifique entre les groupes détudiants ayant
  suivi des programmes différents.
• Ces différences sont attribuables à des
  changements dans la perception du dispositif de
  formation.
• Ces changements vont dans le même sens que les
  pratiques rapportées par les enseignants.

45
Discussion des résultats (3)

• MAIS les étudiants du nouveau programme
  soulignent une surcharge de travail et un
  problème de cohérence.
• Ces problèmes ont des répercussions sur le niveau
  de satisfaction des étudiants.
• Ces problèmes rejoignent ceux soulevés dans les
  commentaires des enseignants.

46
Discussion des résultats (4)

• Les aspects relatifs au travail en groupe
  rapportés pas les étudiants ne paraissent pas
  avoir été affectés par la réforme.
• La réforme a principalement bénéficié aux
  étudiants les plus vulnérables dun point de vue
  motivationnel, et ce sans pénaliser dautres
  types détudiants.

47
Implications pédagogiques (1)

• Renforcer les pratiques qui permettent de faire
  des liens entre théorie et applications.
• Renforcer les pratiques qui permettent une grande
  disponibilité des enseignants et des échanges
  soutenus avec les étudiants.

48
Implications pédagogiques (2)

• Améliorer la cohérence du programme, entre autres
  dans le but de réduire la surcharge de travail
  des étudiants et des enseignants.
• Améliorer la cohérence des évaluations.
• Sinterroger sur les modalités du travail en
  groupe ?

49
En guise de conclusion

• Les résultats sont nets et convergents.
• La portée des résultats de cette recherche sera
  encore plus grande quand nous disposerons de
  lensemble des données.
• Ces résultats ne constituent quun critère parmi
  dautres pour évaluer une réforme.

50
Perspectives

• Prise en compte des variables de contrôle, de
  lépreuve critériée et du questionnaire
  enseignants
• Analyses par clusters
• Etude qualitative
• Transition secondaire / APP
• Analyses longitudinales
• Extansion à dautres facultés