Title: Utilisation de la m
1Utilisation de la méthodeLQRT - SAFE(Lecture /
Questions - Réponses / Test Système Adulte de
Formation et dÉvaluation) en médecine
vétérinaire.
Service dObstétrique et Pathologie de la
Reproduction des ruminants, équidés et
porcs,Faculté de Médecine Vétérinaire,
Université de Liège, Prof. C. Hanzen
2Déroulement dun LQRT1
- Lecture
- Questions - Réponses
- Test
- Outils dévaluation
- Pré-test entraînement, conception
- Post-test feed-backs, indices de qualité et
métacognitifs
1LQRT-SAFE ou TASTE approach Leclercq, 1971,
93, 98
3Pourquoi le LQRT ?
- Sondage auprès des étudiants
- Système dévaluation complémentaire de lexamen
oral de fin dannée - Demande du professeur
- Augmenter la participation au cours
- Forcer les étudiants à étudier pendant lannée
- Médiation pédagogique
- Centrer et responsabiliser létudiant
- Mise en place dune stratégie dévaluation
- Travail en compréhension durant lannée
- Synthèse et connaissances en fin dannée
4Public des LQRT
- 200 étudiants en 5e année de médecine vétérinaire
(formation de 6 ans) - Première année concernant les pathologies
spécifiques aux différentes espèces - 5 séances de 3 heures sur 55 heures de cours
(27) - Sélection des chapitres
- les plus importants aux yeux du professeur
- qui posent le plus de problèmes à loral
- où la compréhension prime sur la connaissance
5Déroulement dun LQRT
Lecture
- Côté étudiant
- Formation centrée sur létudiant
- Préparation du cours par une lecture en
compréhension - Côté professeur
- notes de cours, ouvrages de référence,
- définition des points denseignement
- en terme de matière à préparer
- en terme dimportance relative
- en terme de performances cognitives attendues
6Points denseignement
Lecture
- Points denseignement dun chapitre des notes de
cours du du professeur Hanzen - 100 chapitre ou paragraphe essentiel.
- 75 chapitre ou paragraphe important.
- 50 les principaux points du chapitre ou
paragraphe. - 25 les mots clés du chapitre ou paragraphe.
7Déroulement dun LQRT
Question-Réponse en amphithéâtre
- Côté étudiant
- oriente le contenu du cours par ses questions
- focalise la formation sur les points lui posant
problème - prend conscience de mauvaise compréhension par
les questions des autres étudiants - Côté professeur
- libéré du devoir de couvrir toutes la matière
- développe sa réponse en fonction de limportance
du point denseignement concerné par la question
et archivage épisodique
8Déroulement dun LQRT
Test
- Remarques générales
- Outils utilisés
- Pré-test
- des étudiants
- du professeur
- Post-test
- Feed-backs immédiat et retardé
- Indices de qualité du test
- Indices métacognitifs
9Remarques générales
Test
- Justifications manuscrites libres et uniquement
positives
- Caractère formatif grace aux feed-backs
- Caractère certificatif dans la stratégie
dévaluation - Côté professeur
- Test de compréhension
- Mesure de la qualité du transfert
- Correction précoce en cas de problème de
compréhension
10Évaluer la compréhension
Outils
- , lanalyse et le jugement-évaluation (Bloom,
1969) - Tests à Livres Ouverts
- permettent d éliminer les questions de
connaissance (évocation ou rappel) pour favoriser
les autres niveaux taxonomiques
- QCM Questions à Choix Multiples
- évaluation standardisée (justifications)
- facilité de correction (200 étudiants) ( oral)
- Compréhension analyse SGI
- Jugement DC
11Les S.G.I.
Outils
- Les Solutions Générales Implicitesen plus des
solutions habituellement proposées, quatre
possibilités
- Rejet aucune solution proposée nest correcte,
- Toutes toutes sont correctes,
- Manque il manque des données dans lénoncé
pour que lon puisse choisir UNE solution comme
correcte (Rimbaud), - Absurdité il y a une contre-vérité dans
lénoncé à dénoncer en priorité ! (Napoléon
Jules C.)
- évaluer des niveaux taxonomiques plus élevés que
la connaissance - éviter lidentification de la réponse correcte
(recognition) par hasard - détecter les incohérences, les lacunes, les
contradictions sans être mis sur la voie, - stimuler la vigilance factuelle (Aller
spontanément au-delà du donné, accéder à
limplicite), - combattre le curriculum caché (Ce que personne
nenseigne, mais que tout le monde apprend) - habituer aux situations où plusieurs solutions
sont correctes
12Les Degrés de Certitude
Outils
- Niveau Jugement - Évaluation
- Savoir ce que l on sait,
- savoir ce que l on ne sait pas
- et savoir à quel point on sait ou pas
- Fournir à létudiant des indices métacognitifs de
sa performance - Fournir à lenseignant des indices de qualité
- sur son test et
- sur son enseignement
13Entraînement sur le web
Pré-Testétudiants
- Aspécifique
- Aux degrés de certitude GUESS
- Aux SGI-DC Cureghem sur TIMI
- Spécifique
- QCM-SGI-DC propres à la matière
14Conception des QCM
Pré-Testprofesseur
- Rédaction
- Test à livres ouverts
- Q de compréhension
- Utilisation des SGI manque absurde
- Sélection en accord aux objectifs
15Démarche
Post Test
- Sortie du test
- Feed-back immédiat réponses correctes
commentées - Commentaires à chaud des étudiants
- Lecture et traitement informatique
- Score de létudiant et indices métacognitifs
- Lecture des justifications
- Indices de qualité du test
- Feed-back retardé en amphithéâtre
- Sur le web démarche et résultats
16Indices métacognitifs
Post Test étudiants
SOUS estimation
- le calcul dindices de réalisme deSUR et SOUS
estimation
SUR estimation
17Calcul dindices métacognitifs
Post Test étudiants
Brier, 1950 Adams Adams, 1961 Oskamp, 1962
Murphy 1972, 73, 74 Lichtenstein et al, 1977
Leclercq, 1983
- Tendance à être proche de la diagonale idéale (de
0 à 1) - Centration ? écarts
- Tendance à la sur () ou sous (-) estimation (de
-1 à 1) - Cohérence Taux de succès croissant en
confidence croissante - Acuité Tendance à diversifier son jugement
Pondéré par le nombre dutilisation de la
certitude
18Évolution des indices
Réalisme Centration
bon
moy
Tous les étudiants
19Indices de qualitédes tests QCM
Post Test professeur
- Subjectifs
- Commentaires des étudiants
- La fréquence des justifications
- Objectifs
- r.bis basé sur la réussite du test
- r.bis spectral basé sur le réalisme
- Conséquence
- Autres RC collectives ou individuelles
- Retrait de certaines QCM
20Analyse spectrale
Post Test Les deux
- Graphe de distribution des RC RI par classe de
certitude
Jans Leclercq, 1999
21Analyse spectrale
Post Test Les deux
- Graphe de distribution des RC RI par classe de
certitude - Tous lesétudiantsont un tauxdexactitudede 80
22Analyse spectrale
Post Test Les deux
- Graphe de distribution des RC RI par classe de
certitude
23Mesures des tests LQRT
Tous les étudiants
- Connaissances
- dangereuses
- utilisables
- inutilisables
24Conclusions
FIN -3
- EvalEns par les étudiants
- Critiques
- Gains
- en compréhension 43 davis favorables
- en connaissance 50 davis favorables
- Taux de participation aux questions
- Utilisation des outils dauto-évaluation
25Perspectives 2001-2002
FIN -2
- Modification des LQRT en
- augmentation de L et Q-R et
- diminution de T
- Réduction de 5 à 3 séances LQRT
- Mise à jour des notes
- Estimation de son examen oral
- Estimer sa note pour la partie QROL
- Intervention de la justesse de lestimation et du
réalisme acquis durant lannée dans la note de la
partie QROL
26Perspectives 2002-2003
FIN -1
- Activités dapprentissage
- L toujours,
- parfois Q-R parfois T
- parfois T puis soit Q-R soit ex cathedra
- parfois ex cathedra (ou pas de cours si pas Q)
- Mise à jour des notes et des PE
- Évaluation
- Formative avec des outils de résolution de
problème associé aux QCM de connaissance - Modification du tarif des certitudes toujours
bénéfique dêtre réaliste - Testing en sommation et dispensatoire
27Adresse
Jean-Loup Castaigne Tél 04 / 366 41
72 oga.fmv_at_ulg.ac.be http//www.fmv.ulg.ac.be/oga
/
OGA-B42 20, Bd de Colonster 4000 Liège
Service d Obstétrique et Pathologie de la
Reproduction des ruminants, équidés et porcs et
pathologie de la mamelle de la vache
laitière, FMV, ULg Prof. C. Hanzen
(Christian.Hanzen_at_ulg.ac.be)