Application du cycle gestion qualit

1
Application du cycle gestion qualité S.M.A.R.T.
des tests pédagogiques dans le cours
dObstétrique et de Pathologie de la Reproduction
des ruminants, équidés et porcins

• Jean-Loup Castaigne1 Jean-Luc Gilles2
• 1 Service d Obstétrique et Pathologie de la
  Reproduction des ruminants, équidés et porcs et
  pathologie de la mamelle de la vache laitière,
  FMV, ULg
• Prof. C. Hanzen
• 2 Service de Technologie de lÉducation
  S.M.A.R.T., FAPSE, ULg
• Prof. D. Leclercq

2
Cycle gestion qualité S.M.A.R.T. des tests
pédagogiques
Gilles Leclercq, 1995
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
3
Cycle gestion qualité S.M.A.R.T. des tests
pédagogiques
2.Mise en forme de l épreuve
Modalités de Questionnement, assemblageet
équilibrage (binômes trinômes)
3.Construction des Questions
Indices de Qualité
8. Régulation du processus
4. Entraînement des étudiants
Recueil et analyse des avis des étudiants,
propositions d améliorations
on line TIMIen amphi BVE ou Formuloms
7. Feedback aux étudiants
On-line ou en amphi
5. Mise en œuvre de l épreuve
6. Correction de l épreuve
Matériel, Timing, procédures anti-fraude
On-line DC, sévérité, réalisme, r.bis, ...
Gilles Leclercq, 1995
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
4
1. Analyse de l enseignement
1.1 Définir les Points Enseignés PE Isoler
chaque module assez important pour justifier
d une évaluation et en quantifier l importance
1.2 Définir les Catégories de Performance
CP Quelles sont les mesures que l enseignant
va prendre lors de l évaluation de l apprenant ?
1.3 Relier les Points Enseignés et les Catégories
de Performance PE x CP Pour chaque PE défini,
quelle CP permettra d en apprécier la bonne
transmission vers l apprenant
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
5
1.1 Définir les Points EnseignésPE
1. Analyse de l enseignement
Isoler chaque module assez important pour
justifierd une évaluation et en quantifier
l importance
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
6
1.2 Définir les Catégoriesde Performance CP
1. Analyse de l enseignement
Quelles sont les mesures que l enseignant va
prendre lors de l évaluation de l apprenant ?
Exemples Cp en OGA
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
7
1.3 PE x CP
1. Analyse de l enseignement
Relier les Points Enseignés et les Catégories de
Performance Pour chaque PE défini, quelle CP
permettra d en apprécier la bonne transmission
vers l apprenant ? C est le premier binôme.
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
8
Cycle gestion qualité S.M.A.R.T. des tests
pédagogiques
2.Mise en forme de l épreuve
1. Analyse de l enseignement
Modalités de Questionnement, assemblageet
équilibrage (binômes trinômes)
Points Enseignés, Catégories de Performances
3.Construction des Questions
Indices de Qualité
8. Régulation du processus
4. Entraînement des étudiants
Recueil et analyse des avis des étudiants,
propositions d améliorations
on line TIMIen amphi BVE ou Formuloms
7. Feedback aux étudiants
On-line ou en amphi
5. Mise en œuvre de l épreuve
6. Correction de l épreuve
Matériel, Timing, procédures anti-fraude
On-line DC, sévérité, réalisme, r.bis, ...
Gilles Leclercq, 1995
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
9
Création des trinômes
2.Mise en forme de l épreuve

• Catégories de Conditions  ...avec degrés de
  certitude ,  ...à livre ouvert , ...

Qui vont permettre de définir des Modalités de
Questionnement (MQ) exemple  QCM avec degrés
de certitude
Les MQ peuvent être reliés aux Catégories de
Performances et former des binômes CP x
MQ exemple  mesurer la compréhension à
laide de QCM avec degrés de certitude 
ce qui donne une liste de trinômes PE x
CP x MQ
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
10
2.1 CP x MQ
2.Mise en forme de l épreuve
Création des Modalités de Questionnement MQ
assemblage des binômes CP x MQ

• Quelles modalités de questionnement utiliser ou
  ne jamais utiliser ?
• Relier la Catégorie de Performance CP
  recherchée chez l étudiant avec la/les
  Modalité(s) de Questionnement MQ choisie(s).

Exemples SGI en OGA
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
11
Répartition des CP par MQ
2.Mise en forme de l épreuve
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
12
Importance des PE
2.Mise en forme de l épreuve
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
13
Cycle gestion qualité S.M.A.R.T. des tests
pédagogiques
2.Mise en forme de l épreuve
1. Analyse de l enseignement
Modalités de Questionnement, assemblageet
équilibrage (binômes trinômes)
Points Enseignés, Catégories de Performances
3.Construction des Questions
Indices de Qualité
8. Régulation du processus
4. Entraînement des étudiants
Recueil et analyse des avis des étudiants,
propositions d améliorations
on line TIMIen amphi BVE ou Formuloms
7. Feedback aux étudiants
On-line ou en amphi
5. Mise en œuvre de l épreuve
6. Correction de l épreuve
Matériel, Timing, procédures anti-fraude
On-line DC, sévérité, réalisme, r.bis, ...
Gilles Leclercq, 1995
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
14
3.Construction des Questions
SMART a créé une liste de trinômes à retrouver
dans les questions qui
composeront cette évaluation. À l enseignant de
rédiger ou choisir les questions qui
correspondent à ces trinômes.
1) conseils méthodologiques 2) choix parmi les
références des Questions
Cette échographie de l ovaire gauche d une
vache pie noire de 6 ans, a été réalisée une
semaine après l oestrus.Votre diagnostic 1.
Un follicule de de Graaf 2. Un kyste
folliculaire 3. Un Corps Jaune 4. Un Corps Jaune
Cavitaire 5. Un artefact
PE 1.6.3. CP analyse MQ QCM SGI DC
RC 6
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
15
Cycle gestion qualité S.M.A.R.T. des tests
pédagogiques
2.Mise en forme de l épreuve
1. Analyse de l enseignement
Modalités de Questionnement, assemblageet
équilibrage (binômes trinômes)
Points Enseignés, Catégories de Performances
3.Construction des Questions
Indices de Qualité
8. Régulation du processus
4. Entraînement des étudiants
Recueil et analyse des avis des étudiants,
propositions d améliorations
on line TIMIen amphi BVE ou Formuloms
7. Feedback aux étudiants
On-line ou en amphi
5. Mise en œuvre de l épreuve
6. Correction de l épreuve
Matériel, Timing, procédures anti-fraude
On-line DC, sévérité, réalisme, r.bis, ...
Gilles Leclercq ,1995
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
16
4. Entraînement des étudiants
on line TIMI (correction)en amphi Formuloms
(exemple), BVE, ...
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
17
Cycle gestion qualité S.M.A.R.T. des tests
pédagogiques
2.Mise en forme de l épreuve
1. Analyse de l enseignement
Modalités de Questionnement, assemblageet
équilibrage (binômes trinômes)
Points Enseignés, Catégories de Performances
3.Construction des Questions
Indices de Qualité
8. Régulation du processus
4. Entraînement des étudiants
Recueil et analyse des avis des étudiants,
propositions d améliorations
on line TIMIen amphi BVE ou Formuloms
7. Feedback aux étudiants
On-line ou en amphi
5. Mise en œuvre de l épreuve
6. Correction de l épreuve
Matériel, Timing, procédures anti-fraude
On-line DC, sévérité, réalisme, r.bis, ...
Gilles Leclercq, 1995
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
18
5. Mise en œuvre de l épreuve
Matériel Timing procédure anti-fraude
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
19
Cycle gestion qualité S.M.A.R.T. des tests
pédagogiques
2.Mise en forme de l épreuve
1. Analyse de l enseignement
Modalités de Questionnement, assemblageet
équilibrage (binômes trinômes)
Points Enseignés, Catégories de Performances
3.Construction des Questions
Indices de Qualité
8. Régulation du processus
4. Entraînement des étudiants
Recueil et analyse des avis des étudiants,
propositions d améliorations
on line TIMIen amphi BVE ou Formuloms
7. Feedback aux étudiants
On-line ou en amphi
5. Mise en œuvre de l épreuve
6. Correction de l épreuve
Matériel, Timing, procédures anti-fraude
On-line DC, sévérité, réalisme, r.bis, ...
Gilles Leclercq, 1995
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
20
6. Correction de l épreuve
On-line DC, sévérité (en savoir ), r.bis (en
savoir ), r.bis spectral (en savoir ),r.bis
spectral turbo (en savoir ), réalisme (en savoir
), ...
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
21
Cycle gestion qualité S.M.A.R.T. des tests
pédagogiques
2.Mise en forme de l épreuve
1. Analyse de l enseignement
Modalités de Questionnement, assemblageet
équilibrage (binômes trinômes)
Points Enseignés, Catégories de Performances
3.Construction des Questions
Indices de Qualité
8. Régulation du processus
4. Entraînement des étudiants
Recueil et analyse des avis des étudiants,
propositions d améliorations
on line TIMIen amphi BVE ou Formuloms
7. Feedback aux étudiants
On-line ou en amphi
5. Mise en œuvre de l épreuve
6. Correction de l épreuve
Matériel, Timing, procédures anti-fraude
On-line DC, sévérité, réalisme, r.bis, ...
Gilles Leclercq, 1995
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
22
7. Feedback aux étudiants
1. Sévérité de 20 (sévérité) 2. Retrait d une
QCM à cause de son r.bis (r.bis) 3. Correction en
amphithéâtre des questions ayant posé un problème
(3 sur 15)
Présentation et analyse sommaire des résultats
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
23
8. Régulation du processus
Cycle gestion qualité S.M.A.R.T. des tests
pédagogiques
2.Mise en forme de l épreuve
1. Analyse de l enseignement
Modalités de Questionnement, assemblageet
équilibrage (binômes trinômes)
Points Enseignés, Catégories de Performances
3.Construction des Questions
Indices de Qualité
4. Entraînement des étudiants
Recueil et analyse des avis des étudiants,
propositions d améliorations
on line TIMIen amphi BVE ou Formuloms
7. Feedback aux étudiants
On-line ou en amphi
5. Mise en œuvre de l épreuve
6. Correction de l épreuve
Matériel, Timing, procédures anti-fraude
On-line DC, sévérité, réalisme, r.bis, ...
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
24
Régulation en OGA
8. Régulation du processus
Boucle de régulation1 (revoir boucles de
régulation) Courte R5 Mesure ajustée par
retrait d une QCM Longue R3 mise à jour de
la banque de QCM R2 Nouveaux projets
d évaluation
EvalEns2 d après les étudiants 1. Le mode
d évaluation le plus adéquat examen
écrit rédigé gt examen oral gt QCM (sans SGI ni
DC) 2. Un seul test global est insuffisant 3. Il
faut des tests pendant l année dont le rôle
serait modérer un problème à l oral gt
auto-évaluation gt 25 de la cote finale

• Pour l an prochain et les années suivantes...
• 1 BEV sur les prérequis avec mise à niveau
  immédiate
• 5 LQRT dont les 3 best sont sanctionnant (20 du
  cours)
• PARM sur base de volontariat (maximum 10 du
  cours)
• autres solutions pour étudiants n ayant pas
  accès au PARM

1 Leclercq, 1999, Chap 1, p 4 2 Leclercq, 1999,
Chap 1, p 9
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
25
Cycle gestion qualité S.M.A.R.T. des tests
pédagogiques
2.Mise en forme de l épreuve
1. Analyse de l enseignement
Modalités de Questionnement, assemblageet
équilibrage (binômes trinômes)
Points Enseignés, Catégories de Performances
3.Construction des Questions
Des Questions ?
Indices de Qualité
8. Régulation du processus
4. Entraînement des étudiants
Recueil et analyse des avis des étudiants,
propositions d améliorations
on line TIMIen amphi BVE ou Formuloms
7. Feedback aux étudiants
On-line ou en amphi
5. Mise en œuvre de l épreuve
6. Correction de l épreuve
Matériel, Timing, procédures anti-fraude
On-line DC, sévérité, réalisme, r.bis, ...
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
26
Adresses
Jean-Luc Gilles2 Tél 04 / 366 20 78 eMail
jl.gilles_at_ulg.ac.be http//139.165.55.45/smart/
Jean-Loup Castaigne1 Tél 04 / 366 41
72 http//www.fmv.ulg.ac.be/oga/index.html
1 Service d Obstétrique et Pathologie de la
Reproduction des ruminants, équidés et porcs et
pathologie de la mamelle de la vache laitière,
FMV, Ulg Prof. C. Hanzen (Christian.Hanzen_at_ulg.a
c.be) 2 Service de Technologie de lÉducation
S.M.A.R.T., FAPSE, Ulg Prof. D. Leclercq
(D.Leclercq_at_ulg.ac.be)
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
27
Plan des annexes

• Boucle de régulation
• Cohérence
• Correction dans TIMI
• CP en QCM pour OGA
• Formuloms
• r.bis
• r.bis spectral
• r.bis spectral turbo
• Réalisme
• Sévérité
• SGI en OGA
• Taux d exactitude et réalisme

Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
28
Exemple QCM recognition

• Le diamètre normal des cornes utérines d une
  vache ou d une génisse non gestante est
• 1. De 2,5 à 4 cm
• 2. De 1 à 2 cm
• 3. De 4 à 7 cm

Réponse correcte 1
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
29
Exemple de QCM compréhension

• Au cours du pro œstrus, l utérus de la bête
  bovine s œdèmatie ce le qui rend à la palpation
  transrectale
• 1. Plus ferme
• 2. Plus tonique
• 3. Plus flasque

Réponse correcte 1
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
30
Exemple de QCM application
Lors de l examen échographique d une vache pie
noire de 3 ans, vous mettez en évidence sur
l ovaire droit

• une structure anéchogène d une taille supérieure
  à 3 cm, à paroi mince (inférieure à 5 mm).

Votre diagnostic le plus probable sera 1. Un
corps jaune cavitaire 2. Un kyste folliculaire ou
lutéal 3. Un follicule 4. Une tumeur
1
Réponse correcte 2
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
31
Exemple de QCM SGI

• Par rapport au testicule gauche, le testicule
  droit d une génisse est
• 1. Plus grand
• 2. Plus petit
• 3. De même taille

Une absurdité ou une contre-vérité (une génisse
possède des ovaires, non des testicules) dans
l énoncé rend toute la question sans objet
réponse 9
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
32
Exemple de QCM SGI

• De combien d ovaire(s) est équipée une génisse
  BBB normalement constituée
• 1. Zéro
• 2. Quatre
• 3. Six

Aucune des solutions proposées n est correcte
puisque comme toutes les femelles mammifères,
elle a 2 ovaires réponse 6
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
33
Exemple de QCM SGI

• L utérus d une vache normalement constituée
  comprend
• 1. Le col
• 2. Le corps
• 3. Les cornes

Toutes les solutions proposées sont correctes
simultanément réponse 7
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
34
Exemple de QCM SGI

• Le taux d œstrogènes en pg/mL d une vache est
• 1. inférieur à 100
• 2. 150
• 3. supérieur à 200

Il est impossible de répondre parce que
l information (au moins une donnée le moment
dans le cycle) nécessaire manque dans l énoncé
de la question réponse 8
2
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
35
Analyses des réponses
Taux dexactitude 9 bonnes réponses sur 14
questions, soit 64 Score DC 140 / 280 soit 50

4
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
36
Boucle de Régulation
Leclercq, 1999, Chap 1, p 4
Analyses des besoins
Boucleslongues
Définition du projet
Conception
Planification
Exécution
Mesure
Action
Bouclescourtes
Rétroaction
8
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
37
Les feuilles réponses
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
38
En cas d erreur
4
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
39
Graphe de réalisme
Boxus, 1991
SOUS
6
SUR
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
40
Taux d exactitude Réalisme
Boxus, 1991
Taux d exactitude de 50
Réalisme
6
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
41
Cohérence
Boxus, 1991
6
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
42
r.bis
Indice de cohérence entre la question et le test
Leclercq, 1999, chap 10, p 44-53
Quantitatif ??pq Qualitatif Mx-Ma / ?
r.bis (Mx-Ma / ?) (??pq) En ordonnées
réduites (y p distribué normalement) r.bis
(Mx-Ma / ?) (pq / y)
r pcq coefficient de corrélation Bisérial pcq 1
variable réparti la population en 2 séries . pcq
dichotomie vraie (RC ou RI)
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
43
r.bis en pratique
15 questions r.bis repère 0,33
14 questions r.bis repère 0,27
6
Suite au retrait de la QCM 10, toutes les autres
QCM ont vu leur r.bis gagner 0,1 à 0,2 sauf la
QCM 5 qui a perdu 0,3. Cette QCM restera telle
quelle grâce à la valeur du r.bis de la SGI 8
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
44
Sévérité
Leclercq, 1993
7
6
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
45
r.bis spectral
Adapté de Leclercq, 1999, chap 10, p 44-53
6
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
46
r.bis spectralturbo
Adapté de Leclercq, 1999, et Boxus, 1991
Taux d Exactitude (revoir dia TE) Écart entre TE
et VC
6
Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000
47
Objectifs qualité du SMART

• La validité les scores des étudiants doivent
  représenter ce que lenseignant veut mesurer,
  permettre des inférences solides (validité de
  construct ou théorique), et couvrir les aspects
  importants de lenseignement (validité de
  contenu)

• La fidélité la note (dune épreuve corrigée)
  classée dans une catégorie donnée doit lêtre de
  la même façon si elle est traitée par dautres
  correcteurs (concordance interjuges) ou/et à un
  autre moment (consistance intrajuge)

• La sensibilité la mesure doit être précise,
  refléter des phénomènes subtils

• La diagnosticité les résultats doivent
  permettre le diagnostic précis des difficultés
  dapprentissage (et idéalement de leurs causes),
  des processus maîtrisés, de ceux qui ne le sont
  pas

• Léquité tous les étudiants doivent être
  traités de façon juste, en principe de la même
  façon (standardisation)

• La praticabilité la réalisation des
  évaluations doit être faisable endéans des délais
  raisonnables et à l aide des ressources en
  personnel et en matériel disponibles et
  proportionnées à limportance relative des enjeux
  

• La communicabilité les informations non
  confidentielles relatives au déroulement du
  processus doivent être communiquées et comprises
  par les partenaires (enseignants, étudiants,
  équipe SMART) engagés dans la réalisation des
  épreuves.

Castaigne Gilles, S.M.A.R.T. - O.G.A., ULG
FORM_at_SUP, mai 2000