Diapositive 1

1
Faculté de médecine Bureau dévaluation Docimologi
e appliquée aux sciences de la santé
QCM - QROC
Atelier
Serge Normand, M.A. Docimologue
2
Faculté de médecine Bureau dévaluation Atelier
de formation pédagogique
Docimologie
1
Normes recommandées pour la rédaction de
questions de type QCM et QROC
3
Faculté de médecine Bureau dévaluation Atelier
de formation pédagogique
Docimologie
2
Lanalyse ditemsune technique
docimologiquepour valider des questions dexamen
4
Faculté de médecine Bureau dévaluation Docimologi
e appliquée aux sciences de la santé
Normes recommandées pour la rédaction de
questions
Serge Normand, M.A. Docimologue avec la
collaboration de Michel Girard, MD, MHPE, FRCP(C)
5
Références

• WOOD, Tim et Gary COLE, Lélaboration de
  questions à choix multiple pour les examens
  menant au certificat du Collège royal des
  médecins et chirurgiens du Canada, Septembre
  2001.
• Directives pour lélaboration de questions à
  réponses courtes, Janvier 2003.

• CASE, Susan M. and David B. SWANSON, Constructing
  Written Test Questions For the Basic and Clinical
  Sciences, NBME, Philadelphia, 2001.

La plupart des exemples citées proviennent de ces
sources
6
www.medbev.umontreal.ca/docimo/atelier.htm
7
Question à réponse ouverte courte
8
QCM Questions à choix multiplesMCQ
Multiple-Choice QuestionsQCR Questions à choix
de réponses
9
Classification des QCMUtilisation au NBME depuis
1953
type R
Contexte clinique
type K
Raisonnement
type B
Interprétation
type A
Rappel de connaissances
10
Types de questions prônéespar les organismes de
certification( QCM-A et QCM-R )
11
Difficultés observées avec le modèle VRAI ou
FAUXQCM de type K
Un enfant qui souffre dune crise aiguë de fièvre
rhumatismale présente habituellement (1) un
temps de sédimentation allongé (2) un intervalle
PR allongé (3) un titre dantistreptolysine O
élevé (4) des nodules sous-cutanés
Principales critiques
Difficile dévaluer le jugement clinique en terme
de Vrai ou Faux
1 F 2 V ? C 1 V 2 F ? B 4 V 3 F ? D 4 F 2
F ? B
Difficile décrire des compléments absolument
vrai ou faux sans tomber dans la futilité
12
Format dune QCM bien conçue
Vignette ( Stem )
Un patient de 32 ans se plaint de faiblesse des
extrémités depuis 4 jours. Sa température est
37,8 C, son pouls est 94/min, sa PA 130/80 mmHg.
La respiration est superficielle à 42/min. Il a
une faiblesse symétrique des muscles du visage et
des muscles proximaux et distaux des extrémités.
La sensibilité est normale. Les réflexes
ostéo-tendineux sont absents. Les réflexes
plantaires sont en flexion.
1
Question ( Lead-in )
2
Parmi les diagnostics suivants, quel est le plus
probable?
Compléments ( Options )
A- Encéphalomyélite aiguë disséminée B- Syndrome
de Guillain-Barré C- Myasténie grave D- Polyomyéli
te E- Polymyosite
3
13
Gabarit dune QCM bien conçue
Vignette
Vignette (corps de la question) LONGUE
1
Question
2
Compléments
Complément COURT
Les compléments ne doivent pas transmettre de
nouvelles informations Il ne devrait pas y avoir
de verbes
Complément COURT
3
Complément COURT
Complément COURT
Complément COURT
14
Caractéristique dune QCM bien conçue
On peut répondreà la question avant de lire les
compléments
15
Caractéristique dune QCM bien conçue
Continuumpourla meilleure réponse
16
Choisir un contexte
Sujet Syndrome de Turner
Contexte Examen physique
Une femme de 18 ans présente une aménorrhée
primaire. Lequel des signes suivants oriente le
mieux vers un diagnostic du syndrome de Turner
? A- Hypertension B- Hirsutisme C- Petite
taille D- Épicanthus E- Organes génitaux externes
normaux
Contexte Diagnostic
17
Gabarits de questions QCM

• Le gabarit définit la structure globale dune
  question. Il est possible de créer plusieurs
  questions à laide du même gabarit. Par exemple,
  le gabarit suivant pourrait servir à rédiger une
  série de questions portant sur lanatomie
  macroscopique.
• Un (description du patient) est incapable de
  (incapacité fonctionnelle). Où se situe le plus
  probablement sa blessure?
• Voici une question qui pourrait être rédigée à
  laide de ce gabarit.
• Un homme de 65 ans a de la difficulté à se
  relever dune position assise et à redresser le
  torse, mais il na aucun problème à fléchir les
  jambes. La blessure se situe le plus probablement
  sur lequel des muscles suivants
• A. Grand fessier
• B. Petit fessier
• C. Ischio-jambier
• D. Psoas-iliaque
• E. Obturateur interne

18
Gabarits de questions QCM( sciences
fondamentales )

• Plusieurs questions en sciences fondamentales
  peuvent être présentées dans le contexte dun
  scénario donnant le profil du patient, qui peut
  comporter certaines ou lensemble des composantes
  suivantes
• Âge, sexe (par ex. un homme de 45 ans)
• Contexte des soins (par ex. se présente à
  lurgence)
• Plainte invoquée (par ex. à cause dun mal de
  tête)
• Durée (par ex. qui persiste depuis deux jours).
• Antécédents du patient (et de sa famille?)
• Observations physiques
• /- Résultats des épreuves diagnostiques
• /- Traitement initial, observations
  subséquentes, etc.

19
Faculté de médecine Bureau dévaluation Atelier
de formation pédagogique
Exercice pratique
Rédigez une question QCM de type A
20
QROC Questions à réponse ouverte courte
Il s'agit d'une question à laquelle on peut
répondre en quelques mots ou phrases. Dans le cas
dune question comportant des sous-questions, la
réponse à chacune de celles-ci doit pouvoir être
exprimée en quelques mots ou phrases.

• Nommez trois causes possibles de lindigestion
• _________________________
• _________________________
• _________________________

La QROC se distingue surtout de la question à
développement court par le fait qu'elle n'exige
qu'un seul élément d'information comme réponse.
21
QROC Questions à réponse ouverte courte
Il faut différencier la question à réponse courte
de la question à développement court qui prévoit
une réponse plus longue et moins structurée (une
ou deux phrases à un ou deux paragraphes).
Voici un exemple,d'une question à développement
court Discutez des avantages du traitement
XYZ pour le problème ABC .
La réponse à une question à développement court
prévoit plusieurs éléments d'information alors
que la QROC nexige qu'un seul élément
d'information comme réponse
22
QROC Questions à réponse ouverte courte
Un malade âgé de 45 ans, atteint d'un cancer
épidermoïde du nasopharynx, présente des
métastases ganglionnaires qui compriment tous les
nerfs qui traversent le trou déchiré postérieur
d'un même côté de la base du crâne. Décrivez
brièvement les TROIS signes neurologiques les
plus probables chez ce sujet. a)
____________________________________ 3 b)
____________________________________ 3 c)
____________________________________ 3
23
QROC Questions à réponse ouverte courte
Un malade âgé de 45 ans, atteint d'un cancer
épidermoïde du nasopharynx, présente des
métastases ganglionnaires qui compriment tous les
nerfs qui traversent le trou déchiré postérieur
d'un même côté de la base du crâne. Décrivez
brièvement les TROIS signes neurologiques les
plus probables chez ce sujet. a)
____________________________________ 3 b)
____________________________________ 3 c)
____________________________________ 3
Modèles de réponse
POINTS a) Paralysie de la partie
droite du voile du palais 3 b) Paralysie de la
corde vocale droite 3 c) Paralysie du
sterno-cleido-mastoïdien droit 3 (perte du
réflexe nauséeux ou pharyngé à droite) 3 (difficu
lté à avaler à droite) 2
24
Faculté de médecine Bureau dévaluation Atelier
de formation pédagogique
Exercice pratique
Rédigez une question QROC avec modèles de
réponses
25
QCM Questions à choix multiplesMCQ
Multiple-Choice QuestionsQCR Questions à choix
de réponses
26
Question QCM de type A

• Quelle est la cause de mort la plus fréquente
  dans la pancréatite aiguë?
• A- Le choc.
• B- La fibrillation ventriculaire.
• C- Lhémorragie.
• D- Linfection.
• E- Lobstruction intestinale.

27
Question QCM de type A (avec vignette)

• Un patient de 32 ans se plaint de faiblesse des
  extrémités depuis 4 jours. Sa température est
  37,8 C, son pouls est 94/min, sa PA 130/80 mmHg.
  La respiration est superficielle à 42/min. Il a
  une faiblesse symétrique des muscles du visage et
  des muscles proximaux et distaux des extrémités.
  La sensibilité est normale. Les réflexes
  ostéo-tendineux sont absents. Les réflexes
  plantaires sont en flexion.
• Quel est le diagnostic le plus probable?
• A- Encéphalomyélite aiguë disséminée
• B- Syndrome de Guillain-Barré
• C- Myasténie grave
• D- Polyomyélite
• E- Polymyosite

28
Question QCM de type B
Directives Pour chacun des énoncés identifiés par
un chiffre, associez une option identifiée par
une lettre.Chaque option peut être choisie une
seule fois, plus dune fois ou pas du tout.
A- Coactation de laorte B- Persistance du canal
artériel C- Tétrallogie de Fallot D- Anneau
vasculaire aortique E- Atrésie tricuspidienne
1- Amélioré par une anastomose artérielle
systémique-pulmonaire 2- Pathologie congénitale
cardiaque cyanogène la plus fréquente 3- Corrigé
par résection chirurgicale et anastomose
bout-à-bout. 4- Cause possible de dysphagie chez
lenfant 5- Hypertension dans les membres
supérieurs et hypotension dans les membres
inférieurs
29
Question QCM de type K

• Un enfant qui souffre dune crise aiguë de fièvre
  rhumatismale présente habituellement
• (1) un temps de sédimentation allongé.
• (2) un intervalle PR allongé.
• (3) un titre dantistreptolysine O élevé.
• (4) des nodules sous-cutanés.

30
Question QCM de type R
Thème
Fatigue
H Sphérocytose congénitale I Hypothyroïdie J Dé
ficit en fer K Maladie de Lyme L Anémie hémol.
microangiopathique M Tuberculose miliaire N
Déficit en vitamine B12
Compléments
A Leucémie aiguë B Anémie des mal.
chroniques C Insuffisance cardiaque D Dépression
E Infection virus Epstein-Barr F Déficit en
folate G Déficit en G-6-PD
Pour chacun des patients, présentant de la
fatigue, choisir le diagnostic le plus probable.
Question

1. Une femme de 19 ans décrit de la fatigue, de la
   fièvre et un mal de gorge depuis une semaine. Sa
   température est 38,3C. Elle présente les
   adénopathies cervicales et une splénomégalie. Le
   décompte des leucocytes est 5000/mm3 (80 lympho.
   dont plusieurs présentent des atypies) Autres
   labo ...
2. Un garçon de 15 ans décrit de la fatigue et de la
   douleur au dos depuis 2 semaines. Il est couvert
   decchymoses, est pâle et ses vertèbres et fémurs
   sont sensibles à la palpation. Lhémoglobine est
   à 70 g/l, les leucocytes à 2000/mm3 et les
   plaquettes à 15,000 mm3.

Vignettes
31
Évaluer la compétence professionnellePyramide de
Miller
Comportement Behaviour
Savoir Cognition
Source Miller GE. The assessment of clinical
kills/competence/performance. Academic Medicine
(Supplement) 1990 65 S63-S7.
32
Évaluer la compétence professionnelleTypes
dinstruments
Performance in vivo PS. incognito, Vidéo,
Dossiers Portfolio
Performance in vitro ECOS, Ex. PS.
Épreuves à contenus cliniques QCM, Q. dév., Ex.
oral
Épreuves factuelles QCM, Ex. écrit, oral
Source Miller GE. The assessment of clinical
kills/competence/performance. Academic Medicine
(Supplement) 1990 65 S63-S7.
33
Instruments dévaluationCurriculum de Dundee
Source DAVIS, M.H. OSCE the Dundee experience,
Medical Teacher 2003 25(3) 255-261
34
Caractéristiques dune QCM bien conçue
Vignette ( Stem )
Un patient de 32 ans se plaint de faiblesse des
extrémités depuis 4 jours. Sa température est
37,8 C, son pouls est 94/min, sa PA 130/80 mmHg.
La respiration est superficielle à 42/min. Il a
une faiblesse symétrique des muscles du visage et
des muscles proximaux et distaux des extrémités.
La sensibilité est normale. Les réflexes
ostéo-tendineux sont absents. Les réflexes
plantaires sont en flexion.
Question ( Lead-in )
Parmi les diagnostics suivants, quel est le plus
probable?
Compléments ( Options )
A- Encéphalomyélite aiguë disséminée B- Syndrome
de Guillain-Barré C- Myasténie grave D- Polyomyéli
te E- Polymyosite
D C A E

B
La moins correcte
La plus correcte
35
Documentation
COLLÈGE ROYAL DES MÉDECINS ET CHIRURGIENS DU
CANADA, Lélaboration dun plan directeur d'un
examen ProMEDS, Janvier 2003. (Source 
PDF) COLLÈGE ROYAL DES MÉDECINS ET CHIRURGIENS
DU CANADA, Directives pour lélaboration de
questions à réponses courtes, Janvier 2003.
(Source  PDF) COLLÈGE ROYAL DES MÉDECINS ET
CHIRURGIENS DU CANADA, Lélaboration de questions
à choix multiples pour les examens menant au
certificat du Collège royal des médecins et
chirurgiens du Canada, Septembre 2001.(Source 
PDF) CONSEIL MÉDICAL DU CANADA, Rédaction de
problèmes à éléments-clé pour lexamen daptitude
au raisonnement clinique (Q4), Septembre 1999.
(Source  PDF) CASE, Susan M. and David B.
SWANSON, Constructing Written Test Questions For
the Basic and Clinical Sciences, NBME,
Philadelphia, 2001. (Source PDF) GIRARD,
Michel et Serge NORMAND, Guide de lecture dun
rapport danalyse ditems, Bureau dévaluation,
Faculté de médecine, Université de Montréal,
2001. (Source PDF) NORMAND, Serge, AnItem,
Logiciel pour effectuer une analyse ditems via
le chiffrier Excel, versions PC et Mac, Bureau
dévaluation, Faculté de médecine, Université de
Montréal, 2001.(AnItem.xls) (MacAnItem.xls)
(Exemple de fichier de saisie.xls) NORMAND,
Serge, Lanalyse ditems, une technique
docimologique pour valider des questions
dexamen, Diaporama du mode demploi du logiciel
AnItem, Bureau dévaluation, Faculté de médecine,
Université de Montréal, 2001. (Source  PDF)
36
Merci de votre attention !
http//www.medbev.umontreal.ca/docimo
serge.normand_at_umontreal.ca