La confection dun examen de qualit

1
La confection dun examen de qualité

• Louise Arsenault
• Responsable du Bureau danimation et de soutien à
  lenseignement (BASE)
• Faculté des sciences et de génie, Université
  Laval
• Consultante en évaluation pour la révision du
  programme de 1er cycle en médecine
• Faculté de médecine, Université Laval

Université de Moncton, Moncton, le 4 mai 2006
2
 To assess  évaluer

• Lorigine littéraire de cette expression
  signifielate MEltMLltL assess(us) ptp. of
  assidere (as sidere) (1)

•  To sit down beside 

Pour plus dinformations
(1) Alverno College Faculty. Student
Assessment-as-Learning at Alverno College (1994)
p.1
3
But de la formation

• Permettre à chaque participant de construire un
  examen possédant de grandes qualités
  métrologiques.

4
Résultats attendus

• Reconnaître limportance des objectifs, de la
  planification du cours à lévaluation des
  apprentissages des étudiants 
• Construire un examen dont la note remise aux
  étudiants traduit bien leurs apprentissages face
  aux objectifs dun cours.

5
Les deux qualités essentielles de la mesure

• VALIDITÉ (contenu)
• La plus importante
• Lensemble des questions de votre examen (votre
  situation d évaluation) représente-t-il bien vos
  objectifs spécifiques?

• FIDÉLITÉ
• Les résultats de l'examen (ou autres moyens)
  sont-ils stables?
• La note (rétroaction) de l'étudiant ou de
  l'étudiante lui ressemble

6
Comment m'assurer d une bonne validité?

• Déterminer les objectifs spécifiques que l'on
  veut mesurer
• Congruence entre l'objectif spécifique et la
  question d'examen (ou situation d évaluation)
• Questions bien construites

7
La congruence

• La congruence est la relation étroite qui doit
  exister entre une situation dévaluation et un
  objectif spécifique.
• Les 3 principaux critères
• le verbe
• les conditions
• le contenu

8
Une question congruente à mon objectif

• Objectifs spécifiques
• Définir, en ses propres mots, le concept de
  congruence.
• Expliquer les principes de base associés à une
  évaluation de qualité.

9
Les deux qualités essentielles de la mesure

• VALIDITÉ (contenu)
• La plus importante
• Lensemble des questions de votre examen (votre
  situation d évaluation) représente-t-il bien vos
  objectifs spécifiques?

• FIDÉLITÉ
• Les résultats de l'examen (ou autres moyens)
  sont-ils stables?
• La note (rétroaction) de l'étudiant ou de
  l'étudiante lui ressemble

10
V X E

• V "vrai" score de l'étudiante ou de l'étudiant
• X résultat de l'étudiante ou de l'étudiant
• E erreur de mesure ( ou -)e1, e2, e3, e4, e5,
  e6, e7, e8, e9, e10, ...

11
Fidélité

• Attention aux erreurs de mesure inhérentes...
• à l'instrument de mesure
• aux conditions de passation
• à l'étudiante et l'étudiant
• (peu de contrôle)

12
Une formation de qualité

• Des objectifs spécifiques qui traduisent bien où
  vous voulez arriver
• Des formules pédagogiques (enseignement/apprentiss
  age) qui aident à atteindre les objectifs
  spécifiques
• Une évaluation qui mesure vraiment latteinte des
  objectifs spécifiques

13
Les objectifs dapprentissage

• Objectifs généraux
• Une direction
• Objectifs spécifiques
• Une action

14
Les objectifs généraux

• Principes généraux
• Sont en relation directe avec les buts du
  programme
• S'adressent à létudiant (P?)
• Critères de formulation
• Un verbe qui traduit de façon globale
  l intention
• S'adressent à létudiant

15
Taxonomie de Bloom et al (1965)

• Connaître
• Comprendre
• Appliquer
• Analyser
• Synthétiser
• Évaluer

16
Les objectifs spécifiques

• Principes généraux
• Communicables
• Mesurables
• Sont en relation directe avec les objectifs
  généraux du programme
• S'adressent à l'étudiant
• Traduisent un comportement et non une activité
  d'apprentissage

17
Les objectifs spécifiques

• 3 critères de formulation essentiels
• Verbe d'action spécifique
• Comportement de l'étudiant
• Résultat d'une activité
• 2 critères non essentiels
• Conditions de réalisation
• Seuil de performance

18
Exemples dobjectifs

• Objectif général
• Comprendre limportance des objectifs spécifiques
  lors de l'élaboration et de l'évaluation des
  activités éducatives
• Objectifs spécifiques
• Définir, en ses propres mots, le concept de
  congruence.
• Expliquer les principes de base associés à une
  évaluation de qualité.

19
Tableau de spécification
20
Des précisions...

21
Construire des examens

• de type papier-crayon

22
Rédiger une question

• Choisir lobjectif.
• Rédiger une question qui contient toutes les
  limites et les conditions nécessaires à la
  résolution du problème. Séparer la consigne de la
  question.
• Pour vous aider à rédiger une question
• Mise en situation
• Données du problème
• Tâche de létudiant la question
• Consigne la façon de répondre
• Modalités de correction

23
Rédiger une question

• Utiliser la phrase impérative ou interrogative.
• Éviter de terminer lénoncé par des points de
  suspension
• La congruence est .?
• Quelle est la définition du concept de congruence
  dans le contexte de la mesure des apprentissages?
• Éviter les extraits textuels tirés des manuels.
• Éviter de rédiger des questions plus difficiles
  que ne le prescrit lobjectif.

24
Rédiger une question

• Présenter sur une même page toutes les questions
  se rapportant à une même mise en situation.
• Sinon, répéter la question sur une deuxième page.
• Rédiger des questions indépendantes les unes des
  autres.
• Sinon, vous pénalisez létudiant qui, pour une
  contre-performance, perd des points à plus dun
  endroit sur la grille de correction.

25
Rédiger une question

• Rédiger la question pour quelle corresponde
  parfaitement à lobjectif dont elle doit mesurer
  latteinte.

Congruence
26
Rédiger une question

• À lintérieur de la question, rédiger des
  consignes précises, claires et complètes.
• Le nombre de bonnes réponses, lendroit où les
  étudiants doivent indiquer la réponse et la façon
  de lexprimer, lendroit où lon exécute les
  calculs, les pénalités imposées pour ajout
  déléments étrangers à la réponse, etc.
• Éliminer les renseignements superflus dont la
  présence risque de compliquer inutilement la
  tâche de létudiant.

27
Rédiger une question

• Employer un vocabulaire adapté aux étudiants.
• Indiquer le nombre de points accordés à chaque
  question.
• Choisir un type de questions que les étudiants
  connaissent.
• À réponse choisie
• Choix de réponse, vrai ou faux, association
• À réponse construite
• Phrase à compléter, réponse courte, réponse
  développée

28
Question à choix de réponses

• Variations
• trouver la bonne réponse, trouver la meilleure
  réponse, trouver la seule réponse qui soit
  fausse, trouver toutes les bonnes réponses,
  trouver la réponse qui ordonne une série
  dénoncés, trouver des contre-exemples, trouver
  lélément manquant, trouver lélément étranger,
  identifier lincident critique ou lélément
  significatif, etc.

29
Question à choix de réponses

• Quelle est la séquence de verbes d'action qui
  correspond à une introduction bien structurée?
• a.      Amener, poser, diviser
• b.      Annoncer, amener, ouvrir
• c.      Choisir, recommander, identifier
• d.      Ouvrir, préciser, choisir
• e.      Poser, amener, diviser

30
Question à choix de réponses

• Quelle est l'affirmation qui est fausse?
• a.    Avant d'être discutés et analysés, les
  résultats doivent être présentés.
• b.    Il n'y a pas de nouvelle argumentation dans
  une conclusion.
• c.    Les temps les plus utilisés pour rédiger un
  rapport technique sont le présent et l'imparfait.
• d.    Le titre d'une figure doit être placé en
  dessous de la figure.
• e.    Toutes les références doivent être citées
  dans le corps du rapport.

31
Question à choix de réponses

• Rédiger de 3 à 5 réponses (leurres) qui doivent
  être consistantes et appropriées à la question (
  même longueur, même complexité et ayant le même
  attrait)
• Placer les réponses dans un certain ordre
  alphabétique, ordinal, chronologique, etc.

32
Question à choix de réponses

• Utiliser avec prudence le choix AUCUNE DE CES
  RÉPONSES ou TOUTES CES RÉPONSES SONT BONNES
• Autant que possible, placer les réponses en
  colonne plutôt que de les disposer
  horizontalement.
• Limportant, cest dêtre uniforme dans la
  présentation.

33
Question de type vrai ou faux

• Variations
• La forme bon/mauvais, plus petit/plus grand,
  fait/opinion, etc.
• La forme correction

34
Question de type vrai ou faux

• Indique si la proposition suivante est vraie ou
  fausse. Si elle est fausse, transforme la partie
  soulignée de lénoncé pour rendre la proposition
  vraie.
• V F La validité de contenu est la première
  qualité dont on doit se préoccuper lors de la
  confection dexamens.
• Correction si nécessaire __________________

35
Question de type vrai ou faux

• Présenter une seule idée importante par question.
• Présenter des énoncés manifestement vrais ou
  faux.
• Présenter des énoncés plutôt brefs que longs.

36
Question de type vrai ou faux

• Utiliser avec prudence les termes TOUS, TOUJOURS,
  JAMAIS, qui sont associés à des énoncés faux. Les
  termes PARFOIS, SOUVENT, LA PLUPART, sont
  associés à des énoncés vrais et les termes
  FRÉQUENT, NOMBREUX, UNE FOULE, PEU, sont ambigus.
• Éviter les doubles négations.

37
Question de type association

• Variations
• Lassociation simple
• Lassociation multiple associer plusieurs
  éléments
• La classification classifier des éléments selon
  des catégories

38
Voici, présentés à gauche, des CONCEPTS de base
en mesure et évaluation et, à droite, des
DÉFINITIONS. Associer, à chacun des concepts, la
bonne définition. Inscrire, en regard du nombre,
la lettre appropriée.

• CONCEPTS
• (lensemble questions)
• ___ 1. CONGRUENCE
• ___ 2. VALIDITÉ
• ___ 3. FIDÉLITÉ

• DÉFINITIONS
• (lensemble réponses)
• Lien étroit entre lobjectif et la question
  dexamen
• Qualité dun instrument qui fait référence à la
  stabilité des résultats
• Qualité dun instrument qui mesure bien ce quil
  prétend mesurer
• Ensemble des opérations pour modérer les
  résultats dun instrument

39
Question de type association

• Donner le schéma de base de lassociation,
  décrire lensemble questions ainsi que lensemble
  réponses et indiquer sil y a répétition ou non
  des éléments de lensemble réponses.
• Placer dans chaque ensemble des éléments
  homogènes.
• Ne pas compter au total plus de dix éléments dans
  lensemble réponses.

40
Question de type association

• Placer un plus grand nombre déléments dans
  lensemble réponses.
• Désigner lensemble questions par des nombres et
  lensemble réponses par des lettres.
  Habituellement lensemble réponses est placé à
  gauche.
• Placer les éléments de lensemble réponses dans
  lordre qui facilite le travail de létudiant.

41
Question de type phrase à compléter

• Variations
• Question à réponse unique, question à réponses
  multiples, phrase à compléter dont lomission est
  à lintérieur dun choix de réponses, ne rédiger
  quune partie révélatrice dune tâche le
  paragraphe dintroduction ou de conclusion, les
  phrases de transition, une suite de mots clés,
  les trois dernières lignes de programmation, etc.

42
Question de type phrase à compléter

• Le lien étroit qui doit exister entre un objectif
  spécifique et une question dexamen se nomme
  .. .

43
Question de type phrase à compléter

• Nenlever que les termes importants de la phrase.
• Ne placer quune ou deux omissions par phrase à
  compléter.
• Placer les omissions vers la fin de la phrase.
• Placer un espace ou un trait constant pour toutes
  les omissions et ce, sans égard à la longueur des
  mots omis.
• Si la réponse porte sur des quantités, indiquer
  les unités demandées.

44
Question à réponse courte

• Variations
• Question à réponse unique, question à réponses
  multiples, définir un mot clé, construire un
  schéma, donner un exemple, identifier une loi, un
  principe, rédiger une phrase, etc.
• Présenter le problème en posant une question
  plutôt quen formulant une affirmation.
• Prévoir un espace après chaque question pour que
  létudiant puisse inscrire sa réponse.

45
Question à réponse courte

• Quelle est la définition du concept de
  congruence?
• La réponse attendue sexprime en moins de 3
  lignes.
• _________________________________
• _________________________________
• _________________________________

46
Question à réponse développée

• Variations
• Résoudre un problème, extrapoler, établir des
  rapports, des liens, expliquer, synthétiser,
  analyser, évaluer, réaliser une production,
  résumer, etc.
• Structurer, encadrer suffisamment le problème
  présenté dans la question pour que la réponse
  soit orientée vers ce que lon se propose de
  mesurer.

47
Question à réponse développée

• En un maximum de 300 mots, expliquer limportance
  des objectifs dans la construction des
  instruments de mesure.
• À lintérieur de votre réponse, on doit retrouver
  trois avantages dune telle pratique ainsi quun
  exemple.

48
Question à réponse développée

• Si vous le jugez à propos, avertir létudiant
  quil sera pénalisé sil introduit dans sa
  réponse des éléments étrangers au problème à
  résoudre.
• Mieux vaut indiquer lordre de grandeur de la
  réponse souhaitée.
• Exemples En un maximum de deux pages En 300
  mots À lintérieur du tableau

49
Question à réponse développée

• Prévoir lespace nécessaire pour la réponse.
• Une mise en page structurée peut aider à corriger
  ces réponses longues.
• À titre indicateur, préciser le temps normalement
  alloué pour répondre à la question.
• Pour concevoir le corrigé, vous pouvez rédiger
  une réponse-type et souligner les mots clés.
• Il est plus facile, juste et équitable de
  corriger la première question pour tout le groupe
  avant de corriger la deuxième.

50
La correction dun examen

• La pondération des questions reflète limportance
  des objectifs mesuré
• Les critères de correction sont observable et
  mesurable
• Toutes les réponses possibles sont clairement
  indiquées

51
La correction dun examen

• Vous appliquez avec la même rigueur les critères
  de correction à lensemble des examens et ce, peu
  importe lheure à laquelle vous débutez et
  terminez votre correction et peu importe la
  position de la copie que vous corrigez, soit
  avant ou après une excellente ou une piètre copie.

52
En conclusion
53
Reconnaître le rôle privilégié de l enseignant

• Les enseignants sont les intervenants les mieux
  placés pour évaluer les apprentissages complexes
• proximité, fréquence et durée des interventions,
  personnalisation

54
Élaborer un plan dévaluation

• Identifiez les objectifs spécifiques à mesurer
• Assurez-vous quil y a congruence entre les
  objectifs mesurés et les outils dévaluation
• Choisissez le bon moment

55
Interpréter les résultats dun examen

• Pour le professeur
• Analyse des qualités de lexamen
• Objectifs atteints par lensemble
• Pour lélève 80
• Son profil
• Ses forces et ses difficultés

56
AU PLAISIR!

•  Everyone who remembers his own educational
  experience remembers teachers, not methods and
  techniques .
• Sidney Hook

57
Bibliographie

• De Landsheere, G. (1976) Évaluation continue et
  examens. Précis de docimologie. Fernand Nathan,
  Paris.
• Morissette, D. (1993) Les examens de rendement
  scolaire. Les Presses de l'Université Laval,
  Sainte-Foy.
• Scallon, G. (2004) Lévaluation des
  apprentissages dans une approche par compétences.
  Éditions du Renouveau pédagogique inc., Québec.
• Scallon, G. (2000) Lévaluation formative.
  Éditions du Renouveau pédagogique inc., Québec.
• Scallon, G. (1988) Lévaluation formative des
  apprentissages. Tome 2 Linstrumentation. Les
  Presses de lUniversité Laval, Sainte-Foy.