Les tests adaptatifs en langue: quel est leur avenir ?

1
Les tests adaptatifs en langue quel est leur
avenir ?

• Michel D. LAURIER
• Université de Montréal

Colloque ACFAS 2006 Solutions apportées et
problèmes engendrés par lévaluation assistée
par les technologies de linformation et des
communication en éducation
2
Plan de la présentation

• Fonctionnement dun test adaptatif
• Développements en langue seconde
• Avantages des tests adaptatifs
• Limites et problèmes
• Une nouvelle vision de ladaptabilité
• Un projet

3
Éléments dun test adaptatif

• Une banque ditems ensemble de tâches
• dont les caractéristiques sont identifiées
• qui mesurent un attribut (unidimensionalité)
• Linvariance des items de TRI permet lexpansion.
• Une procédure de passation
• pour récupérer les tâches les plus appropriées
• pour déterminer le niveau de compétence
• Linvariance des sujets de TRI permet
  lestimation.

4
Déroulement dun test adaptatif
Début
Niveau de départ
Sélection
Présentation
Estimation
Erreur?
Trop grande
OK
Résultat
Fin
5
Décisions de conceptions (avec TRI)

• Organisation  une ou plusieurs banques ?
• Modèle  1, 2 ou 3 paramètres ?
• Critère darrêt  nombre ditems ou erreur ?
• Estimation de ?  ML ou méthode bayésienne ?
• Stratégie pour la sélection des tâches
• Plateforme informatique  progiciel ?

6
Les tests adaptatifs en L2

• S-Cape (Larson, 1987)
• Computest (Madsen, 1989)
• Test de lACTFL (Kaya-Carton et al., 1991)
• TOEFL CBT (Educational Testing Service)
• French CAPT (Laurier, 1993, 1995)
• DIALANG (Alderson, Huhta, 2005)
• BULATS (Business Language Testing Service)

7
Exemple  French CAPT

• Questions préalables
• Courts paragraphes
• Énoncés appropriés
• Phrases lacunaires
• Écoute de documents
• Autoévaluation de loral
• Profil

Dichotomique
Polychotomique
French CAPT
8
Résultats de French CAPT
Your classification is Low Intermediate
9
Avantages psychométriques

• Amélioration de la fidélité
• Estimation plus juste du niveau
• Meilleure validité
• tâches pertinentes
• nouveau type de tâches
• Détection de configurations inhabituelles
• Prise en compte de linformation préalable

10
Avantages psychologiques

• Élimination des tâches trop difficiles
• Élimination des tâches trop faciles
• Environnement moins menaçant
• Dimension ludique

11
Avantages administratifs

• Traitement immédiat des réponses
• Sécurité
• Passation individuelle
• Mise en ligne
• Réduction du temps de passation
• Expérimentation de nouveaux items

12
Limites des tests adaptatifs

• Postulats de la TRI
• Taille des échantillons requis
• Interaction limitée
• Environnements peu familiers
• Coûts de développement

13
Enjeux de recherche

• Grappes ditems (testlets)
• Application de modèles polychotomiques
• Couverture du contenu
• Surexposition de certains items
• Variance attribuable au mode de passation
• Ancrage des nouveaux items de la banque

14
Les tendances en L2

• Prédominance de la fonction de classement
• Recherche dune interaction plus authentique
• Élargissement de la notion dadaptabilité
• Intérêts du candidat
• Langue maternelle
• Orientation professionnelle

15
MICCPré-test en L1
Début
Introduction et identification de L1
Reconnaissance de mots
Autoévaluation en IO, CE et EE
Niv. lt 1 ?
Fin
16
MICCProcédure adaptative
Phrases à compléter
Antonymes / Synonymes
Lecture de courts documents
Réponse à une situation simulée
17
MICCTâches adaptées au stade
Écoute dun document I
Écoute dun document II
Écoute dun document III
Lecture dun document I
Lecture dun document II
Lecture dun document III
Révision dun texte
Production dun texte I
Production dun texte II
Production dun texte III
18
MICCTâche IO adaptée au niveau
T 2
T 3
T 4
T 5
T 6
T 7
T 8
T 9-10
T 11-12
Fin
Fin
Fin
Estimation du niveau en IO, CE et EE
19
Merci de votre attention

• Michel D. LAURIER
• Faculté des sciences de léducation
• Université de Montréal
• Courriel michel.d.laurier_at_umontreal.ca
• Téléphone [phone]