GTS813: cours

1
GTS813 cours 6

• Évaluation dune mesure (Validité, Répétabilité,
  Fiabilité, précision)
• Activité. Études de cas 2 Qui pose la question?
  La question est-elle claire?

2
Concepts de base

• Pourquoi évaluer un instrument de mesure?
• Nouvel instrument
• Instrument existant
• Validité
• Apparente Test la bonne chose?
• De contenu Tient compte de tout?
• Fidélité
• Répétabilité
• Indice compris entre 0 et 1
• Stabilité
• Test-retest
• Homogénéité
• Consistence

3
Concepts de base

• Formes empiriques de validité
• Dautres échelles existent
• Validité concourante
• Pourquoi en développer une nouvelle?
• Pourquoi comparer à lancienne?
• Validité prédictive
• Aucune autre mesure nexiste
• Validité de construit
• Test du taux de sucre

4
Concepts de base

• Deux traditions dévaluation
• Modèle catégorique Modèle dimensionnel
• Réduction de lerreur de mesure
• Formation, connaissances, expérience
• Sassurer de la cohérence

5
Fidélité

• Erreur systématique et aléatoire

• Fidélité vs exactitude

6
Fidélité
Calculs
7
Fidélité

• Inter et intra-observateur
• Signification des résultats
• Test-retest
• Pourquoi faire un test-retest?

8
Différents coefficients de fidélité

• Correlation de Pearson
• Coeffeicient Kappa
• Méthode de Bland et Altman
• Coefficient par corrélations multiples (CMC)

9
Différents coefficients de fidélité

• Corrélation de Pearson
• Cherche une relation linéaire
• Surestime généralement la fidélité
• Prend un Pearson par paire dobservateurs
• Version pour valeurs continues CMC
• CMC vs ICC

10
Différents coefficients de fidélité

• Coefficient Kappa

11
Interprétation

• Fidélité et erreur standard de mesure
• Signification

12
Interprétation

• Différence attendue lors dun re-test

13
Interprétation

• Est-ce que la fidélité est acceptable?
• Fidélité sapplique à une population donnée
• 100 personnes testées, classées. Une personne
  classée 25, lautre 50.
• r 0 ? 50 dêtre inversé si on recommence
• r 0.5 ? 37
• r 0.8 ? 20
• r 0.95 ? 2.2

14
Améliorer la fidélité

• Façon daméliorer la fidélité
• Entraînement des observateurs
• Utiliser une population moins homogène (non
  légitime)
• Augmenter la taille de léchantillon
• Variance augmente comme le carré du nombre
  ditems
• Variance de lerreur augmente avec le nombre
  ditems

15
Calculer la taille de léchantillon
16
Théorie de la généralisabilité

• La fidélité trouvée est pour une variante et
  sapplique à la population utilisée
• Comment connaître LA fidélité?
• Refaire une étude de fidélité pour chaque source
  de variabilité?

17
Théorie de la généralisabilité

• Identifier les sources derreur
• Déterminer linfluence de chacune
• Études de généralisabilité
• Facettes
• Différentiation
• Généralisation
• Fixes
• Études de décision

18
Théorie de la généralisabilité

• Exemple Thérapeute, occasions et patients

19
Théorie de la généralisabilité
20
Théorie de la généralisabilité
Coefficient de généralisabilité inter-observateur
Coefficient de généralisabilité test-retest
Coefficient de généralisabilité
21
Validité

• Concept de validité
• Validité de contenu
• Validité critérielle (criterion validity)
• Validité de construit (construct validity)

22
Validité de contenu

• Est-ce quon tient compte de tout?
• Notion dinférence
• On tire dune proposition considérée comme vraie,
  une autre proposition dont la vérité nest pas
  directement connue.
• Si on réduit le nombre ditems pour augmenter la
  fidélité, les inférences peuvent diminuer la
  validité de contenu

23
Validité critérielle

• Corrélation de léchelle avec une mesure,
  idéalement un  golden standard 
• Validité prédictive
• Le pronostique se vérifie ou non
• Plus difficile en sciences humaines
• Mesure doit posséder 4 qualités
• En relation avec la chose prédite
• Pas de biais
• Fidèle
• Facile à obtenir
• Validité concourante
• Établie à partir dun critère actuel éprouvé

24
Validité critérielle

• Question pourquoi développer une nouvelle mesure
  sil existe un golden standard?
• Argent (marché lucratif)
• Renommée
• Penser que ce qui existe nest pas bien
• Ce qui existe est cher, invasif, dangereux, prend
  beaucoup de temps
• Résultats disponibles trop tard

25
Mesurer la validité
26
Validité de construit

• Basée sur des hypothèses (contruits)
• Construit est nouveau
• Échelles existantes ne sont pas suffisantes
• On teste à la fois lhypothèse et la mesure
• Méthodes
• Groupes extrêmes
• Validité convergente et validité discriminante
• Méthode multitrait-matrice multi-méthodes

27
Biais dans la détermination de la validité

• Réduction de létendue de la mesure
• Importance de bien choisir le contexte

28
Mesurer le changement

• Le but de mesurer le changement (linn et Slinde,
  1977)
• Mesurer la différence entre individus dans
  lamplitude du changement
• Identifier des corrélations entre des éléments et
  le changement
• Déduire des effets de traitements à partir de
  différences entre groupes

29
Mesurer le changement

• Pourquoi ne pas mesurer le changement
  directement?
• Dans le contexte dune mesure qualitative
• Tendance à sous-estimer létat de départ donc
  surestimer le traitement
• Tendance à être influencé par létat actuel

30
Mesures dassociation fidélité et sensibilité
au changement
31
Sensibilité au changement