Betrouwbaarheid en validiteit: Alleen een kwestie van goed meten ?

1
Betrouwbaarheid en validiteitAlleen een
kwestie van goed meten ?

• Math Candel, Methodologie Statistiek,
  Universiteit Maastricht

2
Overzicht

• Klassieke testtheorie
• Methoden en technieken
• Betrouwbaarheid
• Overeenstemming
• Validiteit
• Samenvatting

3
Klassieke testtheorie

• Y geobserveerde score
• T score op goede kenmerk (true trait)
• F score op foute kenmerk (false trait)
• E meetfout
• Betrouwbaarheid invloed van E
• Validiteit invloed van F

4
Methoden t.a.v. betrouwbaarheid

• Test-hertest betrouwbaarheid
• korte periode geheugeneffecten
• lange periode kenmerk zelf is veranderd
• Cronbachs ?
• gevoelig voor betrouwbaarheid en
  itemheterogeniteit

5
Cronbachs ?

• VOEG schaal
• Subschaal klachten t.a.v. spijsvertering
• Is uw eetlust minder dan normaal ?
• Hebt u nogal eens een opgezet gevoel in uw
  maagstreek ?
• Hebt u nogal eens pijn in uw maagstreek ?
• Is uw buik nogal eens van streek ?
• Is uw maag nogal eens van streek ?
• Hebt u nogal eens vage maagklachten ?
• Antwoordopties 1 ja, 2 nee

6
(No Transcript)
7
Mengen van schalen

• Belang gezondheid
• B1 Gezondheid is het allerbelangrijkste in het
  leven van een mens
• B2 Voor gezondheid moet je alles over hebben,
  etc.

• Locus of control
• L1 Gezondheid wordt bepaald door krachten die je
  niet kunt beinvloeden
• L2 Je kunt weinig doen aan je eigen gezondheid,
  etc.

8
(No Transcript)
9
Methoden t.a.v. overeenstemming

• Nominale/Ordinale metingen
• Twee beoordelaars
• VB Palpatiemethode om stugheid borstweefsel te
  bepalen

10

• Oij geobserveerde frequentie in rij i en kolom
  j
• Eij verwachte frequentie in rij i en kolom j

11
Kappa
12
...
13
(No Transcript)
14
Correlatiecoefficient

• Pearsons r 0.82 vs Cohens ? 0.00
• Pearsons r is een maat voor associatie

15
Overeenstemming in 2 situaties

• ? 0.423

• ? 0.394

16
Gewogen Kappa

• Oij geobserveerde frequentie in rij i en kolom
  j
• Eij verwachte frequentie in rij i en kolom j
• wij gewicht voor rij i en kolom j

17
Kwadratische gewichten

• i rijnummer
• j kolomnummer
• K aantal klassen

18
Overeenstemming in 2 situaties

• ? 0.394
• ?w 0.762

• ? 0.423
• ?w -0.184

19
Overeenstemming

• Kwantitatieve metingen
• Twee beoordelaars
• VB TCM meting om stugheid borstweefsel te bepalen

20

• gemiddelde van de verschillen 0
• geen correlatie tussen gemiddelden en
  verschillen
• geen uitschieters in verschillen
  0?2SD(verschil)

21
Methoden t.a.v. validiteit

• Predictieve validiteit Voorspelkracht van de
  meting
• Hoe goed voorspelt iemands CITO score zijn/haal
  schoolcarriere ?
• VOEG subschalen goede voorspellers van iemands
  huisartsbezoek ? (maagklachten, hart/long
  klachten, bewegingsklachten, vermoeidheidsklachten
  )

22
Predictieve validiteit

• Continue afhankelijke variabele lineaire
  regressie-analyse
• Binaire afhankelijke variabele logistische
  regressie
• VOEG als voorspeller huisartsbezoek (HB)

23
Constructvaliditeit/ Nomologische validiteit

• Gedraagt de meting zich zoals je dit op basis van
  kennis of theorie mag verwachten ?
• Convergente validiteit Hangen twee metingen van
  hetzelfde construct sterk met elkaar samen ?
• Discriminante validiteit Hangen twee metingen
  van verschillende constructen zwak met elkaar
  samen ?

24
Discriminante validiteit
25
Samenvatting

• Verschillende statistische procedures en maten
  meer dan goed meten alleen
• Cronbachs ? niet geschikt voor zeer heterogene
  items
• Associatiematen geven geen inzicht in
  overeenstemming
• Kappa vs gewogen kappa vs Bland Altman
  scatterplot
• Verscheidene procedures/maten voor validiteit