Betrouwbaarheid en Validiteit

1
Betrouwbaarheid en Validiteit

• Wat is de kwaliteit van metingen ?
• Betrouwbaarheid
• Validiteit
• Overeenstemming (valt buiten MS 3)
• Collegesheets MS3
• Math Candel, Methodologie en Statistiek

2
Betrouwbaarheid Voorbeeld 1
3
Voorbeeld 2

• Soortgelijke items over de attitude t.a.v.
  gezondheid
• Voor gezondheid moet je alles over hebben
• Niets is belangrijker dan je gezondheid
• Antwoordcategorieën 5 zeer mee eens
• 4 mee eens
• 3 eens noch oneens
• 2 mee oneens
• 1 zeer mee oneens

4
Klassieke testtheorie

• Score voor persoon i op replicatie j
• Yij Ti eij
• Gemeten score ware score meetfout
• Gemiddelde van eij over replicaties 0
  zodat
• Gemiddelde van Yij over replicaties Ti

5
Uit klassieke theorie volgt
Gemeten variantie Ware score variantie
(verschillen tussen ware scores)
Meetfoutvariantie
6
Definitie van betrouwbaarheid
7
Restriction-of-range effect

• Populatie 1
• Bloeddruk bij adolescenten

• Populatie 2
• Bloeddruk bij adolescenten en
• volwassenen

8
Aannamen klassieke testtheorie

• Metingen zijn parallel
• meten dezelfde ware score
• hebben dezelfde meetfoutvariantie
• Metingen hebben ongecorreleerde meetfouten
• Gevolg
• Correlatie tussen 2 metingen
• betrouwbaarheid van 1 van beide metingen

9
(No Transcript)
10
(No Transcript)
11
Schatting van de betrouwbaarheid

• Neem het gemiddelde van alle correlaties die
  tussen een tweetal replicaties berekend kan
  worden
• Andere schatting

12
Nadelige effecten van onbetrouwbaarheid

• 1. Lagere power van statistische toetsen
• Bijv.
• Onbetrouwbaarheid verhoogt binnengroepsvarianties
  

13
2. Attenuatie effect
14
Attenuatie in formule

• betrouwbaarheden van X en Y
• liggen tussen 0 en 1
• de correlatie tussen X en Y wordt
• dus altijd afgezwakt (gaat naar 0 toe)

15
Formule voor de ware score correlatie/Correctie
voor attenuatie formule
Op basis van schattingen van de betrouwbaarheden
van X en Y kunnen we de correlatie tussen de
onderliggende ware scores uitrekenen
16
Repliceren als remedie tegen onbetrouwbaarheid

• Bereken het gemiddelde van K replicaties G
• Spearman-Brown geeft de betrouwbaarheid van dit
  gemiddelde G
• waarin K de verlengingsfactor is

17
Betrouwbaarheid van 1 item
Aantal replicaties
18
De betrouwbaarheid van G hangt dus af van

• De betrouwbaarheid van 1 replicatie
• (meting/item)
• Het aantal replicaties (metingen/items) per
  persoon

19
Methoden om betrouwbaarheid van meting te bepalen

• 1. Test-hertest betrouwbaarheid
• Meet tweemaal bij een groep personen
• Bereken correlatie tussen deze twee metingen
• Correlatie maat voor
• betrouwbaarheid

• Probleem
• Geheugeneffecten
• Geen onafhankelijke
• meetfouten
• Washout-periode
• Probleem
• Construct kan veranderd zijn
• Geen parallelle metingen

20

• 2. Parallel-test betrouwbaarheid
• Meet met 2 parallelle meetinstrumenten
• Vlak na elkaar
• Correlatie
• maat voor betrouwbaarheid

• Probleem
• Geen parallel meetinstrument

21

• 3. Split-half betrouwbaarheid
• Splits vragenlijst in 2 helften
• Correlatie tussen somscores op beide helften
• Spearman-Brown met K 2 levert betrouwbaarheid
  van de hele vragenlijst
• Split-half betrouwbaarheid !

• Probleem
• Iedere opsplitsing van de vragenlijst levert een
  andere schatting van de betrouwbaarheid

22
4. Cronbachs ?

• - Soort gemiddelde van alle mogelijke split-half
  betrouwbaarheden
• - Formele uitleg
• Als items parallelle metingen zijn dan kunnen we
  middels de Spearman-Brown formule de
  betrouwbaarheid van K items bepalen
• Wat is de betrouwbaarheid van 1 item ?

23

• Cronbachs ?
• Schatting van itembetrouwbaarheid middels
• Standardized ?
• Schatting van itembetrouwbaarheid middels

24

• Schattingen van itembetrouwbaarheid gaan omlaag
  als
• - Items veel meetfout bevatten
• - Items ook iets unieks meten heterogene
  items
• Cronbachs ? en de standardized ?
• Coëfficiënt voor interne consistentie

25
Praktijk van itemanalyse

• 1. Gereedmaken van de data
• Hercoderen van gespiegelde items
• Missing values verhelpen
• - Verwijder personen en items met veel
• missende waarden (bijv. gt 10 missende
• waarden)
• - Resterende missing values vervangen door
• redelijke waarde
• c) Scoring items moet kloppen met betekenis
• Pas op met n.v.t. en weet niet

26

• Betrouwbaarheidsanalyse middels SPSS
• (RELIABILITY)
• Items uit Leeft Nederland Oké ?
• Belang van gezondheid
• Item5a Gezondheid is het allerbelangrijkste in
  het leven van een mens
• Item5e Voor gezondheid moet je alles over
  hebben
• Item5h Gezondheid is alleen maar een
  hulpmiddel om gelukkig te worden
• Item5j Gezondheid is iets waarover je niet
  genoeg kunt lezen

27
SPSS uitvoer Belang van gezondheid
28
(No Transcript)
29
Spearman-Brown
Cronbachs ?
Standardized ?
30
Ware score variantie voor somscore
31
Meetfout variantie voor somscore
32

• Betrouwbaarheidsanalyse van Locus of control
• Item5c Gezondheid wordt bepaald door
  krachten die je niet kunt beinvloeden
• Item5f Je kunt weinig doen aan je eigen
  gezondheid
• Item5i Er zijn teveel dingen die van invloed
  zijn
• op je gezondheid zoveel dat je het niet
• kunt bijhouden
• Wat is de ware score correlatie tussen Belang van
• Gezondheid en Locus of Control ?

33
Correctie voor attenuatie formule
?(X,Y) correlatie tussen Belang en Locus
0.2267 ?(X,X) betrouwbaarheid Belang schaal
0.4765 (Cronbachs ?) ?(Y,Y)
betrouwbaarheid Locus schaal 0.4434
(Cronbachs ?)
34
Analyse op gemengde schaal(Belang Locus)
35
Betrouwbaarheidsanalyse ?validiteitsanalyse

• Concreet
• mengen van twee verschillende schalen
• hoeft niet in een RELIABILITY analyse
  opgespoord te worden
• Om multidimensionaliteit op te sporen
• Inhoudsanalyse (gezond verstand) en/of
• Factoranalyse (valt buiten MS 3)

36
(No Transcript)
37
ValiditeitMeet het instrument wat men wil meten
?

• Inhoudsvaliditeit
• Dekken de items gezamenlijk goed het inhoudelijk
  gebied af dat men wil meten ?
• Te onderzoeken met een facet design

38

• Predictieve validiteit
• Is het meetinstrument een goede voorspeller van
• een extern (later te meten) criterium ?
• CITO scores op basisschool een goede voorspeller
  van succes op middelbare school ?
• Zwangerschapstest een goede voorspeller van
  zwangerschap ?
• Van belang is voorspellend vermogen theorie
• is niet nodig

39

• Begrips- of constructvaliditeit
• Vertoont de meting een samenhang met andere
• variabelen zoals dit theoretisch verwacht
• wordt ?

40
Bepaling van de validiteit

• Inhoudsvaliditeit
• Items ontwerpen via een facetdesign
• Predictieve validiteit
• Uitrekenen van validiteitscoëfficiënt
• Correlatie tussen meting X en criterium C

41
Begrips- of constructvaliditeit

• Bekijk groepsverschillen
• Bijv. chronisch zieken zullen hoger scoren op de
  belang van gezondheid schaal

42

• Correlatie-onderzoek
• Twee schalen die hetzelfde meten, dienen hoog te
  correleren.
• Bijv. BELANG2
• Vindt u gezondheid
• (1) belangrijker dan
• (2) even belangrijk als
• (3) minder belangrijk dan
• o.a. gezinsleven, werk, vrede, geloof, . ?
• Somscore is maat voor het belang van gezondheid

43
?(X,Y) correlatie tussen BELANG en BELANG2
-0.0565
(p
0.214) ?(X,X) betrouwbaarheid BELANG schaal
0.4765 (Cronbachs ?) ?(Y,Y)
betrouwbaarheid BELANG2 schaal 0.7613
(Cronbachs ?)
44

• Bekijk de interne structuur
• Als items pretenderen hetzelfde te meten, dan
  moeten deze sterk correleren
• - Hoge item-rest correlaties
• - Hoge item-item correlaties

45
(No Transcript)
46
(No Transcript)
47
(No Transcript)
48

• Met instemmingstendentie
• Xij Ti Ii Eij
• Ysij -Ti Ii Eij
• Na hercodering
• Yij Ti Ii - Eij
• ?(TX,TY)
• ?(TiIi,Ti-Ii) ?1

• Zonder instemmingstendentie
• Xij Ti Eij
• Ysij -Ti Eij
• Na hercodering
• Yij Ti - Eij
• ?(TX,TY) ?(Ti,Ti) 1

49
(No Transcript)