Access panels

1

• Access panels
• Een pleidooi voor transparantie
• Ineke Stoop

2
Panacee of quick and dirty
3
Voordelen (on-line) access panels

• Veel respondenten
• Representatief
• Hoge respons
• Gebruikersvriendelijk
• Goedkoop
• Snel
• Veel achtergrondinformatie
• Specifieke groep selecteren
• Deelname onafhankelijk onderwerp

4
Veel respondenten

• We received more than 50.000 responses twice
  the minimum required for scientific validity
  while the survey did not yield a random sample
  and the selection probabilities are unknown, this
  does not mean that the survey cannot yield
  representative social science data. (geciteerd
  in Couper, 2000)
• Omvang is van belang bij random steekproeven
• Deelname convenience or pre-recruitment?
• Wat is de populatie? Kan ik generaliseren naar de
  bevolking?
• Wat zijn insluitkansen? Onbekend? Verwaterd?
• Kan ik betrouwbaarheidsintervallen en
  significanties berekenen?
• Puntschattingen of verbanden

5
Web surveys and panels

• Conductors of such surveys have in effect been
  seduced by the hope that large numbers, a
  traditional indicator of a high quality survey
  (because of low sampling error), will compensate
  in some undefined way for whatever coverage and
  nonresponse problems that might exist. Large
  numbers of volunteer respondents, by themselves,
  have no meaning. Ignoring the need to define
  survey populations, select probability samples,
  and obtain high response rates, together provide
  a major threat to the validity of web surveys.
• Dillman and Bowker (2001)

6
Representatief

• Interview mode (on-line?)
• Dekking onder subgroepen
• Ouderen, minderheden
• Representatief maken door extra aandacht te
  besteden aan moeilijke groepen
• Extra efforts have been made to create a
  considerable volume in the category of
  respondents with low pc-ownership figures
  (particularly older people and the less well
  educated).
• Wat is representatief?

7
Panels en representativiteit

• Kruskal en Mosteller (1979)
• general acclaim for data
• absence of selective forces
• miniature of the population
• typical or ideal case(s)
• coverage of the population
• a vague term, to be made precise
• representative sampling as a specific sampling
  method, or
• as permitting good estimation, or
• as good enough for a particular purpose.

8
Hoge respons

• Hoge respons onder bereidwillige respondenten
• Hoge respons door interview mode (eigen tijd)
• Initiële nonrespons
• Although 80 to 90 of panel households
  cooperate on a study, the major problem with mail
  panels is that the initial cooperation rate of
  households invited to participate in a panel is
  often 10 or less. Sudman and Kalton (1986)
• Kan je respons berekenen?
• Hoogte respons en nonresponse bias

9
Nonrespons bias

• Sudman and Kalton (1986) These unknown selection
  biases may distort the survey results, and the
  researcher will not be able to assess the
  possible distortion unless some independent check
  can be made.
• Panel dat lijkt op bevolking
• Verwachting dat survey-antwoorden samenhangen met
  achtergrondkenmerken
• Verwachting dat survey-antwoorden niet
  samenhangen met lidmaatschap panel (behalve via
  achtergrondkenmerken)
• Achtergrondvariabelen correlates of causes of
  survey nonresponse
• Non-ignorable nonresponse NMAR

10
Gebruikersvriendelijk

• Invullen in eigen tijd
• Kenmerken survey-mode, niet panel
• Professionele respondent
• Wie vult de lijst in?
• Kloppen personalia? (fake respondenten)
• Verschillen convenience panel en pre-recruitment
  panel

11
Goedkoop

• Deming (1960, p. 31) cost has no measure
  without a measure of quality, and there is no way
  to appraise objectively the quality of a (quota)
  sample as there is with a probability sample.
• Geeft een goedkope aanpak resultaten van een iets
  mindere kwaliteit of geeft een goedkope aanpak
  foute resultaten?
• Het onderhouden en bewaken van een goed panel is
  ook niet goedkoop.

12
Dus niet doen?

• Maar
• Veel achtergrondinformatie
• Specifieke groep selecteren
• Deelname onafhankelijk onderwerp
• Verschillende interview modes
• Misschien juist wel veel middelen om nonrespons
  bias te vermijden of ervoor te corrigeren (met
  veel voorinformatie)
• Kish (1998) These better methods (of quota
  sampling) tend to be used when the results can be
  checked against outside sources, such as election
  forecasts. This is clever and "cost effective",
  but should warn us against the likelihood of much
  greater biases from the unchecked results of
  quota sampling.

13
Dus wel doen?

• Insluitkansen en initiële nonrespons vastleggen
• Onderscheiden tussen convenience en
  prerecruitment panel
• Onderzoek naar verschillen uitkomsten random
  sample en verschillen (generaliseerbaar)
• Misschien juist wel veel middelen om nonrespons
  bias te vermijden of ervoor te corrigeren (met
  veel voorinformatie)
• Because of the size of the panel and the wealth
  of recorded characteristics, such as
  socio-economic, demographic, and behavioural
  characteristics and details about the
  respondent's possessions, we can draw large and
  representative samples for any target group. The
  database contains a great deal of information
  about all respondents.

14
Of toch niet?

• Random steekproeven gebaseerd op steekproeven uit
  kaders met een hoge dekkingsgraad en een hoge
  respons geven bewijsbaar weinig vertekening. Voor
  panels zijn niet zulke algemene uitspraken te
  doen.
• Kish (1998) These better methods (of quota
  sampling) tend to be used when the results can be
  checked against outside sources, such as election
  forecasts. This is clever and "cost effective",
  but should warn us against the likelihood of much
  greater biases from the unchecked results of
  quota sampling.

15
Wat te doen?

• Meer onderzoek naar (on-line) access panels
• Niet (alleen) vergelijken van random sample en
  panel
• Meer informatie over totstandkoming panels
• Geschikt voor welke doelgroep of vraagstelling?
• Minder opvoeren van on-line panel als DE
  oplossing van alle problemen rond nonrespons en
  van surveys in het algemeen

16
En transparantie

• Fowler (2002)
• If a researcher decides to use a nonprobability
  sample, however, readers should be told how the
  sample was drawn, the fact that it likely is
  biased in the direction of availability and
  willingness to be interviewed, and that the
  normal assumptions for calculating sampling
  errors do not apply. Such warnings to readers are
  not common. In many cases, nonprobability samples
  are misrepresented seriously, and that
  constitutes a serious problem for the credibility
  of social science research.
• Markt research organisaties zouden hun klanten op
  dezelfde manier moeten voorlichten.

17
Dank u voor uw aandacht