MTO3: Causal Inference

1
MTO-3 Causal Inference

• Chris Snijders
• DG 1.07
• c.c.p.snijders_at_tm.tue.nl
• tue-tm.org/snijders/mto3

2
De MTO cyclus

• Probleemstelling
• Wat zijn zinnige vragen?
• Wat voor soorten (zinnige) vragen zijn er?
• Theorie-ontwikkeling (formulering van hypothesen)
  en toetsingskader
• Hoe verwacht ik dat het antwoord op mijn
  probleemstelling er uit ziet
• Keuze van een onderzoeksopzet
• (Hoe ga ik onderzoeken)
• Experiment (met mensen)
• Survey (door mensen)
• Case study
• Participerend onderzoek
• Dataverzameling
• Hoe ontwerp ik een experiment?
• Hoe ontwerp ik een vragenlijst?
• Hoe kom ik aan respondenten / deelnemers en
  hoeveel moeten dat er eigenlijk zijn?

MTO-1
MTO-2
MTO-3
3
Opzet van het vak

• BEOORDELEN VAN HET ONDERZOEKSDESIGN VAN ANDEREN
• Utts, hoofdstuk 2 t/m 6
• 2 Reading the news
• 4 How to get a good sample
• 5 Experiments and observational studies
• 6 Getting the big picture
• 3 Measurements, mistakes, and misunderstandings
• MULTIPLE REGRESSIE ANALYSE
• Allison, Regression analysis
• Hele boek een en ander aan extras

4
Programma voor vandaag

• Voorbeeld het nut van placebos
• Voorbeeld nog eens man-vrouw verschillen, maar
  nu andere
• Hernieuwd betrouwbaarheidsintervallen voor
  proporties
• Betrouwbaarheidsintervallen voor alle mogelijke
  statistics (zoals proporties, gemiddeldes,
  medianen) BOOTSTRAPPING
• (nb het is boot-strapping, en niet boots-
  trapping)
• Onderweg het direct uitrekenen van chi2 waarden

5
Het stappenplan

• Bepaal met wat voor soort studie je van doen hebt
  (experiment/survey, wat voor soort
  experiment/survey etc).
• Loop de kritische zeven factoren (zie volgende
  slide) langs
• Bekijk in het bijzonder de typische fouten die
  voor kunnen komen bij de betreffende studie
• Bekijk of de informatie volledig is. Ga zo nodig
  terug naar het bronnenmateriaal.
• Vraag je af of de resultaten te begrijpen zijn op
  basis van de door de auteurs geponeerde theorie
  wordt een verklaring gegeven voor de gevonden
  resultaten?
• Vraag je af of er alternatieve verklaringen zijn.

6
De kritische 7 factoren

• Te beoordelen bij een willekeurige studie
• Wie heeft het onderzoek uitgevoerd, en voor wie?
• Wie heeft precies contact gehad met de
  respondenten / deelnemers?
• Wat waren dit voor respondenten / deelnemers?
• Hoe zijn ze gekozen?
• Voor wie zijn ze representatief?
• Hoeveel zijn het er?
• Hoe zagen de vragen er uit? En hoe de metingen
  die gemaakt zijn uit die vragen?
• De setting van het onderzoek (laboratorium, thuis
  gebeld, via de post, via internet)
• Zijn er zaken denkbaar die het gevonden effect
  kunnen verstoren?
• Hoe groot is het geclaimde effect?

7
Voorbeeld placebos en depressie

• Washingtonpost.com 7 May 2002, p. A01.
• Against depression, a sugar pill is hard to
  beat Placebos improve mood, change brain
  chemistry in majority of trials of
  antidepressants
• By Shankar Vedantam
• After thousands of studies, hundreds of millions
  of prescriptions and tens of billions of dollars
  in sales, two things are certain about pills that
  treat depression Antidepressants like Prozac,
  Paxil and Zoloft work. And so do sugar pills. A
  new analysis has found that in the majority of
  trials conducted by drug companies in recent
  decades, sugar pills have done as well asor
  better thanantidepressants. Companies have had
  to conduct numerous trials to get two that show a
  positive result, which is the Food and Drug
  Administrations minimum for approval. Whats
  more, the sugar pills, or placebos, cause
  profound changes in the same areas of the brain
  affected by the medicines, according to research
  published last week. One researcher has ruefully
  concluded that a higher percentage of depressed
  patients get better on placebos today than 20
  years ago.
• ltgt
• The new research may shed light on findings such
  as those from a trial last month that compared
  the herbal remedy St. Johns wort against Zoloft.
  St. Johns wort fully cured 24 percent of the
  depressed people who received it, and Zoloft
  cured 25 percentbut the placebo fully cured 32
  percent.
• ltgt

8
Placebos ltvervolggt

• The average participant in an eight-week trial
  spends about 20 hours being examined by top
  experts and highly trained caregivers, said
  Seattle psychiatrist Arif Khan, who studied the
  placebo effect in trials submitted to the FDA.
  Participantsincluding those being given sugar
  pillsare asked detailed questions about how they
  are feeling, and their every psychological change
  is closely noted. In comparison, Khan noted, the
  average patient with depression sees a doctor
  perhaps 20 minutes a month.
• ltgt
• His analysis of 96 antidepressant trials between
  1979 and 1996 showed that in 52 percent of them,
  the effect of the antidepressant could not be
  distinguished from that of the placebo.
• Psychiatric diagnosis is descriptive. We dont
  really understand psychiatric disorders at a
  biological level.
• ltgt
• In January, Leuchter published a study in the
  American Journal of Psychiatry, in which he
  tracked some of the brain changes associated with
  drugs such as Prozac and Effexor, which are
  called selective serotonin reuptake inhibitors.
  When Leuchter compared the brain changes in
  patients on placebos, he was amazed to find that
  many of them had changes in the same parts of the
  brain that are thought to control important
  facets of mood. Patients who got better on
  placebos showed heightened activity in the
  prefrontal lobe, and that activity continued to
  rise during the eight weeks of the study. Those
  who responded to medicine initially showed a
  decline in prefrontal brain activity, then a rise
  that eventually tapered off. Thirty-eight percent
  of patients responded to the placebo, and 52
  percent to the medicines. Once the trial was over
  and the patients who had been given placebos were
  told as much, they quickly deteriorated. Peoples
  belief in the power of antidepressants may
  explain why they do well on placebos. Patients in
  trials are not told which they are receiving.
• ltgt
• He found that greater percentages of people
  tended to get better on placebos during trials of
  antidepressants in 2000 than in 1981.

9
Standaard problemen bij experimenten

• Interveniërende variabelen (confounding
  variables) OPL Gebruik randomisatie, dan ben je
  van eventuele vervelende hoofdeffecten af
• Interactie-effecten OPL potentiële interacties
  mee-meten en erover rapporteren
• Placebo-effect proefpersonen reageren anders
  omdat ze een treatment ondergaan (nb dit hoeft
  niet noodzakelijk op iets medisch te slaan)
• Hawthorne-effect proefpersonen gedragen zich
  anders omdat er aandacht aan ze wordt besteed /
  omdat ze in het experiment zitten
• Experimentator-effect / narrative thinking
  proefpersonen gedragen zich zoals ze denken dat
  de experimentator dat van ze verwacht, gezien de
  aangeboden condities (aha, het zal wel over
  gaan)
• Lage ecologische validiteit de mate waarin de
  resultaten overdraagbaar zijn naar situaties
  buiten het laboratorium, is soms klein

10
Placebos ltdeel van brongt

• Results Of 48,277 depressed patients
  participating in the tri-als, 77 committed
  suicide. Based on patient exposure years, similar
  suicide rates were seen among those randomly
  assigned to an SSRI (0.59, 95 confidence
  interval CI0.310.87), a standard comparison
  antidepressant (0.76, 95 CI0.491.03), or
  placebo (0.45, 95 CI0.010.89).

11
Betrouwbaarheidsinterval voor proporties

• Voor de precieze formule zie de slides van
  vorige keer.
• Als je het zelf uit wilt rekenen
• vul de formule in, of
• zoek een online implementatie (verwijzingen staan
  op de mto3-site), of
• download het tabblad BetrInt_Proporties0506.xls
• van de mto3-site
• hiervoor is het nodig dat je macros enabled
• ltdemonstratie van tabblad in Excel volgtgt

12
Vergelijking tussen treatments chi2

• 38 van de 26109 voor de prozac-achtigen
• 34 van de 17273 voor de overige antidepr.
• 5 van de 4895 voor de placebo groep
• ?
• zelfmoord niet
• 26109 38 26071
• 17273 34 17239
• 4895 5 4890
• Een toets of er verschillen zijn tussen de
  rijen, gaat mbv een chi-2 verdeling
• Dat kan met een tabel bereken de chi2-waarde,
  bepaal het aantal vrijheidsgraden en zoek het
  significantieniveau op in een tabellenboek.
• Of met "PopTools"

13
Poptools Homepage

• http//www.cse.csiro.au/poptools/
• ltDemo chi2 toetsen in Excelgt

14
Voorbeeld 2 Onveiligheid

• In Metro van maandag 13 december 2004
• Vrouwen voelen zich vaker onveilig dan mannen
• Man Vrouw
• Ik voel me wel eens onveilig 18,3 29
• Ben bang alleen thuis 4,3 31
• Bron CBS
• Dit is natuurlijk wel heel erg weinig
  informatie, maar doorloop opnieuw deze zelfde
  reeks van stappen.
• Of andersom als je geïnteresseerd zou zijn in
  verschillen tussen mannen en vrouwen wat dit
  onderwerp betreft, hoe zou je dat dan
  onderzoeken?
• nb hier zou je evt kunnen stratificeren

15
Voorbeeld 3 voorspellen van verkiezingen

• Peter R. de V. heeft belangstelling om de
  politiek in te gaan. Hij wil dit echter alleen
  doen als zijn partij op minimaal 15 zetels kan
  rekenen bij de verkiezingen.
• Geef aan hoe je een onderzoeksdesign maakt op
  zo'n manier dat deze beslissing op een
  verstandige wijze kan worden genomen. Maak de
  aannames die je hanteert expliciet, en licht het
  antwoord met berekeningen toe.

16
Voorbeeld uit opdrachten voorkomen van ziektes
17
Betrouwbaarheidsintervallen via bootstrapping

• Meestal ben je zodra je je gegevens binnen hebt
  niet alleen geïnteresseerd in een puntschatting
  op basis van je gegevens, maar juist in het
  betrouwbaarheidsinterval om deze puntschatting
  heen.
• Voor de meer gangbare statistics (het
  gemiddelde bijvoorbeeld) zijn er formules die je
  dit betrouwbaarheidsinterval geven. Vaak zit het
  dan ook in statistische software (SPSS
  bijvoorbeeld).
• Er zijn helaas veel statistics waarvoor die
  formules niet bestaan (typisch voorbeeld de
  mediaan). Dan is er toch een manier om aan een
  betrouwbaarheidsinterval te komen
• bootstrapping

18
Bootstrapping

• Stel
• Je hebt een sample ter grootte n.
• Je bent geïnteresseerd in een bepaalde statistic
  van deze sample (als schatting voor deze
  statistic in de populatie). Aanname je hebt alle
  data tot je beschikking, dus niet alleen de
  statistic zelf.
• Je wilt een betrouwbaarheids interval om deze
  statistic hebben.
• Doe dan het volgende (bootstrapping)
• Trek een sample ter grootte n mét terugleggen,
  uit de sample.
• Bereken de statistic waarin je bent
  geïnteresseerd op deze sample, en sla deze op.
• Herhaal 1 en 2 vaak (typisch 2000x of meer)
• De verdeling van je gesampelde statistic is de
  basis voor een betrouwbaarheidsinterval voor de
  statistic in de populatie.
• Basisreferentie Efron Tibshirani (1994) An
  introduction to the bootstrap. ChapmanHall.

19
... maar dan geautomatiseerd ...

• lt demo PopTools bootstrapping gt

20
Te doen voor volgende keer (9 januari)

• Doornemen van de stof van Utts, hoofdstuk 2 t/m
  6, behalve 3 (omdat ik aanneem dat je dat al
  kunt). Oefenen met opgaven.
• Hou de website in de gaten. In de loop van de
  kerstvakantie komen meer uitgewerkte opdrachten
  online.
• Zorg dat je de software beheerst
• PS (tabblad dichotomous / t-test)
• Betrouwbaarheidsintervallen bij proporties
  (Excel)
• Bootstrapping mbv PopTools
• Chi2 berekeningen mbv PopTools