SE Quantitative Methoden Dr. Regina Dittrich

1
SE Quantitative MethodenDr. Regina Dittrich

• Experimentelle
• und
• quasi-experimentelle
• Designs
• Patrick Slaje, Markus Fiala, Björn Heppner

2
Fragen zu Gruppe 2

• Probleme der empirischen Sozialforschung
  Überblick Variablen und Hypothesenprüfung
• Nennen sie vier Wahrnehmnungsprobleme in der
  empirischen Sozialforschung und erläutern Sie
  zwei davon genauer.
• Was versteht man unter Kognitiver Dissonanz?
• Nennen und erläutern Sie ein Beispiel für eine
  Scheinkorrelation.

3
SE Quantitative MethodenDr. Regina Dittrich

• Experimentelle
• und
• quasi-experimentelle
• Designs
• Patrick Slaje, Markus Fiala, Björn Heppner

4
Inhalt

• Einführung (Björn)
• Vorexperimentelle Designs (Björn)
• Experimentelle Designs (Patrick)
• Quasi-Experimente und Evaluationsforschung
  (Markus)

5
Inhalt (1)

• Einführung (Björn)
• Vorexperimentelle Designs (Björn)
• Experimentelle Designs (Patrick)
• Quasi-Experimente und Evaluationsforschung
  (Markus)

6
Einleitung - Inhalt

• Definition Zentraler Begriffe
• Abgrenzung von
• Experimentellen
• Quasi-Experimentellen
• Ex-post Facto Designs

7
Definition zentraler Begriffe

• Untersuchungsdesigns unterscheiden sich
  maßgeblich durch zwei Faktoren
• Varianzkontrolle
• Bestimmung / Festlegen von Vergleichsgruppen
• Modus der Aufteilung von Untersuchungspersonen
  auf diese Gruppen
• Kann vor oder nach der Erhebung der Daten
  stattfinden
• Randomisierung
• Zufällige Aufteilung der Probanden auf die
  Vergleichsgruppen

8
Abgrenzung - drei Klassen von Designs

• Abgrenzung unter den Gesichtspunkten
  Varianzkontrolle und Randomisierung
• ? Sofern realisierbar ist ein experimentelles
  Design ideales Versuchsarrangement zum Test von
  Kausalhypothesen

Varianzkontrolle Randomisierung
Experimentelle Designs Vor der Datenerhebung Ja
Quasi-Experimentelle Designs Vor der Datenerhebung Nein (in der Regel)
Ex-post Facto Designs Nach der Datenerhebung Nein
9
Inhalt (2)

• Einführung (Björn)
• Vorexperimentelle Designs (Björn)
• Experimentelle Designs (Patrick)
• Quasi-Experimente und Evaluationsforschung
  (Markus)

10
Vorexperimentelle Designs

• Genügen den wissenschaftlichen Anforderungen an
  die Methodik der Hypothesenüberprüfung nicht.
• Fehlerquellen anhand dieses unzureichenden
  Designtyps ersichtlich
• Hinführung zu den weiteren Designs

11
XO-Design

• Beispiel Elefantenvertreiber
• X Stimulus (in die Hände klatschen)
• O Beobachtung (der Abwesenheit von Elefanten)
• Fehlerquelle?
• Was wäre ohne Klatschen?
• Fehlen von Vergleichs bzw. Kontrollgruppen

12
Design falscher Vergleichswerte

• Beispiel ADAC behauptet schnelles Autofahren sei
  nicht gefährlich!
• Fehlerquelle?
• Es gibt relativ weniger sehr schnell fahrende
  Autos!
• Implizite Vorspiegelung die Bezugsgruppen hätten
  den gleichen Umfang

Tempo Tempo Tempo
Anzahl Fahrten 100 200
Anzahl Fahrten Ohne Unfall ? ?
Anzahl Fahrten Mit Unfall 100 10
13
OXO-Design

• Versuchsplan 01XO2
• Üblich z.B. in der Physik
• Nicht ausreichend für Sozialwissenschaften
• Grund mögliche stattfindende Reifungsprozesse
  zwischen den Beiden Beobachtungszeiten
• Reifungsprozesse sind mit experimentellem und
  quasi-experimentellem Kontrollgruppendesign
  identifizierbar.

14
Inhalt (3)

• Einführung (Björn)
• Vorexperimentelle Designs (Björn)
• Experimentelle Designs (Patrick)
• Quasi-Experimente und Evaluationsforschung
  (Markus)

15
Experimentelle Designs - Inhalt

• Wann spricht man von einem experimentellen
  Design?
• Probleme experimenteller Designs
• Lösungsansätze
• Wo können experimentelle Designs nicht angewendet
  werden?
• Zusammenfassung der Vor- und Nachteile

16
Definition experimentelles Design

• Mindestens 2 experimentelle Gruppen
• Randomisierung der Teilnehmer
• Unterscheidung in Versuchs- und Kontrollgruppe
  anhand eines Stimulus
• R X O Versuchsgruppe
• R O Kontrollgruppe
• R Randomisierung (zB Arbeitslose)
• X Stimulus (Qualifizierungsprogramm)
• O Beobachtung (Beschäftigungschancen)
• Blindversuch, Doppelblindversuch

17
Probleme bei experimentellen Designs

• Nicht Faktor X, sondern ein mit X konfundierter
  Faktor Y ist der kausale Grund
• (nicht Qualifikationsprogramm sondern geregelter
  Tagesablauf wirkt Arbeitslosigkeit entgegen)
• Hawthorne-Effekt
• (Erhöhte Aufmerksamkeit führt zu
  Verhaltensänderung)
• Verzerrung durch Randomisierung
• (Kontrollgruppe könnte sich als Verlierer
  verstehen)
• Missglückte Randomisierung

18
Strategien zur Problemumgehung

• Nicht Faktor X, sondern ein mit X konfundierter
  Faktor Y ist der kausale Grund
• ? weitere Experimente um den wahren Kausalgrund
  herauszuarbeiten
• Hawthorne-Effekt
• ? Blind- und Doppelblindversuche
• Verzerrung durch Randomisierung
• ? eher die Ausnahme, quasi-experimentelle Designs
• Missglückte Randomisierung
• ? Kombination von Randomisierung und Matching

19
Interne und externe Validität

• Interne Validität Ausblendungsversuche von
  Störvariablen
• Externe Validität Generalisierbarkeit
  experimenteller Effekte
• Zur Vermeidung von 8 möglichen Fehlerquellen der
  internen Validität
• Standarddesign
• Vorher-nachher Design
• Solomon-Vier-Gruppen Deisgn
• Zur Vermeidung der 4 möglichen Fehlerquellen der
  externen Validität
• Versuchspersonen aus unterschiedlichen sozialen
  Gruppen
• Feldexperimente
• Wiederholung der Experimente

20
Wo können experimentelle Designs nicht angewandt
werden?

• Beispiele
• Schüler können nicht per Random auf verschiedene
  Schulen geschickt werden
• Notenbanken können nicht unterschiedliche
  Zinssätze für bestimmte Zielgruppen festlegen

21
Zusammenfassung der Vor- und Nachteile

• Vorteile
• - Produktion im Experiment
• Neutralisierung von Drittvariablen
• Ideale Designs zum Test von Kausalhypothesen
• Nachteile
• externe Validität
• Reaktivität
• hoher Aufwand bei simultaner Prüfung
• - teils praktische und ethische Hindernisse bei
  Durchführung

22
Ein Beispiel Verantwortungsdiffusion

• Hypothese
• Je größer die Zahl der Zuschauer in einer
  Hilfeleistungssituation, desto geringer ist die
  Wahrscheinlichkeit, dass eine bestimmte Person
  Hilfe leistet.
• Überprüfung im Experiment
• Hilfeleistung Reaktionszeit
• Versuchsperson Opfer 85 52sek
• Versuchsperson, Opfer 62 93sek
• weitere Person
• Versuchsperson, Opfer 31 166sek
• 4 weitere Personen
• Opfer markiert epileptischen Anfall, als
  Hilfeleistung galt Herbeirufen des
  Versuchsleiters
• Apathie, Entfremdung, Anomie waren nicht
  verhaltensrelevant

23
Inhalt (4)

• Einführung (Björn)
• Vorexperimentelle Designs (Björn)
• Experimentelle Designs (Patrick)
• Quasi-Experimente und Evaluationsforschung
  (Markus)

24
Quasi-Experimente und Evaluationsforschung -
Inhalt

• Definition
• Beispiel 1 John Wayne Atomtests
• Regressionseffekt
• Beispiel 2 Hamburger Verkehrsbetriebe
• Unerwünschte Nebeneffekte

25
Definition

• Vereinfachtes Experiment
• Quasi Experimente sind meist Experimente ohne
  Randomisierung
• Zentrales Problem von Quasi-Experimenten
  Drittvariableneffekte können nicht ausgeschlossen
  werden
• Anwendungsbeispiele
• Versuchsanordnungen mit nicht gleichartiger
  Kontrollgruppe (ohne Zufallsaufteilung!) Bsp.
  Starb John Wayne an Atomtests?
• Zeitreihen-Experimente, Bsp.Hamburger-Verkehrsbet
  riebe

26
Beispiel 1 Starb John Wayne an Atomtests?

• Filmdreharbeiten in der Nähe des Atomtestgeländes
• 220 Personen beteiligt
• 150 Rekonstruierte Krankengeschichten
• 91 Filmleute starben an Krebs (61)
• Statistik 30 / 150 (Krebsrisiko in der
  Normalbevölkerung 20)
• PROBLEME bei dieser Betrachtung
• systematischer Ausfall im Extremfall wurden alle
  Krebserkrankungen bekannt, d.h. tatsächliches
  Risiko 91/220 41
• Nicht-Vergleichbarkeit der Gruppen Drittvariable
  Rauchen bei Filmleuten besonders verbreitet

27
Regressionseffekt

• Statistische Tendenz zur Mitte
• Beispiel Körpergröße
• Besonders kleine Eltern haben größere Kinder
• Besonders große Eltern haben kleinere Kinder
• Andernfalls nur Zwerge und Riesen
• Beispiel Kriminalität
• Maßnahmen erfolgen meist nach Jahren mit
  besonders hoher Kriminalitätsrate
• Rate sinkt im Folgejahr meist von selbst, das
  Sinken wird dann aber den Maßnahmen zugeschrieben
• Kontrolle durch Zeitreihen
• Trend vor/ nach einer Maßnahme (Identifikation
  von Reifung und Regressionseffekten)
• Multiple Zeitreihen zur Absicherung gegen
  zwischenzeitliche Geschehen

28
Beispiel 2 Hamburger Verkehrsbetriebe

• nach einem Jahr mit extrem hoher
  Schwarzfahrerquote
• Verdoppelung der Strafe
• Rückgang im Folgejahr
• ? Erfolg der Maßnahme oder Fluktuation?
• Abbildung Zeitreihe der Schwarzfahrerquoten in
  Hamburg

29
Beispiel 2 Hamburger Verkehrsbetriebe

• Multiple Zeitreihe mit Vergleichsgruppe Bremen
• ? je längerfristig desto besser
• Abbildung multiple Zeitreihen der
  Schwarzfahrerquoten in Hamburg und Bremen

30
Unerwünschte Nebeneffekte

• Sozialwissenschaftliche Evaluationsforschung muss
  auch Nebenwirkungen berücksichtigen
• Zielkatalog mit Leistungskriterien festlegen
• Unabhängigkeit vom Auftraggeber wünschenswert
• Beispiel mengenabhängige Abfallgebühr
• Wirkung Reduktion der Abfallmenge
  (vorher-nachher Vergleich, Kontrollgruppe,
  Zeitreihe)
• Aber unerwünschte Nebenwirkungen
• Wilde Deponien
• Verbrennen von Müll im Hauskamin
• Entsorgen von Hausmüll über Glascontainer,
  Parkmistkübel etc.