Raymond J. Carroll

1

Non/Semiparametrische Regression und
clustered/Longitudinal Daten

• Raymond J. Carroll
• Texas AM University
• http//stat.tamu.edu/carroll
• carroll_at_stat.tamu.edu

Es heißt Gerglich gemischt Deutsch und English
2
Palo Duro Canyon, der Grand Canyon of Texas
West Texas ?
Ost Texas ?
Wichita Falls, meine Heimat (ja, ich bin ein
Texaner!)
Guadalupe Mountains National Park (3,000 meter
hoch)
College Station, Texas AM University
I-45
Big Bend National Park (Wüste und Berge)
I-35
3
Dank an
Raymond Carroll
Alan Welsh
Oliver Linton
Für die Artikel Bitte besuchen Sie
meine Webseite
Xihong Lin
Naisyin Wang
Enno Mammen
4
Übersicht

• Longitudinal Modelle
• Panel Daten
• Hintergrund
• Splines Kerne für unabhängige Daten
• Daten mit Korrelation
• Splines Kerne?

5
Panel Daten (Einfaches Beispiel)

• i 1,,n Cluster oder Individuen
• j 1,,m Beobachtungen per Cluster

Subjekt/ Cluster t1 t2 tm
1 X X X
2 X X X
X
n X X X
6
Panel Daten

• i 1,,n Cluster/Individuen
• j 1,,m Beobachtungen per Cluster
• Wichtige Punkte
• Clustergröße m fest
• Das ist nicht ein multiples Zeitreihen Problem
  mit Clustergröße ?
• Bemerkungen zum einfachen Zeitreihen Problem
• Ende des Vortrags

7
Die Marginal Nicht-Parametrische Modell

• Y Response (Zielgröße)
• X Kovariablen in einem Cluster
• Frage Können wir die Korrelation für eine
  bessere Effizienz benutzen?

8
Ein nicht standard Beispiel Forschung zu
Darmkrebs (Tierversuch) Daten aus einzelnen
Zellen in Ratten mit DNA schaden,
differentiation, proliferation, apoptosis, P27,
etc.
9
Unabhängige Daten

• Splines (smoothing, P-splines, etc.) mit penalty
  parameter l
• Ridge Regression
• Etwas Bias, kleine Varianz
• ist über-parameterisiert LS
• ist eine polynomiale Regression

10
Unabhängige Daten

• Kerne (lokale Durchschnitte, lokale lineare,
  usw.), mit Kerndichte Funktion K und Bandweite h
• Wenn die Bandweite h ? 0 geht, sind nur
  Beobachtungen mit X in der Nähe von t wichtig

11
Unabhängige Daten

• Wichtige Methoden
• Splines
• Kerne
• Smoothing parameters sind notwendig für beide
  Methoden
• Schätzungen ähnlich in den meisten Datensätzen
• Erwartung Splines Kerne es gibt eine Kern-
  Funktion und eine Bandweite in welchen Kerne und
  Splines gleich sind (asymptotisch)

12
12
Unabhängige Daten

• Splines und Kerne sind Linear in den Responses
• Silverman es gibt eine Kern Funktion und eine
  Bandweite in welchen
• gleich sind
  (asymptotisch)
• In diesem Sinn, Splines Kerne

13
Beispiel Die weight Funktionen Gn(t.25,x) für
unabhängige Daten in einen spezifischen Fall
Kern
Smoothing Spline
Beachten Sie die Ähnlichkeit die Formen. Nur die
Xs in der Nähe von t0.25 bekommen Gewicht
14
Working Unabhängigkeit

• Working Unabhängigkeit wenn man alle
  Korrelationen ignoriert
• Korrektur der Standardfehler später
• Vorteil Einfach
• Nachteil möglicher Verlust von Effizienz
• Beispiel endes des Vortrags
• Standard Methode zum Beispiel, Zeger Diggle,
  Hoover, Rice, Wu Yang, Lin Ying, etc.

15
Working Unabhängigkeit

• Working Unabhängigkeit
• Weighted Splines und weighted Kerne sind linear
  in den Responses
• Das Silverman Resultat ist immer noch gültig
• In diesem Sinn, Splines Kerne

16
Benützung der Korrelation

• Für abhängigen Daten ist die Spline Methode
  klar
• Sei ein Working Kovarianz Matrix
  sein
• Penalized Generalized least squares (GLS)
• GLS Ridge Regression
• Weil die Splines auf der Likelihood Methode
  basieren, kann man sie schnell auf neue Probleme
  verallgemeinern

17
Benützung der Korrelation

• Für die abhängigen Daten, die Spline Methologien
  sind klar
• Kerne sind nicht so klar
• Aber man kann theoretische Rechnungen mit Kernen
  machen
• lokal likelihood Kern Ideen sind Standard in
  unabhängigen Daten Problemen
• Die meisten Arbeiten für Kerne mit Korrelationen
  haben die lokal likelihood Idee benutzt.

18
Kerne und Korrelation

• Problem Wie kann man locality für Kernels
  definieren?
• Ziel Die Schätzung der Funktion von t
• diagonal Matrix mit standard Kern
  weight
• Standard Kern Methode GLS aber inverse
  Kovariance Matrix ist
• Dieser Schätzer ist lokal

19
Kerne und Korrelation
beispiel m3, n35 Exchangeable Korrelations
Struktur Rot r 0.0 Grün r
0.4 Blau r 0.8 Beachten Sie die Kerne
sind lokal
Die weight Funktion Gn(t.25,x)
20
Splines und Korrelation
Beispiel m3, n35 Exchangeable Korrelations
Struktur Rot r 0.0 Grün r
0.4 Blau r 0.8 Beachten Sie die
Splines sind nicht lokal
Die weight Funktion Gn(t.25,x)
21
Splines und Korrelation
Beispiel m3, n35 Komplexe Korrelation
Struktur Rot Fast singular Grün r
0.0 Blau r AR(0.8) Beachten Sie die
Splines sind nicht lokal
Die weight Funktion Gn(t.25,x)
22
Splines und Standard Kerne

• Wenn man versucht die Korrelation zu benutzen
• Standard Kerne bleiben lokal
• Splines sind nicht lokal
• Numerische Ergebnisse können theoretisch
  bestätigt werden

23
Kerne und Korrelation Überraschungen

• GLS mit weight
• Optimal working Kovarianzmatrix ist working
  Unabhängigkeit!
• Bei Benutzung der richtigen Kovarianzmatrix
• Varianz wird größer
• MSE wird größer
• Splines Kerne (Meiner Meinung nach nicht
  diese Kerne)

24
Pseudo-Responses Kern Methoden

• Bessere Kern Methoden sind möglich
• Pseudo-Responses Original Methode
• Konstruktion Lineare Transformation von Y
• Erwartungswert Q(X)
• Kovariance Diagonal Matrix
• Diese Methode ist eine Transformation des
  original Responses, aber ohne Änderung des
  Erwartungswertes

25
Pseudo-Observation Kernel Methods

• Entwicklung Lineare Transformation des Y
• Erwartungswert Q(X)
• Kovarianz Diagonal Matrix
• Iterativ
• Effizienz Im allgemein, größere Effizienz als
  bei working Unabhängigkeit
• Beweiß des Prinzips Eine Kern Methode kann so
  konstruiert werden, dass man die Korrelation
  benutzen kann

26
Vergleich der Effizienz der Splines und der
Pseudo-Response Kerne
Exchng Exchangeable mit Korrelation 0.6 AR
autoregressive mit Korrelation 0.6 Near Sing
fast singuläre Matrix
27
Was machen GLS Splines?

• GLS Splines sind in Wirklichkeit working
  Unabhängigkeit Splines mit pseudo-responses
• Defininiere
• GLS Splines sind working Unabhängigkeit Splines

28
GLS Splines und SUR Kerne

• GLS Splines sind working Unabhängigkeit Splines
• Algorithmus Iteration bis zur Konvergenz
• Idee für Kerne, machen Sie die gleichen
  Rechnungen
• Das ist die Naisyin Wang SUR Methode

29
SUR Kernel Methods

• Es ist wohl bekannt dass das GLS Spline ein
  analytische genaue Form hat
• Wir haben gezeigt dass die SUR Kern Methode auch
  ein analytische genaue Form hat
• Beide Methoden sind linear in dem Responses
• Schwierige Rechnungen zeigen dass Silvermans
  Ergebnis für die SUR Kern Methode immer noch
  stand hält
• Splines SUR Kerne

30
lokal oder nicht?

• GLS Splines und SUR Kerne sind nicht lokal
• Mancher findet dieses überraschend
• Wir brauchen eine andere Formulierung
• Wir mochten die Funktion von t zu erschätzen
• Ergebnis Wenn ein X in der Nähe von t ist, haben
  alle Responses im Cluster Gewicht (nicht nur die
  Kovariablen in der Nähe von t)
• lokalheit Definiert für die Cluster, nicht für X

31
lokal oder nicht?

• Wangs SUR Kerne pseudo Kerne mit kluger
  linearer Transformation. Definieren Sie
• SUR Kerne sind working Unabhängigkeit Kerne

32
Im welchem Sinn sind Splines lokal?

• Splines SUR Kerne (Silverman-type Ergebnis)
• GLS Spline
• Iterativ
• Standard unabhängig Spline smoothing
• SUR pseudo-Responses für jede Iteration
• GLS Splines sind nicht lokal
• GLS Splines sind lokal in (der gleichen!)
  pseudo-Responses

33
Zeitreihen Probleme

• Zeitreihen ähnliche Probleme
• Originale pseudo-Response Methode
• Zwei Stufen
• Lineare Transformation
• Erwartungswert Q(X)
• unabhängige Fehler
• Dann wenden Sie die Standard Kern Methode an
• Möglichkeit für große Effizienz unendlich für
  AR Probleme mit großer Korrelation

34
Zeitreihen AR(1) Beispiel, Erste Pseudo-Response
Methode

• AR(1), Korrelation r
• Regress Yt0 an Xt

35
Zeitreihen Probleme

• AR(1) Fehler mit Korrelation r
• Effizienz der pseudo-Response Methode vergleichen
  mit working Unabhängigkeit

36
Semiparametrisches Modell

• Y Response
• X,Z Zeit variierende Kovariablen
• Frage Kann man die Effizienz durch die Benützung
  der Korrelation verbessern??

37
Profil Methode

• 2 Stufen
• Stufe I Für jedes b, regress (wie?)
• Stufe II Regress (wie?)

38
Profil Methode

• Stufe I Für jedes b, regress (wie?)
• Möglichkeiten
• Working Unabhängigkeit
• Standard Kerne
• Pseudo Response Kerne
• SUR Kerne

39
Profil Methode

• Stufe II Regress (wie?)
• Möglichkeiten
• Working unabhängigkeit
• GLS, mit der Benutzung der Kovarianz Structur

40
Profil Methode

• Die Verbindung des SUR Kerne mit GLS ist
  semiparametrich asymptotisch effizient

41
Longitudinal CD4 Count Daten (Zeger und Diggle)
Semiparametric GLS refit
Working Unabhängigkeit
Semiparametric GLS Z-D
Est. s.e.
Est. s.e. Est. s.e.
Alter .014 .035 .010 .033 .008 .032
Anzahl von Zigaretten pro Tag .984 .192 .549 .144 .579 .139
Drogengebrauch 1.05 .53 .58 .33 .58 .33
von Partnern -.054 .059 .080 .038 .078 .039
Depression? -.033 .021 -.045 .013 -.046 .014
42
Folgerung I Nicht-parametrische Regression

• Bei Nicht-parametricher Regression
• Kernels Splines für working Unabhängigkeit
  (W.I.)
• Working Unabhängigkeit ist nicht effizient
• Standard Kerne Splines für korrelierte
  Daten

43
Folgerung II Nicht-parametrische Regression

• In Nicht-parametricher Regression
• Pseudo-response Methode hat mehr Effizienz als
  working Unabhängigkeit
• SUR Kerne Splines für korrelierte Daten
• Splines und SUR Kerne sind nicht lokal
• Splines und SUR Kerne sind lokal in
  pseudo-Responses

44
Folgerung III Semiparametrische Regression

• In semiparametrischer Regression
• Die Methode der Schätzung hat einen Effekt
• SUR Kerne (und GLS Splines) plus profile-GLS sind
  effizient (asymptotisch)
• In der Praxis Unterschiede zwischen der working
  Unabhängigkeit und Semiparametrische GLS in den
  Schlüssen

45
Eine Bermerkung

• Alle Schwierigkeiten in diesem Problem kommen
  durch unsere Versuche, gute Kern Methoden zu
  definieren
• Abschließend, Kerne haben nicht mehr Efficienz
  als Splines, und Sie sind schwieriger zu
  definieren
• Aber, mit Kerne kann man theoretische Rechnungen
  machen

46
Eine Werbung
Semiparametric Regression Cambridge University
Press, 2003
Raymond Carroll
David Ruppert
Matt Wand
47
The Numbers in the Table
The decrease in s.e.s is in accordance with our
theory. The other phenomena are more difficult to
explain. Nonetheless, they are not unique to
semiparametric GEE method. Similar discrepant
outcomes occurred in parametric GEE estimation in
which q(t) was replaced by a cubic regression
function in time. Furthermore, we simulated data
using the observed covariates but having
responses generated from the multivariate normal
with mean equal to the fitted mean in the
parametric correlated GEE estimation, und with
correlation given by Zeger und Diggle. The level
of divergence between two sets of results in the
simulated data was fairly consistent with what
appeared in the Table. For example, among the
first 25 generated data sets, 3 had different
signs in sex partners und 7 had the scale of drug
use coefficient obtained by WI 1.8 times or
larger than what was obtained by the proposed
method.