??? ?? Exploring heterogeneity

1
??? ??Exploring heterogeneity
2
??? ??? ????? ?? Steps of a systematic review

1. ?? ?? ??
2. ?? ?? ??
3. ?? ?? ??
4. ???? (???) ??
5. ?? ?? ??
6. ?? ??
7. ?? ?? ???? ??? ?? ??
8. ?? ?? ? ??
9. ????? ?? ? ?? ??
10. ???? ?? ? ??? ??

3
??Outline

• ??????
• ???? ??? ??
• ??? ??
• ??? ??? ?? ??

4
??????What is heterogeneity?

• ?? ?? ??

• ???? 3?? ??
• ??? ???
• ???? ???
• ??? ???

5
??? ???Clinical diversity

• ?????
• ??, ??, ??, ??, ?? ?? ?? ?
• ???
• ??/??, ?? ??, ?? ?? ??, ???? ?? ??, ???? ??, ???
  ?? (????, ???, ?? ??) ?
• ?? ??
• ???? ??, ?? ??, ????? ??, ??? (cut-off points)

6
???? ???Methodological diversity

• ?? ??
• ?) ????? vs ???? ??, ?? vs ??, ?? vs ?? ??? ??
• ??
• ??? ?? (?? ??, ?? ?), ?? ?? ?

7
??? ???Statistical heterogeneity

• ?? ???? ?? ??? ??? ?? ??? ??? (??) ??? ??.
• ???? ?? ????? ??? ?? ? ??? ???
• ??? / ???? ???? ?? ???
• ???? ???? ?? (?? ??? ???? ??? ? ??)
• ??? ?? ???, ???? ?? ?? ? ??? ??? ?????, ?? ??? ?
  ??? ? ? ??

8
??Outline

• ??????
• ???? ??? ??
• ??? ??
• ?????? ?? ??

9
?? ?? ? ?? ??Fixed-effect vs random-effects

• RevMan ? ??-?? ? ?? ??? ? ?? ??
• ???? ?? ?? ?? ??? ???
• ?? ??? ????, ????? ???? ??? ??? ?

10
?? ?? ??Fixed-effect model

• ?? ??? ??? ?? ??? ??? ??? ??
• ??? ?? ??? ??
• ??? (??) ??? ???, ?? ?? ??? ??? ??

??
Source Julian Higgins
11
?? ?? ??Random-effects model

• ? ?? ?? ?? ??? ??? ??? ???
• ? ??? ???? ?? ??? ??
• ?? ? ? ?? ? ?? ??? ?? ??? ?? (tau2, ?2)

Source Julian Higgins
12
???Whats the difference?

• ??-?? ?? ???
• ???? ?? ??, ??-?? ??? ??? ?? ??
• ???? ??? ??, ??-???? ??? ?????, ????? ???
• ? ?? ? ?? ?? ????? ?? ??? ??, ?? ?? ??? ???? ?.
• ???? ??? ??? ??? ?? ? ?? ? ??

13
??? ??No heterogeneity
Fixed
Random
Adapted from Ohlsson A, Aher SM. Early
erythropoietin for preventing red blood cell
transfusion in preterm and/or low birth weight
infants. Cochrane Database of Systematic Reviews
2006, Issue 3.
14
?? ?? ??? ??Some heterogeneity
Fixed
Random
Adapted from Adams CE, Awad G, Rathbone J,
Thornley B. Chlorpromazine versus placebo for
schizophrenia. Cochrane Database of Systematic
Reviews 2007, Issue 2.
15
??? ?? ??Small study effects
Fixed
Random
Adapted from Li J, Zhang Q, Zhang M, Egger M.
Intravenous magnesium for acute myocardial
infarction. Cochrane Database of Systematic
Reviews 2007, Issue 2.
16
?? ??? ???? ????Which to choose?

• ????? ???? ?? ?? ??
• ???? ?? ??? ?? ???? ???? ??????
• ?? ?? ? ??? ??
• ?? ??
• ????? ? ?? ??? ??
• ?? ??
• ??? ??
• ??? ??? ???, ??? ??, ?? ?? ?? ??? ??? ?? ?? ? ??
  ?? ??? ???? ?? ? ??

17
??Outline

• ??????
• ???? ??? ??
• ??? ??
• ??? ??? ?? ??

18
??? ??Identifying heterogeneity

• ??? (Forest plot)? ??? ??? ??
• ?? ?? (c2) ?? (Q test)
• ??? ??? ?? ?? I2 ???

19
??? ??Visual inspection
20
?? ?? ??The chi-squared (c2) test

• ???? ????? ??? ???
• ??? ??? ???? ???? ??
• ??? ?? ?? ?? ????? ???? ?? ???? ??? ? ??
• ???? ???? ??, (?/???) ??? ??? ??? ????? ??
• RevMan ?? ?? ???

21
I2 ???The I2 statistic

• I2 ???? ????? ?? ??? ???? ??? ? ?? ??? ??? ??? (0
  100)
• ?? ??? ???? ??? ??? ??
• ?? ??? ???? ?? ??
• RevMan ?? ?? ???
• ?? ? ??? ???

22
I2 ???The I2 statistic
23
chi2 29.55 df 13 P 0.0055
I2 56
I2 51
chi2 6.14 df 3 P 0.11
Source Julian Higgins
24
??? ?? ? ??? ?? ????What to do about
heterogeneity

• ?? ??? ??? ???? ??
• ?? ?? ? ???? ?? ??
• ??, ?? ??? ??? ??? ??
• ?? ???? ?? ???
• ??-?? ???? ?? ??? ???? ??
• ??? ?? ?? ??-?? ?? ?? ??? ??? ??? ??????
• ?? ??? ?? ?? ?? ??
• ???? ???? ???? ? ??? ?? ?? ??
• ??? ? ???/ ???? ??? (comparability) ? ??
• ??? ?? ?? ? ?
• ?? ?? / ?? ??? ??
• ???? ??? ?? ??
• ???? ??? ??

25
??Outline

• ??????
• ???? ??? ??
• ??? ??
• ??? ??? ?? ??

26
??? ??? ?? ??Exploring your results

• ??? ??? ??? ??? ??? ????
• ??? ??? (????, ???, ?? ??)
• ???? ??? (????, ??? ??)
• ?? ??? ????? ???? ??? ?
• ??? ??? ?? ??? ? ??? ???? ??
• ? ?? ?? ??? ?? ??? ??? ??
• ??-?? ? ??? ?? ??

27
? ?? ??Two methods available

• ???? ??
• ?? ???, ?? ??? ??? ???? ?? ? ??
• ??, ??? ??? ??? ??? ??
• ??-????
• ??? ? ??? ??? ?? ???? (interaction) ??
• RevMan ??? ?? ??

28
?? ? ????Proceed with caution

• ???? ?? ??? ??? ?? ???, ??? ??? ?? ?? ??
• ?? ? ?? ???? ??? ?
• ?? ?? ??? ?? ?? ???? ?? ?? ??
• ??? ??? ?? ??? ???? ?? ??
• ?? ??? ?? ?
• ?? ??? ??? ???? ??, ?????? ?? ??? ?? ??? ??? ?

???? ?? ??? ?? ??? ?? ??
29
???? ??? ??Interpreting subgroup analyses

• ???? ?? ??? ?? ?? ? ???? ??
• ???? ? ??? ??? ????
• 2? ??? ?? ????? ??????
• ???? ? ??? ??? ??
• ??? ?? ?? ??? ?? ??? ? ??
• ??-??? ??
• ?? ?? ? ????? ??? ??
• ??? ??? ???? ???, ??? ??? ?? ????
• ??? ????? ????, ?? ??? ?? ? ??

30
???? ?? ??Participant subgroups

• Based on Stead LF, Perera R, Bullen C, Mant D,
  Lancaster T. Nicotine replacement therapy for
  smoking cessation. Cochrane Database of
  Systematic Reviews 2008, Issue 1. Art. No.
  CD000146. DOI 10.1002/14651858.CD000146.pub3.

31
??? ?? ??Intervention subgroups

• Based on Linde K, Berner MM, Kriston L. St John's
  wort for major depression. Cochrane Database of
  Systematic Reviews 2008, Issue 4. Art. No.
  CD000448. DOI 10.1002/14651858.CD000448.pub3.

32
??? ??Sensitivity analysis

• ???? ???? ??
• ???? ?? ???? ?? ???? ??? ??
• ?? ?? ?? ??
• ?? ??? ??? ??
• ?? ???? ??
• ???? ?? ??
• ?? ???? ??? ???? ?? ???
• ????
• ??? ?? / ??? ???? ?? ???
• ???? ?? ?? ? ?? ?? ?? ??? ??
• ??? ??? ??, ??? ??? ?? ??? ?? ? ??
• ??? ? ??, ?? ??? ???? ??

33
?????? ???? ??What to include in your protocol

• ??? ??
• ?? ?? ?, ?? ?? ? ???? ??
• ??? ?? ? ??? ?? (I2 ?)
• ?? ??
• ??-?? ?? ??-?? ?? (? ? ??? ??)
• ???? ?? ? ??? ??
• ????? ???? ??
• ??? ??? ?? ?? ?? ??

34
(No Transcript)
35
?? ?? ??Take home message

• ??? ????, ?? ?? ???? ??? ? ?? ??? ? ? ??? ?? ????
  ?? ? ??? ??? ???
• ?? ???, ???? ???? ?? ?? ? ??
• ?? ? ??-?? ??? ???? ?? ?? ?? ??? ???
• ???? ??? ?? ? ??? ??? ?

36
References

• Deeks JJ, Higgins JPT, Altman DG (editors).
  Chapter 9 Analysing data and undertaking
  meta-analyses. In Higgins JPT, Green S
  (editors). Cochrane Handbook for Systematic
  Reviews of Interventions Version 5.1.0 updated
  March 2011. The Cochrane Collaboration, 2011.
  Available from www.cochrane-handbook.org.

Acknowledgements

• Miranda Cumpston ??
• Georgia Salanti, Julian Higgins, Steff Lewis, ???
  ???? ?? (the Cochrane Statistical Methods Group),
  ?? ??? ?? (the Australasian Cochrane Centre) ?
  ???? ??? ?? (the Dutch Cochrane Centre) ? ?????
  ???? ?
• Translated by Kun Hyung Kim, Hyung Sik Ahn