Diagnosztikai tesztek szenzitivit

1
Diagnosztikai tesztek szenzitivitása és
specificitása, pozitív és negatív prediktív
értéke, ROC analízis, a klinikai döntéshozatal
folyamata
2
HOGYAN HOZ A KLINIKUS DÖNTÉST A DIAGNOSZTIKAI
TESZTEK HASZNÁLATÁRA VONATKOZÓAN ?

• Példa 27 éves no, 17 hetes terhes, 5 éve IDDM,
  tehesség alatt magas vércukor értékek. Orvoshoz
  fordul mi annak a valószínusége, hogy gyermeke
  fejlodési rendellenességgel születik? Irodalom
  prevalencia rosszul kontrollált diabetes
  esetében 20-30. Serum a-foetoprotein tesztje
  abnormális. Ennek sz 34, sp 86. El kell-e
  végezni az ultrahang vizsgálatot, melynek sz
  56, sp99,5)?
• Gyanú index vagy a priori valószínuség a
  prevalencia módosítva a beteg sajátosságaival
• KÜSZÖB-MODEL

3
Tttesting treshold
Trx treatment treshold
A küszöbértékek függnek a dg teszt rizikója, a
kezelés haszna, a kezelés kockázata, a test
pontossága. TEHÁT A DG TESZT PONTOSSÁGÁNAK
ISMERETE ESSZENCIÁLIS!!!
4
Általános táblázat a szenzitivitás (érzékenység)
és a specificitás (fajlagosság) definiálására
A teszt A betegség fennáll A betegség nem áll fenn
Pozitív VP (valódi pozitív) ÁP (ál-pozitív)
Negatív ÁN (ál-negatív) VN (valódi negatív)
TP, TN true positive, negative , FP, FN false
positive, negative
5

•          Szenzitivitás azoknak a betegeknek
  százalékaránya, akiknek a tesztje pozitív
• szenzitivitás VP/(VPÁN)
•          Specificitás azoknak a nem betegeknek
  a százalékaránya, akiknek a tesztje negatív
• specificitás VN/(VNÁP)
•  

6
C1q antitest mérése magyar SLE-s betegekben és
egészséges magyar kontrollokban. Pozitív
nagyobb, mint a negatív csoportban mért átlag
2. S.D. 66 E/ml (korábbi mérés holland
kontrollcsoportban 90 E/ml)
A teszt Beteg (SLE-s) Nem beteg Összesen
Pozitiv (gt66 E/ml) 36 4 40
Negatív (lt66 E/ml) 86 188 274
Összesen 122 192 314
7
Példánkban

• A C1q antitest kimutatás szenzitivitása
  36/(3686) 36/122 0,295, tehát durván minden
  harmadik SLE-s beteg vérében jelen van ez az
  autoantitest, kétharmadukban viszont nincs.
  Nyilvánvalóan nem alkalmas a teszt annak a
  bizonyítására, hogy valakinek van-e SLE-je.
• A C1q antitest kimutatás specificitása
  188/(1884) 188/192 0,979, tehát az
  egészséges emberek 98-ában nem mutatható ki C1q
  antitest.

8
Ezek az értékek a határérték megadásától függnek,
ha pl. a régi, 90 E/ml-es határértéket veszem,
akkor
A teszt Beteg (SLE-s) Nem beteg Összesen
Pozitiv (gt90 E/ml) 34 4 38
Negatív (lt90 E/ml) 88 188 276
Összesen 122 192 314
a specificitás nem változik, a szenzitivitás
34/(3488)-ra 34/122 0,279-re csökken
9
Ha a kontrollcsoportban mért értékek 90.
percentilisét (90) (20 E/ml) vesszük határnak,
akkor jelentosen változnak az értékek
A teszt Beteg (SLE-s) Nem beteg Összesen
Pozitiv (gt20 E/ml) 54 20 74
Negatív (lt20 E/ml) 68 172 240
Összesen 122 192 314
Szenzitivitás 54/122 0,442, Specificitás
172/192 0,896  
10
A teszt prediktív értékei

• Pozitív prediktív érték ha az adott teszt
  pozitív, akkor mennyi annak az esélye, hogy a
  vizsgált egyén beteg?
• pozitív prediktív érték (PPÉ) VP/(VPFP)
•  
• Negatív prediktív érték ha az adott teszt
  negatív, akkor mennyi annak az esélye, hogy a
  vizsgált egyén nem beteg?
• negatív prediktív érték (NPÉ) VN/(VNÁN)

11
Példánkban

• pozitív prediktív érték 36/(364) 0,90, tehát
  9 a 10-hez annak az esélye, hogy az az egyén,
  akinek a vérében gt66 E/ml a C1q elleni
  autoantitestek titere, SLE-s.
• negatív prediktív érték 172/(68172) 172/240
  0,717, tehát 7 a 10-hez annak az esélye, hogy ha
  valakinek a vérében nincs autoantitest a C1q
  ellen, akkor o nem SLE-s.

12
AZONBAN!!!

• Ezek a számuk egymagukban nem sokat jelentenek,
  tudni kell azt is hozzá, hogy az adott betegség a
  populációban milyen gyakran fordul elo
  (prevalencia). Ha ui. a vizsgálatban változtatjuk
  a kontrollcsoport egyedei és a betegcsoport
  egyedei számának arányát, akkor változik az egész
  vizsgált mintában (betegekkontrollok) a betegek
  gyakorisága és nagymértékben változik a PPÉ és a
  NPÉ is.

13
Példánkban

• gondolatban megkétszerezzük a kontroll-csoport
  számát és feltételezzük, hogy ugyanolyan
  százalékukban lesz a C1q antitest pozitív és
  negatív.
• Az eredeti minta esetében az SLE prevalencia
• 122/(122192) 122/314 38,9 volt
• Ha a kontrollok számát felemeljük 384-re, akkor
  az SLE-sek prevalenciája a mintában
• 122/(122384) 122/506 24,1 lesz

14
Felemelt számú kontrollcsoport
A teszt Beteg (SLE-s) Nem beteg Összesen
Pozitiv (gt66 E/ml) 36 8 44
Negatív (lt66 E/ml) 86 376 462
Összesen 122 384 506
A szenzitivitás és a specificitás nem változik, a
PPÉ és a NPÉ igen PPÉ 36/(368) 36/44
0,818 (régi 0,90), NPÉ 376/(86376) 376/462
0,814 (régi 0,717).
15
Tehát az egy vizsgálatban kapott NPÉ és PPÉ csak
tájékoztató jellegu, nem általánosítható.

• Az általánosítás csak akkor lehetséges, ha
  ismerjük az adott betegség prevalenciáját az
  összpopulációban. (Altman Bland, BMJ 309, 102,
  1994) 
• Az SLE prevalenciája (PR) az összpopulációban
  (Uramoto KM et al Arthr.Rheum 42, 46, 1999)
  1220/1 000 000
• a számításhoz kell még a teszt szenzitivitása
  (SZ) és specificitása (SP)

16
A valódi PPÉ és NPÉ értékek
a PR-t 1 000 000 lakosra számoljuk, ekkor a PR
0,0012, az 1-PR 0,9988, az SZ 0,295 az SP
0,979.
17
0.0166
Tehát a C1q antitest kimutatás valódi
PPÉ-e 0,0166
Tehát a C1q antitest kimutatás valódi
NPÉ-e 0,999
18
Konklúzió

• még a jó szenzitivitású és igen specifikus
  tesztnek is igen alacsony a PPÉ-je, ha az adott
  betegség prevalenciája alacsony az
  összpopulációban. Tehát a C1q antitest vizsgálat
  semmiképpen se lenne jó SLE szurovizsgálatra,
  hiszen minden 100 pozitív közül 98 nem lenne
  SLE-s, csak 2 lenne valóban beteg. A NPÉ hiába jó
  (az össz-populációban szurovizsgálatként végzett
  mérés esetében 1 az 1000-hez annak a
  valószínusége, hogy a C1q antitestre negatív
  egyénnek SLE-je legyen), a betegség alacsony
  prevalenciája miatt a betegség kizárására végzett
  vizsgálatnak orvosilag semmilyen értelme nincsen

19

• Tételezzük azonban fel azt, hogy a vizsgálatot
  SLE-re klinikai gyanújeleket mutató betegeknél
  végeztük el és azt, hogy ezek közül minden
  tizedik beteg valóban SLE-s. Ekkor a PR0,10, az
  (1-PR)0,90. Kiszámítható, hogy ekkor a
  PPÉ0,768, a NPÉ0,859.
• A PPÉ azt jelenti, hogy ebben a szelektált
  populációban minden 100 SLE gyanújelet mutató
  beteg közül, akikben a C1q antitest kimutatható,
  77 SLE-s.
• A NPÉ azt jelenti, hogy ebben a szelektált
  populációban minden 100 olyan beteg közül,
  akiknél a C1q antitest nem mutatható ki, 86 nem
  SLE-s.
• Tehát ebben az esetben a C1q antitest vizsgálat
  egymagában nem diagnosztikus, és nem képes arra
  sem, hogy nagy valószínuséggel kizárja az SLE-t,
  de hasznos információt szolgáltat és kiegészíto
  vizsgálatként alkalmazható.

20
Egy még élesebb példa

• A HIV-antitest kimutatási kitek a legjobb
  specificitású és szenzitivitású tesztek közé
  tartoznak, mindkét érték 0,99 körül van.
• Ha feltételezzük az ismert adatok alapján, hogy
  Magyaroszágon 5000 HIV fertozött él, akkor a
  HIV-infekció PR-ja 5000/10 000 000, tehát 500/1
  000 000 0,0005.
• Tételezzük fel (nem igaz!), hogy a véradók között
  is ugyanekkor a PR (valóban kisebb).
• Kérdés hány ÁP HIV-teszt várható a véradók
  között?
• SP0,99, SZ0,99, PR0,0005,

21
a valódi PPÉ
Ezt azt jelenti, hogy a szurovizsgálat során a
véradó állomásokon kiszurt 100 pozitív (reaktív)
minta közül csak 5 származik HIV szeropozitív
véradótól, 95 ál-pozitív (Valójában még nagyobb
az ÁP ). Verifikálás!!!
A valódi NPÉ
Tehát igen alacsony (a valóságban még
alacsonyabb) annak a valószínusége, hogy egy
szurovizsgálatnál negatívnak talált vér
HIV-fertozöttol származott volna.
22
Példa 27 éves no, 17 hetes terhes, 5
éve IDDM, terhesség alatt magas vércukor értékek.
Orvoshoz fordul mi annak a valószínusége, hogy
gyermeke fejlodési rendellenességgel születik?
Irodalom prevalencia rosszul kontrollált
diabetes esetében 20-30. Serum a-foetoprotein
tesztje abnormális. Ennek sz 34, sp 86. El
kell-e végezni az ultrahang vizsgálatot, melynek
sz 56, sp99,5)?
23
Az a priori valószínuségek figyelembe vétele a dg
tesztek PPÉ és NPÉ-jének kiszámításában. I. A
kontingencia táblázaton alapuló számítás. Csak AFP
FR FR- Összesen
Teszt pos 68 112 180
Teszt neg 132 688 820
Összesen 200 800 1000
PÉÉ 68/1800,378, NPÉ688/8200,839
24
Az a priori valószínuségek figyelembe vétele a dg
tesztek PPÉ és NPÉ-jének kiszámításában. I. A
kontingencia táblázaton alapuló számítás. Csak
ultrahang
FR FR- Összesen
Teszt pos 112 4 116
Teszt neg 88 796 884
Összesen 200 800 1000
PÉÉ 112/1160,966, NPÉ796/8840,900
25
Az a priori valószínuségek figyelembe vétele a dg
tesztek PPÉ és NPÉ-jének kiszámításában. I. A
kontingencia táblázaton alapuló számítás.
AFPultrahang
FR FR- Összesen
Teszt pos 212,8 3,1 215,9
Teszt neg 167,2 616,9 784,1
Összesen 380 620 1000
PÉÉ 212,9/215,90,986, NPÉ616,9/784,10,787
26
Az a priori valószínuségek figyelembe vétele a dg
tesztek PPÉ és NPÉ-jének kiszámításában. II. A
valószínuségi arányon (likelihood ratio) alapuló
számítás

• Likelihood ratio (LR) esély (odds) annak a
  valószínusége hogy egy dg teszt pozitív lesz egy
  betegcsoportban osztva azzal a valószínuséggel,
  hogy pozitív lesz az adott betegségben nem
  szenvedo egyénekben
• Posttest odds LR x pretest odds
• A példában pretest valószínuség 0,20, pretest
  odds 0,20/(1-0,20) 0,20/0,80 0,25
• LRVPR/FPR0,34/0,142,43
• Posttest odds 0,25x2,430,607, posttest
  valószínuség (PPÉ) 0,607/(10,607)0,378

27
Valószínuség és esély átszámítási táblázata
APV Pretest odds Posttest oddsLR
0,10 19 /9
0.20 14 /4
0,25 13 /3
0,33 12 /2
0,50 11 /1
0,66 21 x2
0,75 31 x3
0,80 14 x4
0,90 91 x9
28
Az a priori valószínuségek figyelembe vétele a dg
tesztek PPÉ és NPÉ-jének kiszámításában. III
Nomogram
29
Thomas Bayes 18. sz. angol teológus és
matematikus. Essay toward solving a problem in
the doctrine of chances (1763)
A jelenlegi biometriában a konvencionális,
gyakoriságista (frequentist a valószínuség egy
arányszám, pl. 0,5 a valószínuség egy a
kettohöz) a fordított logikájú gondolkodás
(hipotézis vizsgálat) és számítás az uralkodó, de
lehet, hogy a jövoben (a gyorsabb és nagyobb
kapacitású számítógépeknek köszönhetoen) ez
változni fog bayesian logic
  A bayesianusok részére a valószínuség nem
arányszám, hanem a tudományos tényeken, az eddigi
megfigyeléseken alapuló vélemény. A statisztikai
próbákban a bayesiánusok úgy járnak el, hogy a
korábbi tapasztalatok alapján feltételeznek egy
adott paraméterre vonatkozóan egy valószínuségi
eloszlást (az eddigi ismeretek szerint ilyen és
ilyen értéket a paraméter milyen valószínuséggel
vesz fel), és megvizsgálják, hogy az újonnan
kapott eredmények ezt az a priori valószínuségi
eloszlást megváltoztatják-e, és ha igen, milyen
mértékben. A bayesiánus logika fo gyengesége a
szubjektivitása, fo erénye az, hogy szintetizálja
a régi és az új eredményeket és így egyetlen vagy
néhány új megfigyelés nem okoz hirtelen
szemléletváltást, inkább a további ellenorzésre
sarkal. Fontos pl. közegészségügyi döntéshozók
részére (pl. fogamzásgátlók és a thromboembóliás
szövodmények)
30
Az a priori valószínuségek figyelembe vétele a dg
tesztek PPÉ és NPÉ-jének kiszámításában. IV. A
Bayes theoréma alapján végzett számítás

• Az a priori valószínuségeket (APV) figyelembe
  kell venni a PPÉ kiszámításánál. A Bayes theoréma
  alapján
• PPÉ (SZxAPV)/(SZxAPV)(FPRx(1-APV))
• Példa 0,34x0.20/(0,34x0,20)(0.14x0,80)
  0,068/(0.0680,112)0,068/0,1800,378
• NPÉ (SPx(1-APV)/(SPx(1-APV)(FPRxAPV)

31
A ROC analízis

• Ha igen/nem válaszról van szó, akkor a határérték
  megállapítása nem probléma, ha folyamatos
  adatokat mutató tesztrol, akkor az. Megoldás meg
  kell keresni azt a határértéket a pozitív és
  negatív között, ahol a specificitás és
  szenzitivitás aránylag a legjobb ROC görbe
• ROC reciever operating characteristic plots
  (Altman, Bland BMJ 309,188,1994, Zweig,
  Campbell Clin.Chem. 39, 561, 1993)
• Radarjel kiértékelésre az 50-es években
  kidolgozott módszer.

32
(No Transcript)
33
(No Transcript)
34
(No Transcript)
35
(No Transcript)
36
Példa

• Mind a súlyos CHD-sekben, mind az egészséges
  véradókban mértük a 60 kD családba tartozó emberi
  hosokkfehérjék (hsp60) elleni autoantitestek
  titerét.Magasabb értékeket kaptunk a betegeknél,
  tehát elvileg a mérés megkülönböztetheti a
  betegeket az egészségesektol. De hol legyen a
  határérték, amely felett a teszt pozitív és
  alatta a teszt negatív. R0C ábrázolás
• 1. lépés. Minden adatot (beteg és egészséges)
  egybe másolunk, majd sorba rendezünk.
• 2. lépés. Megállapítjuk a decilisek határait. Így
  9 értéket kapunk. Minden decilis esetében (ezeket
  véve határértékként) kiszámítjuk a teszt
  specificitását és szenzitivitását.
• 3. lépés. A specificitási értékeket levonjuk
  1-bol.
• 4. lépés a kapott értékeket x-y plotként
  ábrázoljuk, az x tengelyre az 1-SP, az I-ra a SZ
  érték jön. Minél távolabb van az így kapott
  lépcso-zetes vonal a 45o-os egyenestol, annál
  jobb a teszt.
• 5. lépés Elvégezzük a ROC görbe analízist
  (meghatározzuk a görbe alatti területet)

37
357 beteg, 364 kontroll, anti-hsp60    
38
(No Transcript)
39
Az SLE aktivitását legjobban jelzo (a SLEDAI-al
legjobban korreláló) laboratóriumi módszerek ROC
analízise
A C3b(Bb)P (folyamatos vonal), a SC5b-9
(szaggatott vonal), és az anti-DNS
(pontozott vonal) ROC görbéi. A nyilak a ROC
görbék azon pontjait jelölik, ahol a
szenzitivitás és a specificitás egyaránt kedvezo.
A legkedvezobb szenzitivitás és specificitás
értékeket a C3b(Bb)P esetén kaptuk (0,93, ill.
0,71)
40
SPSS output
Area Under the Curve Test Result Variable(s)
C1i.konc. Area Std. Error Asymptotic
Sig. Asymptotic 95 Confidence Interval
Lower Bound Upper
Bound ,598 ,043 ,027
,514 ,682 .a Under the
nonparametric assumption b Null hypothesis true
area 0.5