Informationsflut

1
Qualitätssicherung wissenschaftlicher Information
en in Datenbanken
Dr. C. Behles
Ombudsmann des Bundesinstituts für Arzneimittel
und Medizinprodukte (BfArM)
2
Wissenschaftliche Information - Kriterien zu
Qualität und Verwertbarkeit
vollständig?
relevant?
Fehlinformation/ Fälschung?
gefundene Arbeiten
entstanden auf der Grundlage unabhängiger
Forschung?
geeignet als Entscheidungs-hilfe?
Eingang in die Praxis?
3
Systematische Arbeit mit der Literatur
Informationsflut, verfügbare Lesezeit

• Informationsquellen
• Lehrbücher meist überholt
• Fachzeitschriften desorganisiert

2 Mio. Artikel in 10000 Fachzeitschriften 9000
randomisierte Studien/Jahr Für Aktualität zu
lesen 19 Artikel/Tag an 365 Tagen/Jahr
Olkin, 1995 Davidoff, 1995
Arbeitszeit
Sackett, 1996
4
Vergleich Datenbankrecherche/Experte
Recherchen zu Adjuvante Therapie beim
Nierenzellkarzinom (1996)
5
Vergleich der Ergebnisse von Medline-Suche und
Handsuche
Recherchen zu RCT und CCT in deutschen
Fachzeitschr. (1948-1998)
Handsuche Gesamtzahl der Studien, die über die
manuelle Suche identifiziert worden sind.
Medline Anzahl der Studien, die von den manuell
identifizierten in Medline enthalten sind

• Von bisher 6844 Studien waren nur 3986 (58) in
  Medline enthalten
• Von diesen 3986 Studien werden bei einer
  Medline-Recherche erfahrungsgemäß nicht annähernd
  100 gefunden (Haynes)
• Daher kann eine Medline-Recherche allein nicht
  Grundlage der Erstellung von unverzerrten
  Übersichtsarbeiten sein

6
Übersichtsarbeiten
7
Übersichtsarbeiten Vorteile

• Erfassung aller für die Fragestellung relevanten
  Literatur
• Methodisch einwandfreie Synthese
• Aufarbeitung der Synthese und Verbreitung
• Verdichtung einzelner Artikel aus der
  Primärliteratur
• Diskussion unter Berücksichtigung der gesamten
  relevanten Literatur

8
Übersichtsarbeiten Problemfelder

• Erfassung aller für die Fragestellung relevanten
  Literatur
• Methodisch einwandfreie Synthese
• Aufarbeitung der Synthese und Verbreitung
• Verdichtung einzelner Artikel aus der
  Primärliteratur
• Unvermeidbar Selektionsfehler

9
Accessibility

• The level of is related to several factors
• selective publication of statistically
  significant results
• the timing of publication
• the type of publication
• the language of publication
• multiple publications
• selective citation of references
• coverage by database and indexes

10
Übersichtsarbeiten Bias

• Publikationsbias
• Nicht-Veröffentlichung von Studien mit
  nichtsignifikanten Therapievergleichen durch
  Wissenschaftler und Zeitschriften
• systematische Überschätzung des Gesamteffekts
  aufgrund der fehlenden Berücksichtigung von
  Studien mit nichtsignifikanten Resultaten, also
  kleinen Effekten
• Retrieval-Bias
• Keine sichere Methode vorhanden, um
  veröffentlichte Studien aufzufinden
• Berücksichtigung von oft nur 50 der für eine
  Therapie relevanten Studien
• Nichtberücksichtigung von Datenbanken
• Verbesserung Studienregister Indizierung und
  Suchtechniken in Datenbanken

11
(No Transcript)
12
Übersichtsarbeiten Bias

• English/Non-English Language Bias
• Systematische Unterschiede in den Publikationen
  von klinischen Studien im englisch vs.
  nicht-englisch-sprachigen Raum
• Qualität Nein (Moher et al. 1996)
• Signifikanz der Ergebnisse Ja (Egger et al.
  1997)
• Weitere
• Reporting Bias,
• non-honest Bias (Besprechung folgt später)

13
Forderungen an eine Evidence Based Medicine

• Klinische Entscheidungen auf der Basis der besten
  verfügbaren Evidenz
• Systematische Identifikation von Evidenz (unter
  Einbezug medizinischer Datenbanken)
• Beurteilung der gefundenen Evidenz anhand
  klinisch-epidemiologischer Prinzipien (critical
  appraisal)
• Prüfung der Anwendbarkeit der gefundenen
  wissenschaftlichen Evidenz im Rahmen des
  gegebenen klinischen Problems
• Evaluation des Erfolgs der medizinischen Maßnahme
• Kontinuierliche Prüfung der Adäquanz der
  ärztlichen Leistung bezüglich des neuesten
  wissenschaftlichen Wissenstands(Aus- und
  Fortbildung)

14
Die Cochrane Collaboration
Preparing, maintaining and disseminating
systematic reviews of the effects of health care
Internationals Netzwerk von z.Zt über 5000
Wissenschaftlern
15
Die Cochrane Collaboration

• 1972 Archie Cochrane Effectiveness and
  Efficiency Random Reflections on Health
  Services
• 1974 Pilot - Projekt Effective Care during
  Pregnancy and Childbirth. 600 systematische
  Reviews (I. Chalmers et al. 1989)
• 1992 Gründung des UK Cochrane Centers
• 1993 Gründung der Cochrane Collaboration

16
Organisationsstruktur der Cochrane Collaboration

• Cochrane Zentren organisatorisches Rückrat
  (z.Zt. 16)
• ReviewgruppenVorbereiten, Erstellen und
  Aktualisieren von Reviews
• Methods Working Groupsz.B. Statistical Methods
  Informatics Applicability of Reviews, u.a.
• Steering GroupUA Urheberrechte
  Preisgestaltung, Grundsatzfragen der Begutachtung

17
Was ist neu oder anders?

• Systematisierung und Standardisierung,
  Transparenz (Leitlinien für Übersichtsarbeiten)
• Titelregistrierung und Protokoll
• Permanente Aktualisierung
• Integration eines Kommentar- und
  Kritikprozesses
• Internationale Kooperation, Networking
  (Globalisierung)

18
Evidence Based Medicine und Cochrane Collaboration

• Levels of Evidence
• I. wenigstens ein systematisches Review auf der
  Basis methodisch hochwertiger RCTs
• II. wenigstens ein ausreichend großer methodisch
  hochwertiger RCT
• III. methodisch hochwertige Studien ohne
  Randomisierung (Kohorten-, Fall-Kontrolle-Studie)
• IV. mehr als eine methodisch hochwertige,
  nichtexperimentelle Studie
• V. Meinungen von respektierten Autoritäten (aus
  klinischer Erfahrung), Expertenkommissionen,
  beschreibende Studien

19
Die Situation im deutschsprachigen Raum

• Deutsches Cochrane Zentrum in Freiburg(gefördert
  durch das BMBF)
• großes Interesse an Reviews wissenschaftlicher
  Input für Bewertungen und Leitlinien(Qualitätssic
  herung, Guidelines, Kostendruck)
• Diskussion bei Spitzenverbänden, z.B. AQS, ÄZQ,
  Bundesausschuß Ärzte und Krankenkassen, Kassen
• Information und Diskussion
• Publikationen, regelmäßiger Rundbrief, feste
  Rubrik in der ZaeFQ
• wenig Review-Aktivitäten
• erste Editorial Bases Hämatologie (Köln)
  Diabetes (Düsseldorf)
• einzelne Reviews unkonventionelle Medizin,
  Chirurgie
• Dissemination über Bibliotheken und das DGN
• EBM-Netzwerk
• Schweiz, Österreich

20
Wasser in den Wein Forschungsfälschung?
21
Forschungsfälschungen

• prominente Beispiele der Fälschung bezichtigter
  Forscher der 90er Jahre
• Lohmann (Giessen 1990)
• Baltimore (Medizin-Nobelpreis 1975) /
• Thereza Imanishi-Kari (Tufts University 1991)
• Zadel (Bonn 1994)
• Fisher (Pittsburgh 1995)
• McLachlan (Tulane 1996)
• Herrmann / Bracht (Ulm/Lübeck 1997)
• Schell und Reiß (MPI-Köln 1998)
• die meisten bekanntgewordenen Vorwürfe sind in
  den USA erhoben worden

22
Forschungsfälschungen

• Der Fall Herrmann/Bracht
• vermutet 47 Artikel mit gefälschten Daten
• Recherche im DIMDI-Datenbankcluster XMED
• (21 Datenbanken im Bereich Humanmedizin)
• Man findet 20 inkriminierte Dokumentationseinträg
  e zu insgesamt 8 zurückgezogenen Publikationen
• Medline 8
• Cancerlit 3
• Embase 2
• Elsevier Biobase 1
• Scisearch 6

23
Forschungsfälschungen - persistierende
Fehlinformationen

• Arbeit von Pfeiffer und Snodgrass , 1990
• 82 gefälschte und zurückgezogene Artikel wurden
  nach der Rücknahme 733 mal zitiert
• dabei sind keine signifikanten Unterschiede
  feststellbar hinsichtlich
• Bekanntheitsgrad der Zeitschrift
• Herkunftsland/Sprache des Autors

24
Das Problem der Fehler

• Honest Errors versus Scientific Fraud
• Gesamtzahl der DE in MEDLINE, EMBASE und
  SCISEARCH 1990-1998 (21.07.98)
• 13.255.468 davon
• Corrections 49.822 0,4
• Retractions 1.400 0,01
• Fraud 10.573 0,08
• echte Fälsch. 51 0,0004

25
Das Problem des non-honest bias

• finanzielle Kontakte (Forschung ? Industrie)
• Arbeit von H. T. Stelfox et. al
• Meinung zum Einsatz Wahrscheinlichkeit einer
  von Ca-Antagonisten finanziellen Beziehung zu
  einem Pharmaunternehmen
• Befürworter 96
• Neutrale 60
• Kritiker 37

26
Über-/Fehlbewertungwissenschaftlicher Erkenntnis

• Bsp. Pille der dritten Generation
• November 1995
• Erstmalige Anordnung von Anwendungsbeschränkungen
• Bescheid des BfArM vom 31.01.97
• Die 1995 angeordneten Anwendungsbeschränkungen
  werden erneut bestätigt
• Pressemeldung aus der PZ Nr. 37, 1997
• Hinweis aus London ? Fehlinterpretation
  epidemiologischer Daten
• Pressemeldungen zur Entscheidung des Berliner
  Verwaltungsgerichts

27
Umgang mit Forschungsfälschungen- Praxis der
Datenbankhersteller
Wer hat das Recht, eine Publikation
zurückzuziehen?
28
Praxis der National Library of Medicine (NLM)

• Zum Eingreifen berechtigt sind...
• Autoren
• wissenschaftliche Einrichtungen (Dienstherr) und
  institutionelle Sponsoren des Autors
  (Finanzträger)
• Herausgeber und Verleger der Journale

Artikel bleiben in der Datenbank, werden aber
eindeutig gekennzeichnet
29
NLM Kennzeichnung von Forschungsfälschungen
Gekennzeichnet werden Errata, Retraction,
Duplicate Publication, Comments

• Zurückziehung von Publikationen
• Beanstandete Dokumente
• im Titel Retracted
• im Feld Document Type (DT) Retracted
  Publication
• Neue, korrigierende Dokumentationseinheiten
• im Titel Retraction of...
• im Feld DT Retraction of Publication

30
Anspruch und Umsetzung ...

• Recherche in der Superbase-Gruppe XMED (21
  Datenbanken - Bereich Humanmedizin)
• Ausgewählt wurden 19 der von der NLM im Zeitraum
  22.05.97 - 14.05.98 zurückgezogenen 33
  Publikationen

31
Suchergebnis aus XMED
inkrim. DE (ges.) 19 14 15 15 11 16 1 2 1
Datenbank Medline (NLM) Cancerlit (NLM) Biosis
Previews Embase Elsevier Biobase Scisearch SOMED D
erwent Drug File CAB-Health
gekennz. DE 5 3 4 - - - - -
-
korrig. Neu- DE 19 - 8 8
7 17 - - -
) 4 DE mit DTRetracted Publication 1 DE mit
DTWithdrawn at ) keine korrigierenden DE
mit DtRetraction of vorhanden ) doppelte
Alt-DE (gekennzeichnete und nicht
gekennzeichnete DE) ) zusätzliches
Retraction-Notice-Document zu einem nicht
vorhandenen Dokument
32
Problem Falschanschuldigung

• Der Fall Bernhard Fisher
• 1994 durch Journalisten der Chicago Tribune der
  Forschungsfälschung bezichtigt
• als NSBABP-Direktor (National Surgical Brest and
  Bowel Project) abberufen
• unter dem Druck des National Cancer Institute
  kennzeichnet die NLM die Artikel des NSBABP in
  ihren Datenbanken mit dem Vermerk scientific
  misconduct
• Fisher klagt dagegen und gewinnt den Prozeß1997
  wird seine Unschuld auch vom ORI bestätigt

Wiederherstellung seiner Reputation gestaltet
sich äußerst problematisch (Sekundärprodukte von
NLM-DB...)
33
Was tun ?
34
Staatliche Kontrollmechanismen - Beispiel USA

• Office of Research Integrity (ORI)

staatliche Kontrollmechanismen für alle Forscher,
die vom Department of Health and Human Services
(DHHS) gefördert werden
35
Forschungsfälschung - Initiativen der Wissenschaft

• Bsp. Denkschrift der DFG
• Sicherung guter wissenschaftlicher Praxis

Selbstreinigungsmechanismen