Comissi

1
Validez Interna-Externa
Dr. Pere Ventayol Servei de Farmàcia HUSD
2
Para aplicar los resultados me tienen que
convencer de

• VIA Válidos, Importantes, Aplicables
• son válidos?
• son importantes?
• son aplicables a mis pacientes?

VALIDEZ INTERNA
3
Evaluar la validez interna

• validez interna grado en que los resultados
  obtenidos proporcionan o no una respuesta
  correcta a la pregunta planteada
• la definición clara y precisa del objetivo del
  estudio -gt donde está la pregunta?
• la elección del diseño adecuado
• rigor metodológico

www.bandolier.com May 2003
4
1.dónde está la pregunta?

• Dejar claro qué tratamiento se evalúa
• Qué intervención es la de referencia
• Qué variable se utiliza y cuando se mide
• Definición del tipo de sujetos a estudiar

5
Población estudiada
6
Objetivo Variable (cualitativa) Introdución Variable (cuantitativa) Métodos Momento Métodos Resultados Discusión
1 Respuesta clínica Respuesta viral sostenida pac CV indetectable 24 semanas tras finalizar tto
2 Adherencia Cuestionario Smaq Recogida med Escala visual Nº dosis/total de dosis previstas Adherencia gt80 Media 4 medidas Tras 1er-2º mes cada 2 meses
3 Permanencia Recogida de medicación nº días con tto/respecto al nº total previsto Permanencia gt80 Media 4 medidas Tras 1er-2º mes cada 2 meses
4 Satisfacción Encuesta pac con escala gt5 encuesta satisfacción 24, 48 semanas
5 Coste Valoración coste tto Valores en Hasta finalizar tto.
Población estudiada
7
2.Es el diseño adecuado?
?
?
?
8
2.Es el diseño adecuado?
Aleatorización

• Factor aparetemente simple
• No predecible
• Aplicarse despues de decidir incluir al paciente
• El azar tiende a producir grupos comparables
• Produce distribución equilibrada variables
  pronósticas
• Conocidas
• Desconocidas factores de confusión
• Cuanto mayor sea N mayor equilibrio
• Previene sesgos y permite cálculo de
  probabilidades (P)
• Distintos tipos de aleatorización Bloques,
  estratificada, adaptativas

9
2.Es el diseño adecuado?
Ciego

• No confundir con ocultación de la secuencia de
  aleatorización
• El ciego protege la aleatorización una vez se ha
  producido la asignación
• Simple ciego, doble, triple, cuadruple.
• No siempre puede cegarse Ej Dietas,
  procedimientos quirúrgicos, ARV,
• Cuanto más subjetiva la variable más necesario es
  el cegado (analgesia,
• calidad de vida, etc)

10
2.Es el diseño adecuado?
Enmascaramiento

• Procedimiento que garantiza el proceso del cegado
• Pretende evitar las espectativas/prejuicios de
  pacientes, investigadores,
• Ej hipolipemiantes
• Presentar un formato del fármaco lo más idéntico
  posible
• Se puede romper por toxicidad, efectos
  secundarios

11
2.Es el diseño adecuado?
Comparabilidad

• Seguimiento exhaustivo de los pacientes
• Diagramas de flujo de pacientes
• Drop-outs o pérdidas
• Withdrawals o retiradas
• La aceptabilidad del estudio depende no tanto del
  número de pérdidas
• sino de los motivos que las hayan condicionado
• de perdidas similares pueden invalidar los
  resultados?
• Hay algún de pérdidas considerado máximo?

12
Objetivo CV lt400 a las 48 semanas
Estrategia de análisis
2.Es el diseño adecuado?
Randomizados N100
Datos disponibles a 48 semanas N75
Datos no disponibles a 48 semanas N25
CVlt400 N65
CVgt400 N10
CVlt400 N11
CVgt400 N14
Análisis PP 87 (65/75)
ITT (ultima observación) 76 (6511/100)
ITT (perdidasF) 65 (65/100)
Dilución de la respuesta Cuál es la verdadera?
13
3.Se ha realizado con rigor?

• El grado con el que el diseño, desarrollo,
  análisis y presentación de los datos ha
  minimizado o evitado sesgos

14
Convencimiento de que no está sesgado?

• "Inclinación parcial de la mente"
• la existencia de sesgos favorece que los
  resultados sobreestimen el efecto de los
  tratamientos

30
20
25
40
30
15
Sesgos
16
Cómo medir la Validez Interna?

• Existen al menos 9 check-list y 25 escalas
• Jadad
• CONSORT

17
Escala de Jadad
ESCALA DE VALIDACIÓN DE ENSAYOS CLÍNICOS ( A.
JADAD)

Se describe el estudio como aleatorizado? ()

Se describe el estudio como doble ciego? ()
Se describen los abandonos y exclusiones del
estudio? ()
() SÍ 1 / NO 0
Es adecuado el método de aleatorización? ()
Es adecuado el método de doble ciego? ()
() SÍ 1 / NO -1
-

Rango de puntuación
0-5

Estudio de baja calidad
Puntuación lt 3
18
Consort www.consort-statement.org
Ensayos superioridad
Ensayos equivalencia/No inferioridad

• Formada por 22 items
• 1 Titulo y resumen
• 1 Introducción
• 10 sobre métodos
• 7 sobre resultados
• 3 Sobre discusión

Lectura crítica e interpretación
19
HUSD Aplicación de la Lista-Guía CONSORT en
ensayos publicados

• Los criterios que menos se cumplen son
• métodos usados para garantizar calidad de la
  medida de los resultados (12)
• descripción detallada de cómo se aplica la
  aleatorización (12)
• evaluación del proceso y éxito de cegar (20)
• criterios de suspensión del ensayo (33)
• presentación de resultados con intervalos de
  confianza (50).

20
Conclusiones en validez interna

• La publicación de un estudio no es garantía de su
  validez metodológica
• En Métodos se encuentran la mayoría de
  respuestas
• La validez interna es condición necesaria pero no
  suficiente

21
Para aplicar los resultados me tienen que
convencer de

• VIA Válidos, Importantes, Aplicables
• son válidos?
• son importantes?
• son aplicables a mis pacientes?

VALIDEZ INTERNA
22
Relación Válidez interna - Válidez externa

• Eficacia
• Probabilidad de que
• un promedio de individuos,
• en una población
• determinada,
• se beneficie de la aplicación
• de una tecnología sanitaria
• a la resolución de un
• problema de salud concreto,
• bajo condiciones IDEALES
• de actuación establecidas
• previamente

• Efectividad
• Probabilidad de que un
• individuo, en una población
• indeterminada, se beneficie
• de la aplicación de una
• tecnología sanitaria a la
• resolución de un problema
• de salud determinado, bajo
• condiciones REALES de
• aplicación por personal de
• salud

Office of Technology Assessment. Assessing the
Efficacy and Safety of Medical Technologies.
Washington Government Printing Office, 1978
(Modificada)
23
1.son importantes?

• CualidadQué se mide?
• Cantidad Cúal es la magnitud?

24

• CualidadQué se mide?

• En ocasiones se magnifica el efecto de
  variables secundarias
• Un buen resultado en una variable subrogada no
  implica un buen resultado clínico

25
CualidadQué se mide?

• Consenso SORT (Strenght Of Recommendation
  Taxonomy) establece un algoritmo de gradación de
  la evidencia con 3 niveles de evidencia (1, 2 y
  3)
• Solo alcanza el nivel 1 o 2
• estudios que se centran en
• variables finales clínicas
• Un metanálisis con variable
• intermedias no tiene calificación
• superior a 3

26

• Cualidad Las variables combinadas Qué se mide?

• El uso de variables combinadas es cada vez más
  frecuente
• Se suele emplear cuando el efecto esperado sobre
  cada uno de los desenlaces de interés es pequeño
• Puede que el efecto se haya producido sobre uno
  de los componentes y se atribuya erróneamente a
  todos
• Ej AAS en Prevención del reinfarto y ACV de
  cualquier etiología
• Hay que analizar la variable combinada y tener en
  cuenta los efectos por separado

27
Cualidad Las variables combinadas Qué se mide?

• La diferencia en el efecto combinado se debe
  ppalmente a las flebografías subclínicas pero no
  ha mostrado reducción en trombosis venosa
  sintomática ni en embolia pulmonar.

28
Cualidad Análisis de subgrupos Qué se mide?

• La realización de múltiples comparaciones aumenta
  la probabilidad de encontrar un resultado
  estadísticamente significativo
• Si el subgrupo es de pequeño tamaño el análisis
  puede ser incapaz de detectar diferencias
  relevantes
• Si el estudio presenta análisis de subgrupos
• Magnitud del efecto clínicamente relevante
• Efecto estadísticamente muy significativo
• Hipótesis planteada a priori
• Análisis realizado dentro de una estrategia de
  comparaciones múltiples
• Resultados consistentes con otros estudios
• Evidencia indirecta que avale los resultados
  (plausibilidad biológica)

29
Cualidad Análisis de subgrupos Qué se mide?

• Efecto de factor de confusión en EECC para
  enfermedad con elevada mortalidad (n78)

T
H
Diferencia
27/40
18/38
Mortalidad

67,5
47,4
20,1
H
T
Pacientes alto riesgo
32/40
14/38

80
36,8
30
Cualidad Análisis de subgrupos Qué se mide?

• Efecto de Factor de confusión en EECC para
  enfermedad con elevada mortalidad (n78)

T
H
Diferencia
2/8
4/18
Bajo riesgo

25
22,2
2,8
25/32
18/38
Alto riesgo

78,1
70
8,1

• La distinta distribución del factor pronóstico ha
  producido un fenómeno de confusión y la
  diferencia inicial (20) estaba distorsionada)

31
Cualidad Análisis de subgrupos y multivariante

• Incorporar la estadística al análisis de
  subgrupos análisis de subgrupos evaluar el
  efecto del tto sobre la variable respuesta dentro
  de cada estrato

T
H
Diferencia
2/8
4/18
Bajo riesgo

25
22,2
2,8 pgt0.05
25/32
18/38
Alto riesgo

78,1
70
8,1 plt0.05

• Las técnicas multivariante implican un modelo
  matemático.
• Variable dependiente (respuesta)
• Variable independiente ppal (tto)
• Variables independientes a controlar (estimación
  de coeficiente de regresión)

32
CantidadCuál es su magnitud?
Con quién nos comparamos? Cuánta debe ser la
diferencia?
Tratamiento nuevo superior
0
33
Con quien nos comparamos?

• Elección del comparador no coincide con el
  tratamiento estándar.
• Estudio Ramsey WB. NEJM 1999. Eficacia
  Tobramicina inhalada vs placebo (no colistina)
• Estudio Zeuzem S., NEJM 2000 Heathhcote E.,
  2000 Reddy KR., 2001. Peg-interferon alfa 2-a
  vs Interferon alfa 2-a, ambos en monoterapia
• Herbrecht R, NEJM 2002. Voriconazol en
  aspergilosis invasiva vs anfotericina deoxicolato
• Dosificación del fármaco en estudio o del
  comparado no coincidente con la ficha técnica del
  nuevo fármaco o con las dosis admitidas del
  comparador (dosis aas Caprie es 325mg, que no es
  lo habitual, dosis dobutamina en Lido vs
  levosimendan)
• Duración de tratamiento no adecuada.

Tto antibiótico exacerbaciones EPOC - incluyen
pacientes desde 18 años - no fumadores
34
(No Transcript)
35
Comparador adecuado?
El comparador es adecuado. Aunque hubiera sido
más adecuada una comparación con Pamidronato.
36
Comparador adecuado?
El beneficio al aplicar los resultados en
pacientes no se ha estudiado versus verteporfino,
con lo que su ventaja a las 54 semanas respecto a
este no queda claro.
37
(No Transcript)
38

• 2. son aplicables a mis pacientes?

Término Definición
Generalización o Validez Externa Aplicación de los resultados fuera del estudio (por generalización)
Extrapolación Aplicación de los resultados a un grupo más amplio del estudiado (por inferencia, extensión, predicción o proyección de lo observado o experimentado) Ej resultados 40-65 años extrapolados a población de más edad.
Aplicabilidad Aplicación de los resultados a grupos o pacientes individuales. Si un estudio muestra eficacia en la población estudiada, se espera que lo tenga en un individuo.
39
La dilución de la respuesta...
100 Población Hipertensa
90 Cobertura Programa
Registro
76 Eficacia Fármaco
95 Precisión Diagnóstica
66 Prescripción correcta
65 Cumplimiento paciente
EFECTIVIDAD 28
Mejoría salud
Tugwell P, Bennet KJ, Sackett DL, Haynes B. The
measurement operative loop a framework for the
critical appraisal of need, benefits and costs of
health interventions. J Chron Dis 1985 38
339-351.
40
Población total (mujeres)
Población diana (mujeres 13-48 años)
Población accesible (13-48 que vienen a
consulta)
Muestra (incluimos estudio)
La representatividad de la muestra es el
condicionante de la validez externa. M.Bobenrieth
41
Válidez externa en efectos secundarios

• Los 5 demasiados
• Selectos
• restringidos
• breves
• reducidos
• controlados

• Tratamientos en nuestro medio

• Efectos 2ºs

• medios, capacidades, accesibilidad y seguimiento

42
Preguntas para establecer la validez externa

1. Considera adecuado el comparador?
2. Son importantes clínicamente los resultados?
3. Considera adecuada la variable medida utilizada?
4. Considera adecuados los criterios de
   inclusión/exclusión de los pacientes
5. Cree que los resultados pueden ser aplicados
   directamente a la práctica clínica?
6. Otros sesgos o limitaciones encontradas en el
   estudio

43
Conclusiones en Validez Externa

• Magnitud
• Cuidado con
• variables combinadas
• Análisis por estratos o subgrupos
• Tipo de medida u objetivo
• Aplicabilidad
• Cuidado con
• Tipo de población estudiada
• Comparador adecuado
• la dilución de la respuesta

44
Las ilusiones cognitivas se subdividen en-
ambigüedades- deformaciones- paradojas-
ficciones
Que no nos hagan ver lo que quieran, sino lo que
hay!!!! A veces evaluar la validez es tan
dificilcomo saber si el naranjo es dulce o amargo