Rev Méd Chile 2005; 133: 246-249

MEDICINA BASADA EN LA EVIDENCIA

Revisiones sistemáticas y metaanálisis: ¿son la mejor evidencia?

Systematic reviews and metaanalysis: are the best evidence?

Luz María Letelier S^1,2,3, Juan J Manríquez M¹, Gabriel Rada G^1,2.

¹ Unidad de Medicina Basada en Evidencia.
² Departamento de Medicina Interna, Pontificia Universidad Católica de Chile.
³ Servicio de Medicina, Hospital Sótero del Río. Santiago de Chile.

Dirección para correspondencia

Resumen

Las RS representan el más alto nivel de evidencia, sí y sólo sí, han sido realizadas con las precauciones necesarias para reducir la posibilidad de sesgo durante su realización, de modo que sintetice de manera confiable toda la evidencia de alta calidad disponible.

La enorme y creciente cantidad de información biomédica existente, limita seriamente la posibilidad de los clínicos de mantenerse informados. Se estima que anualmente se publican 6.000 artículos con abstracts en las revistas biomédicas de importancia en medicina de adultos, es decir que un médico necesitaría leer, en promedio, unos 17 artículos diarios para mantenerse actualizado¹. Peor aún, muchas veces al revisar un tema, se habrá sentido frustrado al encontrar no sólo demasiada información sino que estudios con resultados discordantes.

En este escenario las "revisiones", que sintetizan y actualizan la información científica, serán siempre bienvenidas. No obstante, como cualquier publicación científica, éstas deben ser evaluadas críticamente para determinar su validez. En Medicina Basada en Evidencia (MBE) distinguimos 2 tipos de revisiones:

1. Revisiones narrativas: Son aquellas que revisan un tópico de forma más o menos exhaustiva, generalmente por un experto en el tema. Típicamente, este tipo de revisión dará cuenta de muchos aspectos del tópico revisado: epidemiológicos, etiológicos, fisiopatológicos, diagnósticos, pronósticos y terapéuticos. En general, el autor presenta el tema en un formato narrativo sin declarar explícitamente los métodos utilizados para obtener y seleccionar la información presentada. Así, este tipo de revisiones son ideales para responder preguntas de preparación (background)².

2. Revisiones sistemáticas (RS): Son aquellas que resumen y analizan la evidencia respecto de una pregunta específica en forma estructurada, explícita y sistemática. Típicamente, se explicita el método utilizado para encontrar, seleccionar, analizar y sintetizar la evidencia presentada. Existen 2 tipos de revisiones sistemáticas:

Así, existen diferentes tipos de revisiones que sirven diferentes propósitos; sin embargo, es fundamental destacar que si bien es una opción válida presentar una revisión sistemática sin metaanálisis, no es aceptable un metaanálisis que no derive de una RS. En la actualidad el número de RS disponibles ha aumentado considerablemente, en particular aquellas que evalúan intervenciones terapéuticas. También existen RS de estudios diagnósticos o de pronóstico.

Ventajas y limitaciones de las revisiones sistemáticas

Su principal ventaja es la síntesis de información respecto de una pregunta clínica específica que le permitirá al clínico resolver sus dudas en forma eficiente.

El metaanálisis de los resultados, permite resumir en un solo valor numérico toda la evidencia relacionada a un tema puntual, aumentando la potencia estadística y la precisión del estimador puntual.

Aunque aún persiste cierta controversia al respecto, una RS de estudios clínicos randomizados (ECR) bien hecha es considerada el primer nivel de la pirámide de los niveles de evidencia³.

Otra de las ventajas de las revisiones sistemáticas es el planteamiento de nuevas hipótesis para futuros estudios, junto con la detección de áreas en que la evidencia científica es escasa.

También permite cuantificar la magnitud del sesgo de publicación. Es conocido que gran cantidad de estudios no llegan a ser publicados, muchos de ellos porque muestran resultados que no alcanzaron significación estadística^4,5.

Sin embargo, desde el punto de vista del diseño, las RS son estudios retrospectivos por lo cual están sujetas a sesgo en las diversas etapas del proceso: búsqueda, selección, análisis y síntesis de la información. Por esto es fundamental que los autores de una RS hayan tomado todas las precauciones necesarias para evitar que ello ocurra. El título de RS o metaanálisis no garantiza la calidad de este tipo de estudios, por lo que el lector deberá ser capaz de evaluar críticamente la validez de este tipo de publicación.

La realización de Revisiones Sistemáticas está limitada por la cantidad y calidad de los estudios previamente realizados.

El proceso de una RS es largo y engorroso, requiere tiempo y dedicación, sin embargo, es menos costoso que otro tipo de estudios y con un mayor nivel de impacto.

Cómo reconocer una buena revisión sistemática

En el proceso de la MBE, el análisis crítico de una publicación se inicia con el reconocimiento de su validez⁶. Los aspectos claves para evaluar la validez de una RS han sido ampliamente descritos^7-10 y los resumiremos a continuación:

1. ¿Aborda la revisión una pregunta clínica lógica y focalizada? El problema clínico de una RS debe ser abordado en forma de una pregunta específica, donde los pacientes, intervención, comparación y outcomes evaluados tengan una biología y fisiopatología subyacente común, de modo que la RS cumpla con el objetivo de resumir toda la evidencia sobre determinado tema, aplicado a una situación clínica concreta. La pregunta a responder puede ser más o menos amplia, siempre que responda a una lógica común respecto del conocimiento fisiopatológico subyacente.

2. ¿Fueron claros y apropiados los criterios para la inclusión y exclusión de estudios? Los criterios para incluir estudios en la RS deben ser explicitados a priori, ser pertinentes a la pregunta, claros y reproducibles. Debe definirse el tipo de pacientes, tipo de intervención y de comparación, además de los outcomes que deben describir los estudios elegibles para ser incluidos en la RS. También debe definirse el tipo de diseño de los estudios que serán incluidos. Los diseños adecuados dependen del tipo de RS. Si lo que se busca es evaluar la efectividad de una determinada terapia, el diseño de los trabajos individuales debe ser ECRs, en revisiones sistemáticas de diagnóstico, estudios transversales comparados con un gold standard; en RS de pronóstico, estudios de cohorte prospectivos.

Si los criterios no son pertinentes a la pregunta, no están bien definidos o si los diseños de los estudios incluidos no son los adecuados, el lector no puede asegurar que la RS esté exenta de sesgo.

3. ¿Es poco probable que se pasaran por alto estudios relevantes? La búsqueda amplia y sistemática es una diferencia fundamental entre las revisiones narrativas y las sistemáticas. La búsqueda amplia de artículos incluye las bases de datos electrónicas (MEDLINE, Cochrane Library, EMBASE, CINAHL, SCISEARCH, PsycLIT, etc.), revisión manual de las referencias de los artículos encontrados, contacto con expertos y compañías farmacéuticas para identificar estudios no publicados, así como estudios presentados en jornadas científicas, congresos o tesis.

Idealmente una buena RS debe incluir estudios en distintos idiomas. Este punto es clave, pues al incluir en la revisión sólo trabajos publicados en inglés, aumenta la posibilidad de sesgo de publicación con la consiguiente sobreestimación del efecto de la intervención evaluada, ya que se ha demostrado que los artículos con resultados no significativos o en idioma distinto al inglés tienen menos posibilidades de ser publicados en revistas de alto impacto o indexadas en las bases de datos electrónicas y, por tanto, de ser incluidos en RS.

4. ¿Se evaluó la validez de los estudios incluidos? Evaluar la validez de los estudios originales incluidos es indispensable, puesto que la calidad de la RS depende directamente de la calidad de éstos. Todo el proceso de la RS y posterior metaanálisis podría estar muy bien hecho, pero si los estudios incluidos son de mala calidad, indudablemente el resultado de la RS será poco confiable.

Existen variadas formas para evaluar la validez de los estudios primarios, tanto cuantitativas como cualitativas. No hay consenso respecto de la mejor forma de evaluar la calidad de los estudios incluidos, pero debe haberse utilizado alguna en forma explícita, de modo que el lector pueda sacar sus propias conclusiones respecto de este punto.

5. ¿Fueron reproducibles las evaluaciones de los estudios? Todo el proceso de una RS debe ser reproducible. La reproducibilidad se logra mediante dos o más revisores, que en forma independiente, buscan, seleccionan, incluyen y analizan la validez de los artículos originales, de modo de disminuir la posibilidad de sesgo en cualquiera de las etapas del proceso. Debe señalarse si hubo diferencias entre los revisores y cuál fue la forma de resolverlas.

6. ¿Fueron consistentes los resultados de estudio a estudio? Es esperable que exista variabilidad en los resultados de los distintos estudios incluidos en una RS. Esta variabilidad puede deberse a variaciones en los pacientes, intervenciones, comparaciones a la forma de medir los outcomes o al diseño de los estudios incluidos. Esta variabilidad será mayor mientras más amplia sea la pregunta a responder por la RS.

Antes de realizar el metaanálisis de los resultados, es necesario estimar la ausencia de heterogeneidad entre los estudios incluidos. Para medir esto, se utilizan test estadísticos llamados pruebas de heterogeneidad, de modo que mientras menos heterogéneos sean los resultados más probable es que las diferencias entre los estudios se deban al azar y mientras mayor sea la heterogeneidad, más probable es que los resultados se deban a universos distintos, ya sea en términos de los pacientes, la intervención, la comparación o los outcomes. Si se demuestra heterogeneidad entre los estudios, el integrar los resultados en un metaanálisis pierde validez pues será difícil de interpretar. En estos casos se recomienda hacer una RS cualitativa sin metaanálisis.

Como cualquier prueba estadística se ha establecido arbitrariamente como significativo un test de heterogeneidad con un valor p <0,05.

Referencias

1. Davidoff F, Haynes B, Sackett D, Smith R. Evidence based medicine. BMJ 1995; 310: 1085-6.

2. Soto M, Rada G. Formulación de preguntas en Medicina Basada en Evidencia. Rev Méd Chile 2003; 131: 1202-3.

3. Letelier LM, Moore P. La Medicina Basada en Evidencia, visión después de una década. Rev Méd Chile 2003; 131: 939-46.

4. Montori V, Guyatt G. Publication bias. Capítulo 2E Users's Guide to the Medical Literature. A Manual for Evidence-Based Clinical Practice. Chicago: AMA Press, 2002.

5. Montori VM, Smieja M, Guyatt GH. Publication bias: a brief review for clinicians. Mayo Clin Proc 2000; 75: 1284-8.

6. Pantoja T, Letelier LM, Neumann I. El análisis crítico de la información publicada en la literatura médica. Rev Méd Chile 2004; 132: 513-15.

7. Oxman AD, Cook DJ, Guyatt GH and the Evidence-Based Medicine Working Group. JAMA 1994; 272: 1367-71.

8. Sackett DL, Straus SE, Richardson WS, Rosenberg WMC, Haynes RB. Evidence-Based Medicine. How to Practice and Teach EBM. 2^nd ed. Edinburgh: Churchill Livingstone, 2000.

9. Guyatt GH, Rennie D. Users' Guides to the Medical Literature. A Manual for Evidence-Based Clinical Practice. Chicago: AMA Press, 2002.

10. Greenhalgh T. How to read a paper? Papers that summarize others papers (systematic reviews and meta-analyses). BMJ 1997; 315: 672-5.

Correspondencia a: Dra. Luz María Letelier. E-mail: lmletel@med.puc.cl