La mala ciencia, nuevos capítulos

En mayo del año pasado comenté un trabajo de Paul Glasziou y Iain Chalmers que concluía que, teniendo en cuenta las carencias metodológicas, los estudios no publicados y los mal explicados, el desperdicio de la investigación biomédica podía ser del orden del 85%. Es decir, según estos autores, sólo el 15% de lo que se investiga llega a la clínica en condiciones de calidad y de comunicación apropiada. Un poco más de un año después, dispongo de otras fuentes que insisten en que la investigación biomédica, en términos generales, no da señales de recuperación y, para hacerlo comprensible, seguiré el mismo esquema que utilicé en el post que he citado.

Falta de rigor de muchas revisiones sistemáticas y metaanálisis

Las revisiones sistemáticas y los metaanálisis son dos metodologías que acumulan, sintetizan y evalúan la evidencia a partir de numerosos estudios individuales, con el objetivo de resolver incertidumbres, reducir sesgos y hacer llegar información científica de manera práctica al atareado universo de la clínica. Hay datos, sin embargo, que indican que algo está pasando con el rigor de estas metodologías sintéticas y la primera preocupación es la de su extraña eclosión. John Ioannidis, en 2016, observó que el crecimiento anual de revisiones y metaanálisis era del 150% desde 1991, un incremento de la producción de características epidémicas, según el autor. Esta tendencia, de acuerdo con Joshua Niforatos y Joshua Wallach (2019), ha conseguido un desequilibrio editorial, ya que ahora prácticamente se publica una revisión por cada ensayo clínico original.

El exceso de revisiones sistemáticas y de metaanálisis inquieta a muchos investigadores y clínicos, ya que ahora mismo hay dudas razonables sobre el propósito, la calidad y la credibilidad de muchos de estos estudios, además de promover superposiciones y contradicciones entre las distintas revisiones que se empeñan en analizar evidencias desde diferentes ángulos sobre el mismo tema. En su artículo, Ioannidis ofrece algunos ejemplos de superposiciones, como el de los 11 metaanálisis contradictorios que han estudiado la prevención con estatinas de la fibrilación auricular posterior a la cirugía cardíaca o el laberíntico universo de los metaanálisis de la efectividad de los antidepresivos.

Es evidente, dice Wallach, que en el crecimiento desorbitado de revisiones y metaanálisis no sólo hay intereses ocultos, también se dan otras circunstancias que favorecen que muchos investigadores les prefieran, debido a las mayores facilidades de hoy en el manejo de bases de datos, los menores costes y controles (en comparación con los ensayos clínicos) y el mayor número de citas de las que gozan las revisiones y los metaanálisis, lo que hace aumentar el prestigio de investigadores, instituciones y revistas.

Según Wallach y Ioannidis, a pesar del mal uso que se hace de la metodología y la mala calidad observada, no hay alternativa. Es decir, las revisiones sistemáticas y los metaanálisis siguen siendo unos instrumentos de primer nivel para ofrecer una información científica valiosa de la evidencia existente en un determinado tema. Pero haría falta un poco de orden y rigor, para no dañar un bien tan preciado.

Derroche de mucha investigación que no se publica

En el post de mayo de 2018, comenté que casi la mitad de los ensayos clínicos financiados por INH (la institución pública norteamericana que da soporte a la investigación) no se publicaban. Pero ahora quiero destacar el punto de vista de Harlan Krumholz, cuando se pone en la piel de las 87.883 personas, de 67 estudios diferentes, que aceptaron un protocolo de ensayo clínico, se comprometieron con los investigadores, se sometieron a la metodología del doble ciego, recibieron pruebas y tratamientos que desconocían si eran de verdad o no y, tiempo después, sin ninguna explicación, los propios investigadores o los financiadores, o quien fuera, decidieron que los resultados no se publicarían, y la pregunta es: no sería un deber moral de los investigadores que cuando invitan a una persona a entrar en un ensayo, ellos, por su parte, se comprometieran a hacer públicos los resultados, ¿aunque fueran negativos? Esta pérdida de información científica tiene también, pues, una vertiente humana. ¿No se deberían pedir responsabilidades? Pregunta Krumholz (y yo me añado).

Las fake news en la literatura científica

En una observación de 94 artículos sobre la evaluación de nuevos fármacos en cáncer, Matthew Abola y Vinay Prasad han descubierto que, en la mitad de ellos, los redactores habían recurrido a adjetivos superlativos del tipo: milagroso, revolucionario, innovador, maravilloso o transformativo. Un signo evidente de que algo no funcionaba del todo bien. En este sentido, Lown Institute, en su blog, ha publicado un análisis de fake news científicas (reversión de un ensayo negativo en positivo) en la investigación cardiovascular. Lown afirma que los investigadores del proyecto CABANA (2018) que medía la efectividad de la ablación cardíaca, lograron revertir (y publicar) un resultado negativo en uno positivo, y la pregunta es ¿con qué frecuencia los investigadores presentan resultados negativos como si fueran positivos? Para responder, un equipo liderado por Muhammad Shahzeb Khan revisó cien publicaciones, en revistas de alto impacto, de ensayos clínicos del ámbito cardiovascular, y descubrieron que entre los estudios que tuvieron resultado negativo, el 67% tenían reversiones en el texto principal, el 52% en el resumen y el 10% en el título.

Pienso que las revistas tienen una gran responsabilidad en no ejercer de altavoz de fake news científicas y, por tanto, en detectar las reversiones y prestar atención a que los títulos, los resúmenes y los textos reflejen, de manera fiel, lo que dicen los números. No hay que olvidar que algunos estudios con resultado negativo, como el proyecto ORBITA, que demostró la no efectividad de los stents en personas con angina estable, pueden ser muy valiosos para la práctica clínica.

En esta nueva entrega de la serie "La mala ciencia", vuelvo a insistir en tres principios: a) que las investigaciones, revisiones y metaanálisis sean de calidad, transparentes y colaborativos, b) que se publique todo lo que se investiga, y c) que se publique bien, que al fin y al cabo, un resultado negativo también puede ser muy esclarecedor para los clínicos que han de recomendar y compartir decisiones cada día.

Jordi Varela

Editor