La falibilidad de los científicos

La revista Nature se ha hecho eco del debate profesional sobre la calidad intrínseca del trabajo de los científicos, en una dinámica de autocrítica comparable a la que se está llevando a cabo, en términos similares, en el mundo de la clínica. Los científicos también son falibles -afirma la articulista- y, por tanto, deberían potenciar los mecanismos de autocrítica, en vez de enrocarse en el autoengaño.

John Ioannidis, Meta-Research Innovation Center at Stanford, dice que los científicos deberían esforzarse más para comprender los sesgos de su falibilidad humana, si quieren superar la crisis de confianza generada por la escasa reproducibilidad de los resultados de la investigación. Y para ilustrar sus palabras, Ioannidis ofrece tres ejemplos: a) de una selección de cien estudios de psicología, sólo se pudieron replicar los resultados de algo más de un tercio de los trabajos, b) un grupo de investigadores de Amgen solamente lograron reproducir 6 de los resultados de 53 estudios de referencia en el ámbito de la oncología y la hematología, y c) el propio equipo de Ioannidis consiguió replicar completamente sólo 2 de los 18 estudios de expresión genética en base a microarrays (chips de ADN).

La autora del artículo de Nature, Regina Nuzzo, analiza cuatro tendencias que empujan los científicos al autoengaño y, para compensar, ella misma propone cuatro ideas para reducir el fenómeno.

Cuatro tendencias al autoengaño

La miopía de la hipótesis. A menudo los investigadores realizan revisiones de la evidencia de manera tendenciosa con el fin de apoyar la hipótesis del futuro proyecto, ignorando, al mismo tiempo, la evidencia que va en sentido contrario, y no escuchando suficientes opiniones adversas a su idea original.

La adopción de modelos erróneos. Corre una fábula tejana sobre un tirador torpe que en una pista de tiro acertó, por puro azar, una ráfaga alrededor de la diana, lo cual hizo perder mucho dinero a algunos apostadores que creyeron que habían descubierto un tirador talentoso. Según Nuzzo, se observan tendencias entre los investigadores a dejarse cegar por modelos observados que les inspiran y, en cambio, no se dan cuenta de que quizás no están soportados de manera suficientemente consistente.

La atención asimétrica. Cuando los resultados van en la dirección deseada hay una inclinación a darlos por buenos, a menudo de manera precipitada, mientras que si van en la contraria, se revisan hasta la extenuación.

El redondeo del relato. Una vez obtenidos los resultados de la investigación, se observa una propensión a crear un relato de manera que la historia quede redondeada. Matthew Hankins, un estadístico del King's College de Londres, ha recogido más de 500 frases creativas que los investigadores utilizan en los artículos científicos para convencer a los lectores de que los resultados, a pesar de no ser significativos, son valiosos.

Cuatro propuestas para reducir el autoengaño

Promover el ejercicio de abogado del diablo. Regina Nuzzo propone dedicar tiempo a elaborar hipótesis alternativas a la original y contrastar el apoyo que la revisión científica ofrece a cada una de ellas.

Firmar acuerdos previos a la publicación. Publicar el plan de explotación de datos y de análisis en la fase previa del trabajo. Richard Horton, editor del Lancet, y Richard Smith, ex-editor del British Medical Journal, vienen proponiéndolo desde hace un tiempo, y ahora más de 20 revistas científicas ya están ofreciendo acuerdos para publicar protocolos de los proyectos con compromisos explícitos de edición de los resultados, al margen de si salen en el sentido deseado o no.

Invitar a los rivales a opinar. Los científicos que están en posiciones contrarias a las hipótesis planteadas, son los mejores críticos para detectar el autoengaño: miopía del planteamiento, errores en la detección de modelos, atención asimétrica, guiones confusos, etc.

Análisis ciego de los datos. La idea de esta propuesta es que los científicos analicen datos que sólo los ordenadores saben si son los que corresponden a los resultados reales o no. Ello se debería hacer como un mecanismo para evitar sesgos inconscientes en la fase de análisis, debidos a la presión que tienen los científicos para obtener determinados resultados.

Las grandes inversiones y las expectativas puestas en la investigación han potenciado la competitividad entre profesionales y entre instituciones, hasta extremos que han hecho saltar las alarmas, lo cual ha generado que muchos líderes y editores científicos crean que ha llegado el momento de velar más por reconducir sesgos y por aumentar la reproducibilidad de los resultados.

Jordi Varela

Editor