Hacía mucho tiempo que no había tanta ciencia dando vueltas en los medios. Incluso quienes normalmente no están interesados en las noticias científicas quieren saber lo último de lo último acerca del virus que nos tiene en vilo. Pero también empiezan a surgir dudas. ¿Qué tan confiable es la información que recibimos? ¿De dónde la obtienen los periodistas?
Normalmente, las fuentes más importantes para las notas sobre ciencia que leemos en los diarios son los papers, trabajos publicados en revistas científicas. En general no se habla mucho del proceso de publicación y los filtros que un trabajo científico tiene que pasar para convertirse en un paper "posta posta". Todo empieza con lo que llamamos "manuscrito" (sí, aunque no sea escrito a mano). En él los autores describen lo que se sabía previamente del tema, lo que ellos investigaron, sus resultados y conclusiones. Ese trabajo es evaluado por editores de la revista elegida y al menos dos revisores que deberían ser expertos en el tema. Si todos están de acuerdo, el trabajo es publicado. Lo más común es que haya pasos intermedios en que los revisores piden aclaraciones, análisis extra, o cuestionan lo que sea que no los convence.
El proceso completo suele tardar varios meses. Aunque nada garantiza que la revisión sea exhaustiva, al menos existe la posibilidad para editores y revisores de ser estrictos y revisar el manuscrito al detalle antes de aceptarlo. Por supuesto aún así puede pasar que los resultados hayan sido obtenidos por error y nadie pueda replicarlos, pero la revisión por pares es un filtro que debería servir para frenar trabajos metodológicamente dudosos o para mejorar los que estén un poco "verdes".
Una vez publicados, los resultados siguen en revisión constante, porque otros investigadores trabajando en los mismos temas intentarán replicarlos, o reanalizarlos, y en algunos casos encontrarán errores, mientras que en otros, obtendrán resultados similares y afianzarán su credibilidad.
Coronavirus y "ciencia rápida"
Con la pandemia, para algunos todo cambió. Todos queremos que aparezca el tratamiento que permita salir de las cuarentenas que tantas consecuencias económicas tienen. La presión para publicar rápidamente cualquier resultado que nos permita entender mejor cómo funciona el virus es enorme. Tan enorme, que diariamente consumimos noticias acerca de resultados preliminares o publicaciones que aún no han sido revisadas por pares, pero así y todo llegan a los titulares y dan la vuelta al mundo.
Estas publicaciones enviadas a revistas pero aún no revisadas se conocen como "preprints", se guardan en páginas web públicas para que otros científicos puedan verlas, opinar sobre ellas, contactar a los autores o citarlas en otros trabajos. Esto usualmente no representa mayor problema. Pero en tiempo de pandemia, los preprints llegan a los medios de comunicación, y muchas veces nadie explica que son trabajos que no pasaron por ningún filtro; se los pone a la par de papers que sí fueron revisados. Y, por supuesto, la mayor parte del público carece de las herramientas para discriminar entre un trabajo bien hecho y otro metodológicamente “flojo de papeles”. Por supuesto, no les corresponde tenerlas: un buen periodista científico debería tomarse el tiempo de aclararlo, pero no todos los medios de comunicación tienen a alguien entrenado para ello. Y por supuesto, los titulares dudosos nunca llaman tanto la atención como los anuncios de novedades espectaculares. La prudencia no junta clics.
Pero la "ciencia exprés" de la pandemia nos ha traído algo peor aún: en trabajos que parecen impecables, incluso algunos que han pasado el filtro de la revisión por pares (apurado en tiempo de pandemia), aparecen resultados dudosos, en algunos casos claros indicios de fraude.
Tomemos por ejemplo un caso que está dando vueltas por los medios desde que se desatara la pandemia: el de la hidroxicloroquina contra el SARS-CoV-2. Una investigadora que se dedica a detectar fraude científico encontró resultados muy dudosos en un trabajo hecho en Wuhan y publicado luego de revisión por pares. Por ejemplo, decían haber seguido a pacientes por 60 días, pero los últimos pacientes se registraron a principios de abril y el trabajo fue enviado para publicar a fines de ese mes. Las estadísticas también mostraban valores imposibles.
De hecho, hay muchos puntos flojos en el primer estudio que supuestamente demostrara la eficacia del fármaco contra el virus: el del grupo del histriónico Didier Raoult. El trabajo era prometedor. En seguida los medios de comunicación y hasta los políticos más influyentes del mundo se subieron al trencito de la hidroxicloroquina. Sin embargo, algunas cosas en el paper de Raoult no terminaban de cerrar. El pequeño tamaño de las muestras, la falta de grupo control (¿cómo sabemos cuántas personas hubiesen mejorado sin tratamiento?) y por sobre todo, el tiempo de revisión extraordinariamente corto (¡¡¡SÓLO UN DÍA!!!) llamaban mucho la atención. ¿Qué tan concienzudamente puede revisarse un trabajo científico en un día?
Otros indicios preocupantes aparecieron recién publicado el paper, cuando otros científicos lo escrutaron con la rigurosidad que, evidentemente, los revisores no habían ejercido. Por ejemplo, en los resultados finales se habían omitido a algunos pacientes, incluyendo a uno que murió durante el tratamiento, sin explicar las razones. Además el protocolo seguido no era el mismo que habían declarado previamente, lo que lleva a pensar que se estaban seleccionando unos resultados y descartando otros. Para terminar de complicar el asunto, uno de los coautores del paper es editor de la revista que aceptó el trabajo, es decir, existía un conflicto de intereses no declarado.
Como para agregar a las sospechas de "mala praxis científica", el investigador francés aparece como coautor en otros trabajos en que se detectaron resultados fraudulentos. Esto no necesariamente demuestra que el estudio de la hidroxicloroquina haya sido manipulado, pero se agrega a la lista de señales de alarma. Finalmente, varios análisis realizados en simultáneo en varios países del mundo muestran los resultados opuestos: la mortalidad en los individuos tratados con hidroxicloroquina es mayor que el placebo. Los datos de Raoult suenan cada vez menos verosímiles.
Reivindicando la "slow science"...
Por supuesto, cualquiera puede cometer un error involuntario en una investigación. Pero seguramente muchos más serán cometidos en la vorágine por publicar rápido análisis sobre un virus que asola al mundo y resultados de tratamientos prometedores o vacunas en desarrollo. Que se puedan cometer errores está previsto por el sistema científico. Hasta cierto punto uno puede publicar “fe de erratas” para un trabajo, o incluso retractarlo (declararlo inválido) si por algún motivo los resultados ya no se consideran confiables. Pero un buen proceso de revisión debería "pescar" al menos algunos de estos errores.
¿Y el fraude? Muchos de estos trabajos relacionados con el coronavirus apuntan directamente a una fabricación de datos. Es cierto que no siempre es fácil de detectar algo así en un proceso de revisión, pero algunos de los casos mencionados no requerían de demasiado análisis para ver que algo andaba mal. Y que esos trabajos hayan pasado el proceso de revisión nos indica que hay un grave problema con la "ciencia exprés".
¿En qué medida estos casos de fraude se deben a la presión por publicar de forma urgente? Es difícil saberlo. Pero en la medida en que los tiempos de revisión se acorten, será imposible garantizar que los trabajos publicados hayan pasado un filtro adecuado.
...y el buen periodismo científico
Sin llegar a hablar de fraude, la publicación de resultados de preprints en medios de comunicación es problemática cuando estos datos no son presentados como lo que son: provisionales, no chequeados, hablando en criollo, “para tomar con pinzas”.
Llega el momento de plantearse cómo se debe comunicar la ciencia. ¿Cuántos artículos de periodismo o divulgación científica ponen a los resultados en contexto dentro de un sistema que tiene sus propias lógicas, pero también una compleja relación con lo que pasa "afuera"? ¿En qué medida se comunica a los consumidores de noticias científicas todo el proceso que lleva a los resultados? ¿Cuántas personas saben por qué filtros pasa un paper? ¿Cómo podemos esperar que los datos sean leídos críticamente cuando se anuncian de forma totalmente descontextualizada?
Debemos repensar la comunicación de la ciencia. Eso también es algo que nos deja la pandemia.
