No es fácil, con la organización actual de la ciencia, reproducir los experimentos que otros han elaborado y publicado. No debemos olvidar que, en el método científico, la reproducibilidad de los resultados es lo que definitivamente valida el experimento y sus hallazgos y los convierte en hechos científicos. Es más, cuando son dos de los líderes de los National Institutes of Health de Estados Unidos, Francis Collins y Lawrence Tabak, los que publican, el pasado 30 de enero, un comentario de dos páginas en Nature sobre este asunto y dan la alarma sobre la importancia que está tomando el problema de la no reproducibilidad de los experimentos publicados, lo más indicado es correr la voz en el entorno que nos corresponde.

Ya de entrada, Collins y Tabak dejan claro que esta cuestión no tiene que ver con malas conductas o fraudes. En realidad, es mucho más grave por estar más extendido y ser, por lo que parece y para muchos científicos, un asunto del que no son ni siquiera conscientes. Aseguran que una de las causas básicas del problema es la falta de formación de los investigadores en el diseño de experimentos y en su traslado claro y objetivo a las publicaciones. Añaden que se buscan, ante todo, titulares, o título para el artículo, impactantes más que exponer con claridad detalles técnicos. Incluso hay muchas revistas, algunas de ellas entre las de más prestigio, que imponen restricciones de espacio al apartado Material y Métodos (y con letra pequeña, a veces ilegible sin lupa, y al final del texto).

Como ejemplo nos sirve el trabajo de revisión de Joshua Carp, de la Universidad de Michigan en Ann Arbor, que analizó 241 artículos con imágenes de resonancia magnética. Algunos no incluyen detalles metodológicos respecto al diseño experimental, la toma de datos y su análisis posterior. En otros no existe un estudio estadístico apropiado*. En conclusión, muchos de los estudios revisados por Carp no se pueden reproducir por no estar incluidos en el texto detalles suficientes de los procedimientos utilizados.

Otra revisión más extensa se debe al grupo de Nicole Vasilevsky, de la Universidad de Oregon en Portland. Revisan artículos de Biología Celular, Biología del Desarrollo, Inmunología, Neurociencias y, como categoría general, Biología General tal como aparecen en los informes sobre el factor de impacto. Analizan en total, y correspondientes a los años 2012 y 2013, 238 artículos de 84 revistas. Como parte esencial de la metodología, los autores intentan identificar en las publicaciones los anticuerpos, fragmentos de ácidos nucleicos, líneas celulares y organismos utilizados así como el tratamiento estadístico para manejar los datos.

Los anticuerpos, fragmentos de ácidos nucleicos y líneas celulares se pueden identificar con precisión en menos de la mitad de los artículos. Incluso hay un 20% de trabajos en los que es imposible saber con qué organismo experimentaron los investigadores. Por ejemplo, si trabajan con ranas, están identificadas con exactitud en un 0% de los artículos revisados, o sea, en ninguno. Como media, los autores del equipo de Vasilevsky afirman que el 54% del material utilizado no se identifica con precisión en estos trabajos por lo que, es indudable, los experimentos no se pueden reproducir.

Un tercer ejemplo nos llega de la Bayer, empresa farmacéutica que, con la publicación liderada por Florian Prinz desde Berlin, se queja del aumento de fracasos, del 72% al 82%, en las pruebas clínicas para ensayar nuevas drogas. Parten, para planificar esas pruebas y conseguir nuevos fármacos, de los datos publicados por investigadores básicos. Cuando reproducen los ensayos publicados por los autores originales en los laboratorios de la Bayer, solo consiguen los mismos resultados en un 25% de los casos y resultados consistentes con la hipótesis de inicio en un 43% de los casos. En conclusión, solo menos de la mitad de los experimentos iniciales publicados por los investigadores básicos es reproducible.

Si volvemos a Collins y Tabak, los jefes del NIH, nos cuentan como su institución ya se ha puesto en marcha para solucionar, o por lo menos intentarlo, el problema de la falta de reproducibilidad. Las propuestas van desde convencer a editores y revisores de revistas de que uno de los apartados de un artículo a corregir con más atención es el de Material y Métodos, además de que no se debe restringir el espacio que ocupa y se le debe dar la importancia debida. Por otra parte, desde el NIH proponen que en los centros de investigación se deben impartir cursos y talleres sobre diseño experimental y, en general, sobre el método científico. Además, deben dedicar fondos y personal, aparte o dentro de proyectos concretos de investigación, a reproducir experimentos ajenos si se considera necesario, tal como ya hace la Bayer. Y, desde otro enfoque pero con el mismo objetivo final, deben cambiar los baremos de evaluación de los investigadores y tener en cuenta más los logros científicos que el factor de impacto de las revistas donde los publicaron. Es habitual que se evalúe a los científicos según el factor de impacto de la revista sin necesidad de leer el texto del trabajo publicado.

En fin, esto es lo que creo que hay detrás del aviso de los dirigentes del NIH y, si les parece necesario, hagan propuestas y comentarios pues es un problema grave que necesita solución y, me parece, imaginación.

*El manejo estadístico de los datos es un problema muy extendido que no voy a tratar en extensión. Por ejemplo, Konstantinos Tsilidis y su grupo, de la Universidad de Ioannina, en Grecia, han publicado un metaanálisis del tratamiento estadístico de los datos de 4445 tablas publicadas con los resultados del uso de drogas en animales en relación con enfermedades neurológicas. Solo 8 cumplen las mayores exigencias en estadística (Tsilidis y cols., 2013). Reproducibilidad, tratamiento estadístico y educación en el método científico se unen en la reciente propuesta de Baumer y cols. (2014).

Referencias:

Baumer, B., M. Cetinkaya-Rundel, A. Bray, L. Loi & J.N. Horton. 2014. R Markdown: Integrating a reproducible analysis tool into introductory statistics. Technological Innovations in Statistics Education 8(1), 29 pp.

Carp, J. 2012. The secret lives of experiments: methods reporting in the fMRI literature. Neuroimage 63: 289-300.

Collins, F.S. & L.A. Tabak. 2014. NIH plans to enhance reproducibility. Nature 505: 612-613.

Prinz, F., T. Schlange & K. Asadullah. 2011. Believe it or not: how much can we rely on published data on potential drug targets? Nature Reviews Drug Discovery 10: 712-713.

Tsilidis, K.K., O.A. Panaglotou, E.S. Sena, E. Aretouli, E. Evangelou, D.W. Howells, R.A. Salman, M.R. Macleod & J.P.A. Ioannidis. 2013. Evaluation of excess significance bias in animal studies of neurological diseases. PLoS Biology 11: e1001609.

Vasilevsky, N.A., M.H. Brush, H. Paddock, L. Ponting, J.J. Tripathy, G.M. LaRocca & M.A. Haendel. 2013. On the reproducibility of science: unique identification of research resources in the biomedical literature. PeerJ 1: e148 DOI: 10.7717/peerj.148.

Sobre el autor: Eduardo Angulo es doctor en biología, profesor de biología celular de la UPV/EHU retirado y divulgador científico. Ha publicado varios libros y es autor de La biología estupenda.