En 2006, unos investigadores del MD Anderson Cancer Center de Houston (Texas, EEUU) quisieron desarrollar experimentalmente tratamientos basados en los resultados sobre expresión génica que había obtenido Anil Potti, de Duke University, Durham (Carolina del Norte, EEUU). Pero antes de empezar pidieron a unos especialistas en estadística que le echaran un ojo a los resultados de Potti. Tuvieron que dedicar, al final, 2000 horas de trabajo a desentrañar los datos y revelar y catalogar los errores que habían encontrado. El dato es relevante porque pone de manifiesto las limitaciones del sistema de revisores (referees) de las revistas científicas y por qué ese sistema no puede garantizar la corrección de lo que en ellas se publica.

Pero no me voy a referir ahora al sistema de revisión por pares, asunto del que se ocupó la semana pasada Francis Villatoro aquí mismo, sino a la incertidumbre que existe acerca del grado de fiabilidad de los resultados científicos que se publican. En el ejemplo con el que he empezado esta anotación, la tarea de revisión duró tanto que para cuando se supo que había errores serios -de hecho, Potti había falsificado datos-, ya se habían iniciado dos ensayos clínicos basados en su publicación.

La incertidumbre que rodea muchos de los resultados publicados tiene que ver, en gran medida, con el hecho de que los experimentos o los ensayos no se suelen repetir. Algunos son, de hecho, irreproducibles. Aunque lleva años generando preocupación, el problema se manifestó con toda su crudeza el pasado año, a raíz de la publicación de un estudio según el cual tan solo para una treintena de 100 experimentos de psicología publicados en las mejores revistas científicas del campo se habían podido reproducir sus resultados. Pero el problema no se limita a la psicología, sino que afecta a un buen numero de disciplinas, muy especialmente en el campo de la biomedicina y ciencias de la salud, campos en los que, además, la investigación conduce en ocasiones a la toma de decisiones que afectan al bienestar y la salud de las personas.

Aunque el ejemplo inicial se refiere a un caso en el que el investigador concernido había cometido fraude, en la mayor parte de las ocasiones no hay trampa, ni malas prácticas realizadas de forma consciente. Las razones por las que los resultados experimentales no se reproducen al repetirse los experimentos son diversas. En muchas ocasiones no se especifican de forma correcta las condiciones experimentales. En otras los investigadores se ven afectados por sesgos muy comunes y que tienen que ver con el grado de aproximación de los resultados obtenidos a las expectativas iniciales. Cuando en un conjunto de datos alguno destaca como “anómalo” es relativamente común descartarlo basándose en el supuesto de que la anomalía bien puede deberse a un error experimental sin trascendencia. En todo esto influyen de forma decisiva dos factores. Uno es que el personal de universidades y centros de investigación está sometido a una fuerte presión por publicar, dado que los artículos científicos son el baremo principal de su productividad y, por ende, de sus posibilidades de mantener el puesto de trabajo o de promocionarse. Y el otro es que las revistas científicas rara vez aceptan publicar resultados negativos. Por esa razón, no es de extrañar que funcionen sesgos que, inconscientemente, facilitan la obtención de resultados positivos y, por lo tanto, publicables.

El tratamiento estadístico es también una fuente de resultados de difícil reproducción. Es relativamente común la práctica de ensayar diferentes procedimientos y seleccionar, entre un catálogo más o menos amplio de posibilidades, aquél cuyos resultados mejor se acomodan a las expectativas. Este es un problema serio en los campos en que se realizan ensayos que han de conducir al desarrollo posterior de tratamientos médicos. Pero, el daño que causa es general, ya que esa forma de proceder tiende a neutralizar la emergencia de nuevas ideas que debería caracterizar, de forma intrínseca, a la práctica científica. Si se opta por mostrar los resultados que mejor se acomodan a las expectativas, se deja de lado el examen crítico de posibilidades que podrían haber conducido a nuevas ideas.

Hasta aquí algunos ejemplos de malas o inadecuadas prácticas científicas; la relación no ha pretendido ser exhaustiva. Pero en este asunto también hay buenas noticias. La primera es que el mundo de la ciencia es consciente de que estos y otros problemas existen. Y la segunda es que se van adoptando medidas e introduciendo novedades pensadas para evitar o minimizarlos. Desde 2005 un grupo de revistas importantes en áreas de salud requieren de los investigadores que hagan públicos los ensayos clínicos que están desarrollando así como sus métodos –incluidos los estadísticos-, desde el comienzo, o sea, mucho antes de que esos ensayos ofrezcan resultados y den lugar a publicaciones científicas. Pretenden, de esa forma, minimizar el número de estudios con fallos o errores como los aquí descritos. La revista Psycological Science, por ejemplo, ha empezado a pedir a los autores más detalles de la metodología utilizada, y a requerir o premiar a quienes están dispuestos a compartir con sus colegas los resultados brutos, de manera que puedan someterse al escrutinio de los demás. Y en general, cada vez son más las revistas y organizaciones científicas que ponen en práctica métodos que procuran una mayor transparencia de los trabajos y buscan la reproducibilidad de las conclusiones.

Aunque quizás, la clave de un verdadero cambio esté en los incentivos que las universidades y centros de investigación utilizan para reconocer y premiar el trabajo de su personal científico. La cantidad debería dejar de ser un criterio, para ir valorando cada vez más la calidad del trabajo y trascendencia de los resultados. Y no se trata de acudir a indicadores de las publicaciones tal y como se utilizan hoy o, al menos, no sólo a esos indicadores (basados en métricas de impacto y similares), sino de recurrir a la valoración experta del nivel y alcance del trabajo realizado.

La ciencia tiene debilidades; son debilidades serias y de graves consecuencias. Las que afectan, con carácter general, al desarrollo del conocimiento son evidentes. Pero esas no son las únicas. También hay consecuencias prácticas de gran trascendencia. En los Estados Unidos se estima que la investigación preclínica no reproducible tiene un coste anual de 28 mil millones de dólares y, por supuesto, retrasa el desarrollo de tratamientos que salvan vidas humanas y mejoran la calidad de vida. Es de suponer que en el resto de potencias científicas las cosas estarán, en su correspondiente proporción, más o menos igual.

Pero a la vez que han de preocuparnos las debilidades, también debemos congratularnos de que sea la misma comunidad científica la que está tratando de aportar las necesarias soluciones. Porque han sido científicos profesionales quienes han investigado y dado a conocer las patologías que aquejan a la práctica científica. Han sido científicos profesionales y organizaciones científicas las que han propuesto medidas para afrontar los problemas y resolverlos. Y son revistas científicas las que están adoptando medidas para incentivar la transparencia y la reproducibilidad de los resultados.

Nos debemos congratular, sí. Dudo que en ninguna otra esfera de la actividad humana quienes la practican y conforman su correspondiente comunidad realicen un escrutinio y se interpelen a sí mismos de forma equivalente a como se hace en el mundo de la ciencia. Porque la ciencia basa su potencial en la humildad intrínseca a su ejercicio y su constante disposición a autocorregirse. En definitiva, es la ciencia es poderosa precisamente –y ahí radica la gran paradoja- por el reconocimiento de su falibilidad.

Fuente:

Esta anotación está principalmente basada en The Unscientific Method, de Sonia van Gilder Cooke (New Scientist de 16 abril 2016) y la experiencia personal del autor.

Nota:

Quien esté interesado en el problema del fraude científico, puede consultar la excelente serie de Joaquín Sevilla que publicó en este cuaderno (y empezó con esta anotación). Y como suele ser habitual, Francis Villatoro también ha escrito bastante y bien sobre estos temas.

Sobre el autor: Juan Ignacio Pérez (@Uhandrea) es catedrático de Fisiología y coordinador de la Cátedra de Cultura Científica de la UPV/EHU