Según Thomson Reuters hay nueve millones de investigadores en activo que publican unos dos millones de artículos al año. En principio todos podrían ser revisores y cada artículo podría ser revisado por varios. En la práctica los editores de revistas prefieren a un grupo reducido, los más prestigiosos. Investigadores con una gran carga de trabajo que no dan abasto. La revisión por pares está llegando a una situación insostenible. Muchos científicos se quejan de que es injusta y anticuada. No sé si alguna vez fue justa, pero su historia es reciente. ¿Qué futuro le espera a la revisión por pares?
La revisión por pares (peer review en inglés) forma parte del acervo cultural que toda persona debería conocer. Cuando un investigador envía un artículo para su posible publicación en una revista, el editor invita a dos o tres expertos (los revisores) para que lo evalúen de forma crítica, con énfasis en su novedad, relevancia y rigurosidad científica. Los detalles del proceso de revisión dependen de la revista, pero lo habitual es que el proceso sea anónimo (los autores no saben quiénes son los revisores) y que los revisores sugieran cambios en el artículo (que deberían mejorar su presentación y contenido). Tras la revisión por pares el editor usa los informes recibidos para tomar la decisión definitiva sobre la publicación del artículo.
Las primeras revistas científicas nacieron en el siglo XVII. En enero de 1665 nació en Francia el Journal des sçavans (más tarde llamado Journal des savants) y en marzo de ese año en Gran Bretaña las Philosophical Transactions of the Royal Society. No tenían revisión por pares, siendo el propio editor quien tomaba la decisión sobre el artículo sin consultar con nadie externo a la revista (salvo en casos excepcionales). En 1752 la Royal Society decidió crear un comité editorial que decidiera (por votación) qué publicar en Philosophical Transactions.
El pionero de la revisión por pares fue William Whewell, profesor de la Universidad de Cambridge y filósofo de la ciencia. En 1831 propuso un esquema de revisión por pares a la Royal Society. Todos los artículos que se enviaran a la revista semestral Philosophical Transactions deberían ser sometidos a una evaluación por dos o tres científicos eminentes.
El primer artículo sometido a revisión por pares fue escrito por el astrónomo George Airy, siendo revisado por el propio Whewell junto al astrónomo John William Lubbock (que era tesorero de la Royal Society y fue alumno de Whewell en Cambridge). El informe de Whewell elogiaba el trabajo de Airy. Pero el informe de Lubbock era todo lo contrario, aborrecía la notación matemática usada y sugería muchos cambios en el artículo.
Airy recibió el informe de Lubbock muy irritado, no entendía cómo su manuscrito había sido sometido a un nuevo proceso tan exótico. Airy informó a Whewell de que no cambiaría nada en su artículo, era así y así tenía que ser. Tras el rifirrafe el artículo fue publicado, acompañado del informe de revisión de Whewell, que también firmó Lubbock. El suyo no se hizo público nunca, quizás para evitar represalias.
Hasta el año 1833 los informes de los revisores eran públicos. A partir de entonces pasaron a ser privados y anónimos. No era algo de caballeros firmar críticas a los trabajos de los colegas. Más aún cuando los revisores podían ser más jóvenes y con menor prestigio que los autores de los artículos.
Por cierto, el término revisor (referee en inglés) fue introducido por el geólogo George Greenough en 1817. Se usaba para los miembros de la Geological Society de Londres que realizaban un proceso de revisión de los trabajos que se iban a presentar de forma pública. Dicho término se adoptó para referirse a los evaluadores de artículos enviados a revistas en el proceso ideado por Whewell.
La idea moderna de que la revisión por pares es un sistema garantista de la calidad científica nació a principios del siglo XX, pero no se implantó de forma definitiva hasta la segunda mitad de dicho siglo cuando su nombre cambió de sistema de revisión (referee system) a revisión por pares (peer review). Hoy toda revista científica de prestigio debe tener un sistema de revisión por pares riguroso. Se asume que el revisor debe actuar como cancerbero de la ciencia.
Muchas revistas se resistieron todo lo posible a la implantación de un sistema de revisión por pares (por ejemplo, la prestigiosa revista Nature lo adoptó en el año 1973). Hoy en día muchas revistas prefieren un sistema de revisión por pares laxo (como PLoS ONE, la revista que más artículos publica al año). Otras abogan por eliminar el anonimato de los revisores (como EMBO Journal, y BMJ Open, entre otras). E incluso algunas proponen el uso de un sistema de revisión por pares doble ciego, en el que los revisores ignoren el nombre de los autores.
Pero lo cierto es que el crecimiento exponencial del número de revistas y de artículos científicos publicados al año ha puesto contra las cuerdas el sistema de revisión por pares. En 2013 se publicó una encuesta online sobre el sistema de revisión por pares en revistas biomédicas. Participaron más de 1300 científicos de universidades prestigiosas. La encuesta desveló que más del 50% de los entrevistados piensa que la revisión por pares es injusta y poco científica. La calidad, la integridad y la justicia de la revisión por pares están en entredicho.
Yo no tengo la solución al problema. Solo quiero que pienses sobre este tema, tanto si te afecta de forma directa (porque eres científico y publicas artículos), como si te afecta de forma indirecta (porque quieres que sólo se publique ciencia relevante, rigurosa y de calidad). La revisión por pares forma parte de la cultura científica que todos debemos conocer.
Este post ha sido realizado por Francis Villatoro (@Emulenews) y es una colaboración de Naukas con la Cátedra de Cultura Científica de la UPV/EHU.
Referencias
[1] Alex Csiszar, «Peer review: Troubled from the start,» Nature (19 Apr 2016). Nature 532, 306–308 (21 April 2016), doi: 10.1038/532306a.
[2] George Biddell Airy, “On an Inequality of Long Period in the Motions of the Earth and Venus,” Philosophical Transactions of the Royal Society of London 122: 67-124 (1832), http://www.jstor.org/stable/107955; William Whewell, John William Lubbock, Review Report on ‘On an Inequality of Long Period in the Motions of the Earth and Venus,’ Abstracts of the Papers Printed in the Philosophical Transactions of the Royal Society of London 3: 108-113 (1830-1837), http://www.jstor.org/stable/110306.
[3] Roger Chun-Man Ho et al., “Views on the peer review system of biomedical journals: an online survey of academics from high-ranking universities,” BMC Medical Research Methodology 13: 74 (2013), doi: 10.1186/1471-2288-13-74.
[4] “The world’s most influential scientific minds,” Thomson Reuters (2015), [PDF] http://goo.gl/uKoJxp.
Victoria
En el ámbito de las publicaciones científicas los más avanzados son los matemáticos e informáticos, acostumbrados a publicar sus resultados en sistemas abiertos antes de ser revisados por pares.
Para mí el futuro está en esa línea, publicar los resultados en una plataforma abierta donde todos los demás puedan poner comentarios (no exactamente revisiones), añadir datos importantes, informar de si han podido replicar los experimentos… Y sin ese formato caduco y pesado de introducción, métodos, resultados y discusión.
Los avances importantes serían compartidos por muchos científicos (y no científicos) y/o en su caso refutados. La explotación de estas interacciones podría sustituir al actual «impacto».
Francis
Y los físicos, Victoria, no olvides que ArXiv nació para los físicos y luego fue usado por Matemáticos e Informáticos
Cuaderno de Cultura Científica: “La promesa de una revisión por pares justa” | Bibliometría | La Ciencia de la Mula Francis
[…] recomiendo leer “La promesa de una revisión por pares justa”, Cuaderno de Cultura Científica, 12 Ago 2016, que parafrasea “La promesa de una sociedad justa”, pero centrada en el peer review. Te […]
Hitos en la red #130 – Naukas
[…] Mención aparte merecen estas reflexiones de Francis, que se nos antojan muy oportunas: Sobre el supuesto pesimismo en física de partículas y La promesa de una revisión por pares justa. […]
Hitos en la red #130 | Para Entretener
[…] Mención aparte merecen estas reflexiones de Francis, que se nos antojan muy oportunas: Sobre el supuesto pesimismo en física de partículas y La promesa de una revisión por pares justa. […]
Juan R
Hola Francis. Sigues con tu batalla sobre las publicaciones y la calidad científica. Pero creo que deberías dar un marco adecuado al tema. Empiezo por donde tú terminas: “yo tampoco tengo la solución”. Sin embargo, creo que lo que expones se puede matizar o por lo menos dar un contexto que permita interpretar algunas de las ideas que expresas.
Para los investigadores es importante publicar, primero porque es el resultado del trabajo científico realizado (normalmente cuesta años llegar a resultados que permitan publicar), pero no menos importante, publicar es uno de los parámetros que pesan más en el CV. De forma que mientras más opciones de publicar se abren mejor, en teoría.
Por otro lado, internet lo ha revolucionado todo, y publicar es más rápido y barato para las editoriales (no para el científico). De manera que se ha creado un espacio para que aparezcan nuevas revistas cuyo objetivo es que puedas publicar tu trabajo siempre que no sea (detectable) una invención de datos. Sin embargo, la aparición de nuevas revistas que fundamentalmente son de acceso libre (open access journals), más el aceleramiento del proceso de revisión (acortando tiempos de envío y revisión del artículo) satura la capacidad de encontrar revisores. Por lo que en muchas ocasiones sucede que no se encuentran los revisores adecuados que los editores quisieran o que el trabajo bajo revisión necesitaría, si se piensa en calidad científica.
Pero además, sucede que las nuevas revistas llegan a imponer unos cambios en el peso de los criterios de evaluación/revisión. Es decir, si bien para las revistas importantes sigue siendo la calidad científica del trabajo lo que se busca a la hora de aceptar la publicación (novedad, abordaje científico del problema, interés de los hallazgos etc), no todas la revistas científicas actuales están pensando en calidad científica.
Y así lo declaran en su línea editorial (que se puede ver online) y en las recomendaciones para revisores (que también son públicas). En general se propone que el artículo debe ser técnicamente aceptable aunque los resultados no sean necesariamente ni novedosos, ni rompedores (Plos One, Scientific Reports, Frontiers y las marcas blancas de revistas de alto impacto que empiezan a proliferar para hacer frente al mercado que pierden). Y, se pretende que la calidad científica sea el público el que juzgue (citando más o menos) si el trabajo merece la pena científicamente o es relevante en su campo. Con lo que dejan el peso de la relevancia científica a las citas que se reciban y no al trabajo de revisión. Entenderás que en este tipo de revistas se altera el valor de la revisión por pares (quedando menospreciado) como tú comentas, pero no todos los procesos ni todas las revistas actúan igual.
En estas circunstancias, el abordaje que un científico hace para revisar un artículo será/es diferente ante un trabajo que llega desde una revista u otra. No se revisa igual un trabajo para Plos One que para Nature Medicine (ejemplos tomados al azar). Y esto es así por dos razones, la primera porque la editorial al enviarte el artículo para revisar te recuerda las normas para publicar, y por otro lado porque el trabajo que debes dedicar a dicha revisión es diferente.
Hasta aquí, quizás llevas parte de razón cuando apuntas a que el sistema de revisión está corrupto porque existen imposiciones desde las revistas. Pero creo que se te olvida la parte en la que la responsabilidad la tenemos los investigadores. (ver continuación)
Francis
Mi entrada es sobre la revisión por pares, no sobre si la ciencia debe ser publicada. Como bien sabrás la ciencia no publicada no es ciencia; el conocimiento no compartido no es conocimiento.
«No se revisa igual un trabajo para Plos One que para Nature Medicine (…) porque el trabajo que debes dedicar a dicha revisión es diferente. (…) Se te olvida la parte en la que la responsabilidad la tenemos los investigadores».
Esa es la clave, si revisas con la calidad como objetivo deberías revisar igual, solo tiene sentido que no sea así si tu objetivo es otro. Y eso es lo que critico.
Juan R
Y entra en juego otro factor, la evaluación del CV del científico según sus publicaciones. Aquí, los revisores de las agencias (como la ANEP) deberían tener en cuenta no solo la cantidad de artículos sino también la calidad. Y entonces por mucho que Plos One (siguiendo siempre tu ejemplo) tenga criterios laxos, nunca será igual publicar 10 artículos en esa revista que un artículo en Nature. Siendo posiblemente igual el impacto total final (Plos One está en 3 de IP, y Nature debe rondar 30). Lo que satura el sistema y rebaja la calidad de revisión son los 10 artículos enviados a la primera antes que un artículo enviado a la segunda. El primero ocupa a 20 revisores y el segundo ocupa a 2 ó 3 revisores. Entonces, ¿la responsabilidad es del revisor y el sistema de revisión o del científico que decide publicar a saco porque así consigue los 30 puntos de impacto que nunca conseguirá intentando un artículo en Nature?.
La revisión por pares claramente tiene sus problemas de sesgos, grupos, etc., pero no es el problema de la calidad de las revistas. Sobre todo si al final ponemos un marco temporal a la evolución de la calidad de las revistas, ya que Plos One ha bajado 2 puntos en 2 años (de 5 y algo a 3 con poco) mientras Nature sigue en su línea. Por tanto, claramente no es lo mismo ni el proceso de revisión ni la calidad científica (que una pierde y otra mantiene).
Para no usar el paradigma de las revistas que relumbran, se podría comparar el coste en trabajo que tiene publicar en una revista de línea editorial generalista de acceso abierto y cuyo única premisa es que técnicamente el trabajo sea limpio, con una revista del mismo impacto pero especialista y con unas reglas para revisión que incluyen calidad. Por ejemplo en el primer caso Plos One y en el segundo Journal of Neurophysiology, ambas con índice de impacto similar, pero publicar en la primera suele ser “fácil” y como mucho peleas una revisión de bajo nivel, o publicar en la segunda cuesta al menos dos vueltas de revisión severa e incluso un tercer revisor (cuando tengas suerte de ser aceptado). En estas circunstancias, no extraña que el científico responsable del trabajo elija por la primera opción, es más barata en tiempo, esfuerzo y renta lo mismo, 3 puntos escasos de IF. Entonces no es el sistema el que se “corrompe”, es el investigador el que decide participar del sistema “laxo” y darle más recursos (el coste monetario de publicar es mayor).
Además, el sistema de tesis impone que se requieren determinado número de artículos para acceder a la defensa, pero la ciencia y la obtención de resultados para publicar no siempre está en consonancia con los tiempos que impone el sistema universitario de tesis. Por lo tanto, cuando el director de tesis entiende que se termina el plazo de beca o la financiación de proyecto y hay que publicar (a cualquier precio) para que se defienda la tesis, se opta por una revista de revisión laxa, poniendo en dudas tanto la calidad de la publicación como la calidad de la tesis. Y esto es así en muchos casos que seguro conoces y que cuando son compañeros de departamento incluso justificas.
¿Miramos para otro lado cuando esta crítica que tú haces sobre el sistema de revisión afecta a la producción de nuestro grupo o el de compañeros de departamento o amigos de otras universidades que además nos invitan a ser tribunal de dicha tesis?.
Y todo se complica cuando hay que evaluar la trayectoria de un investigador para conceder un proyecto, por ejemplo. Entonces, si la mayoría de publicaciones en los últimos 5 años están basadas en las revistas de sistema laxo, es responsabilidad del evaluador ir a los trabajos originales y aplicar su criterio para determinar si realmente merece la pena conceder el proyecto, o si tanta publicación es un poco de aprovechamiento del sistema. Por otro lado, se puede poner un umbral y decidir que si no se publica en revistas de determinado impacto y fiabilidad, por muchos otros artículos en sistema laxo de publicación, no se concede el proyecto.
Te puedo preguntar, Francis, ¿cómo lo haces tú?. ¿Eres tan coherente en tus evaluaciones de ANEP como en tus artículos de divulgación sobre el proceso de revisión?. ¿O según conozcas la trayectoria del grupo cedes en determinados parámetros para facilitar la continuidad de los proyectos en curso y estabilidad del grupo?.
La cosa no es tan fácil como tú la describes rígidamente en tu artículo.
También se conoce la situación en la que el investigador principal está dirigiendo 4 tesis (cosa difícil si se quiere prestar atención y optar por calidad en las 4), pero solo las dirige en la distancia, ya que son los postdoctorales los que guían a los predoctorales en su tesis aunque el investigador principal lo firme todo y su máxima aspiración sean esos 4 artículos anuales, sin importar dónde ni la calidad. Esta situación satura el proceso de revisión, rebaja la calidad de la ciencia publicada etc., pero existe desde antes incluso que la aparición de revistas de proceso laxo de revisión. Y lo sabes ¿verdad?. Ver Continuación.
Francis
«Plos One y (…) Journal of Neurophysiology, ambas con índice de impacto»
Nunca se deben comparar índices de impactos de revistas en áreas diferentes.
«evaluar la trayectoria de un investigador para conceder un proyecto»
Parece que olvidas que la evolución de proyectos siempre se realiza mediante revisión por pares. Nunca lo hace un administrativo que cuenta papers sin más.
«¿cómo lo haces tú?»
Trato de ser justo, pero tengo en cuenta todas las circunstancias.
«¿O según conozcas …?»
Conocer a los evaluados influye, tanto a favor como en contra. Evaluar para la ANEP puede parecer lo mismo que evaluar un paper para una revista, pero no lo es. Hay otros factores que hay que tener en cuenta, sobre todo en la coyuntura científica actual en España.
La ciencia es un club y hay reglas entre miembros.
Juan R
Y finalmente, entra en juego otro factor como es la repercusión que ahora tiene la ciencia en los medios de comunicación. Sucede que los medios se esmeran por tener una sección de ciencia, para lo que necesitan material publicable, titulares que llamen la atención, e historias originales (es periodismo, no ciencia y hay que matizarlo). Y no siempre se encuentran todos los ingredientes en las grandes revistas científicas con la frecuencia que “el mercado” requiere. De tal manera que los titulares y los artículos que se comentan son de revistas cuyos criterios de revisión científica son “laxos” (Plos One, Scientific Report –incluso siendo del grupo Nature-, Frontiers etc). Bien, pues todas estas publican ciencia que quizás no debería salir en los medios. Pero te invito a revisar los medios de periodismo científico y divulgación científica y a que les llames la atención a aquellos que hacen noticias con origen en artículos cuya revista tiene un sistema de revisión laxo. ¿Lo haces?, no lo sé pero seguro que conoces a muchos periodistas y divulgadores que se alimentan de los artículos de revistas de sistema laxo.
Este consumo de ciencia en los medios de comunicación y divulgación alimenta el sistema de revistas de revisión laxa además de dar visibilidad a grupos cuyo trabajo es respetable pero cuyos resultados no son relevantes ni innovadores etc. ¿Qué se hace ante esto?. ¿Le llamas la atención al científico o al periodista?. La cosa, estimado Francis, es bastante más compleja que lo que expones en tu artículo, aunque comparto algunas de las ideas, no comparto la falta de contexto y la forma de generalizar en la que cuentas la historia.
Saludos.
Francis
«La repercusión que ahora tiene la ciencia en los medios de comunicación».
Muy pobre, para la que merece.
«Sucede que los medios se esmeran por tener una sección de ciencia»
Ojalá.
«Necesitan material publicable, titulares que llamen la atención, e historias originales»
Por supuesto y todas las semanas hay decenas de resultados «mediatizables». Por desgracia muchos medios los ignoran.
«Te invito a revisar los medios de periodismo científico y divulgación científica y a que les llames la atención a aquellos que hacen noticias con origen …’
No sólo yo, desde Naukas muchos llevamos años haciéndolo.
«ciencia en los medios de comunicación y divulgación alimenta el sistema de revistas de revisión laxa»
Te equivocas. La mayoría de los artículos en los medios son de Nature y Science. Para muchos medios sólo existe la ciencia publicada en estas revistas. Y en ellas también se publica basura.
«dar visibilidad a (…) resultados no relevantes ni innovadores»
Si no es relevante, no merece visibilidad. Se hace mucha ciencia basura y quien la hace no merece visibilidad
«¿Le llamas la atención al científico o al periodista?»
Se está haciendo. La mayoría de ellos son personas sensatas y aceptan las criticas constructivas con interés y respeto.
Gracias por los comentarios.
Saludos
Francis
La promesa de una revisión por pares jus…
[…] Según Thomson Reuters hay nueve millones de investigadores en activo que publican unos dos millones de artículos al año. En principio todos podrían ser revisores y cada artículo podría ser revisado por varios. En la práctica los editores […]