¿Las principales revistas están dañando la ciencia?

En resumen: sí, pero …

Los publican empresas privadas que actúan en el mejor interés de sus lectores, empleados y accionistas. Pueden tener el propósito de avanzar en las fronteras del conocimiento, pero están actuando dentro de otras limitaciones. Hay una buena cita que me parece bastante adecuada para este caso: “Ahí va mi gente. Debo seguirlos, porque soy su líder.

Por otro lado, la academia debería ser más inteligente y no debería depender tanto de métricas cuantificables al pagar / promover / contratar investigadores. Sin embargo, en muchas partes del mundo, las universidades están vinculadas a las agencias de financiación, y a estas les gustan las clasificaciones cuantificables para que puedan elegir “objetivamente” qué investigación financiar.

Y los investigadores, por supuesto, son humanos. La mayoría tiene sed de reconocimiento y (como las agencias de financiación confían en estas métricas) también están tratando de optimizar sus publicaciones para que tengan fondos de investigación en el futuro. Hay mucha competencia, y cuando estás en una posición muy insegura con respecto a los medios de vida, no piensas demasiado en el aspecto romántico de hacer ciencia.

Como puede ver, esta es la forma en que las cosas están alineadas en este momento. En tales situaciones, es difícil cambiar todo el sistema a la vez. La mejor opción es comenzar con muchas iniciativas diferentes que están fuera de este sistema (acceso abierto, revisión colectiva …). Y más tarde, si muestran mejores resultados, los gobiernos y otros comenzarán a cambiar sus sistemas en esa dirección.

En general, creo que actualmente hay suficiente culpa para dar la vuelta, y las principales publicaciones no deberían estar solo en el yunque. Sin embargo, es una discusión necesaria, y veremos cómo evoluciona este tema en el futuro.

Es realmente difícil “dañar” la ciencia. Quiero decir, realmente tienes que intentar socavar el método científico y dado que esto se realiza de forma independiente por cientos de miles de científicos diariamente, requeriría una inmensa ingeniería social entre los científicos para dañar la ciencia.

Sin embargo, estas revistas están haciendo todo lo posible para dañar la ciencia. (Digo esto solo parcialmente irónico).

Soy muy afortunado de estar en un campo que no publica en estas revistas. Simplemente no aceptan artículos de la teoría de alta energía (técnicamente lo hacen, pero en la práctica, solo aceptan de 0 a 2 por año). Estos artículos generalmente están escritos por ganadores del Premio Nobel y no tienen más mérito que cualquier otro artículo publicado en una revista normal (Like Physical Review D o el Journal of High Energy Physics o European Physics Journal C).

Pero lo que he leído sobre la revisión por pares de la ciencia médica y biológica y sus revistas y de la confirmación independiente de hablar con científicos en estos campos, las revistas intentan socavar el proceso científico.

¿Cómo es eso? Es casi imposible publicar un trabajo confirmando o refutando otro artículo. Ese es el corazón del método científico. Rehacer el experimento de forma independiente para garantizar que el resultado sea robusto y para probar hipótesis alternativas a resultados sorprendentes.

Las ciencias biológicas y médicas no participan en servidores de preimpresión que permiten la difusión de artículos antes de la revisión por pares a la comunidad científica experta. Por lo tanto, mucho trabajo simplemente no se verifica porque este tipo de investigación tiene problemas para ver la luz del día debido a la “novedad” que se requiere para publicar en las revistas más respetadas en estos campos.

El hecho de que las principales revistas en estos campos estén escritas para el consumo público hace que sea aún más probable que las afirmaciones escandalosas se realicen a través del proceso de publicación porque los resultados impactantes son lo que vende y los problemas declarados de obtener resultados impactantes verificados significa que hay un menor posibilidad de ser retraído.

Depende del campo. Esto no es un problema en astronomía, donde las personas no se preocupan por las revistas “principales”. Hay un conjunto de “diarios de pan y mantequilla” que publican diarios. A menos que sea totalmente incompetente, obtendrá sus documentos ordinarios publicados en Ap.J., MRNAS, PASP, y la gente leerá su documento en línea en la base de datos de preimpresiones antes de que entre en modo de árbol muerto de todos modos.

Además, en astronomía, es bastante tonto si solo haces “los mejores trabajos”. Muchos artículos en astronomía son “Miré el objeto X” y vi Y. Así que miro a Júpiter hoy, y digo más o menos lo que vi ayer, eso sigue siendo un buen trabajo de astronomía. Si apuntas tu telescopio a Júpiter y ves * extraterrestres *, ese papel va a Ciencia o Naturaleza, pero la mayoría del tipo que miras a Júpiter, y ves a Júpiter.

Creo que este enfoque en las “principales revistas” es terrible en economía y algunas de las ciencias sociales.

Creo que algunas de estas tonterías de las “principales revistas” tienen que ver con las editoriales con fines de lucro. Si no fuera esencial publicar en una “revista principal”, entonces podría publicar en una revista común que fuera mucho más barata.

Está claro que las llamadas revistas “principales” están dañando la ciencia.

1. Existe una correlación significativa entre el fraude y el factor de impacto (la mala conducta representa la mayoría de las publicaciones científicas retraídas)

2. Muchas afirmaciones hechas en revistas de alto impacto se contradicen más tarde (efectos contradictorios e inicialmente más fuertes en … [JAMA. 2005])

3. El debate es extremadamente difícil en las revistas de alto impacto (¿Por qué me retracté de mi artículo de Nature? Una publicación de David Vaux sobre la corrección del registro científico)

La pregunta se convierte en qué hacer al respecto. Creemos que tenemos una solución: aceptar todo el trabajo directamente y luego revisarlo después de la publicación. Esto es lo que pretendemos hacer en The Winnower (The Winnower – Real Peer to Peer Review)

Desde la perspectiva de un principiante, puedo decir que las principales publicaciones pueden tener un efecto alentador en lugar de perjudicial.

Al incursionar en el campo de la investigación, uno se siente abrumado por la gran cantidad de trabajo que ya se ha realizado. La investigación no siempre se trata de hacer cosas innovadoras. La mayoría del trabajo realizado es solo una extensión del trabajo anterior.
Y al comienzo de su carrera, solo aprenderá ampliando y ampliando los límites del trabajo que han dejado otros científicos. Entonces, en ese sentido, si ha realizado algún trabajo pero no sabe cuánto impacto puede tener ese trabajo en la comunidad de investigación, necesita un criterio para medir su calidad. Y eso es cuando las revistas entran en escena.

¡Para producir algo de trabajo, generalmente se necesita una buena cantidad de tiempo y parte de la cual también puede ser de salida cero! Pero una vez que haya realizado un trabajo y lo haya enviado a una revista de primera categoría y de repente vea un correo que dice que su trabajo puede ser aceptado con esta y estas revisiones menores, entonces es ese momento el que puede elevar su moral. En este momento sientes que todos esos meses y meses de trabajo no fueron una pérdida de tiempo y que eres productivo.
Como dijo mi profesor: “Para tener éxito en la investigación, lo que se requiere es una confluencia de muchos factores, entre ellos, una exposición mínima, un entorno propicio, suerte, reconocimiento, no demasiado pronto y del tipo correcto”. Y creo que las revistas logran cumplir muchos parámetros.

Pero entonces este método será exitoso en el caso de principiantes buenos y brillantes, pero no en el caso de algún prodigio. A un genio le gusta que lo dejen solo para hacer su trabajo, con una mínima interferencia del mundo externo. En ese caso, incluso si él / ella produce algún trabajo innovador, es probable que ese trabajo pase desapercibido porque no se publicó en una revista de primera línea y en su lugar se documentó en un blog o en un libro de apuntes. O tal vez está atrapado en la red de publicaciones en papel innecesarias y persecución de citas.

Pero en esos casos no podemos culpar a esta cultura editorial. Ese genio puede quedar atrapado en las redes de internet o televisión.
Pero entonces puede ser que el genio es insaciable o al menos podemos esperar que sí.

Sí lo son. Solo publican lo que está en demanda pública. Solo publican los pocos resultados positivos obtenidos suprimiendo los miles de resultados negativos. Siempre intentan aferrarse a las últimas pautas de la convención y son demasiado miopes para preocuparse por el efecto que una investigación particular pueda tener en el mundo, décadas o siglos más adelante.

El problema no son tanto las revistas, sino en algunos (o muchos) casos el hecho de que la fuente de financiación actúa como una parte interesada en la investigación. Se culpa a las revistas por invertir el peso de la prueba y no pedir un volumen serio de pruebas. Eso también es cierto.

El artículo de 2011 de Koojiman et al. Sobre la dinámica de la bicicleta se publicó en Science y, obviamente, es defectuoso. Supongo que la reputación y la integridad no tienen nada en común.

Como soy consciente de esta área temática y puedo ver cómo Science aceptó el trabajo con resultados cuestionables, me pregunto sobre otras áreas temáticas. Ahora entiendo cuán defectuoso es el rostro de la ciencia, pero muchas personas aceptan lo que se publica como verdad. La naturaleza de la investigación para estudios es aumentar la comprensión en un área, pero el hábito de citar estudios anteriores y construir sobre ellos abre la posibilidad de crear un área que está fuera del marco con una larga lista de malas contribuciones como en la investigación de bicicletas.

El antiguo método de publicación en revistas puede convertirse en un foro abierto donde cualquier persona interesada en el tema puede leer lo que se publica. Las limitaciones actuales que ponen barreras en el camino de aquellos que no están asociados con una institución han creado áreas de investigación donde algunas personas pueden trabajar en tangentes sin sentido debido a la naturaleza endogámica del sistema. Quizás un poco de desprecio por las principales revistas mejorará la ciencia.