¿Qué tan confiables son realmente las declaraciones en trabajos de investigación en revistas revisadas por pares? ¿Cuán rigurosamente se verifican?

Answer 1

Como otros han escrito, los revisores solo pueden verificar algunos aspectos de un documento.

Tanto la experiencia práctica como los conocimientos teóricos de los sociólogos de la ciencia han desafiado la norma de que (como lo expresó George Savva en su respuesta) “La investigación está suficientemente descrita como para poder reproducir el estudio con los mismos materiales”.

Open Science Collaboration es un intento de replicar estudios (inicialmente en psicología y en biología del cáncer) que ha demostrado en la práctica lo difícil que es replicarlos. En muchos, muchos casos, los investigadores que intentan replicar un estudio han tenido que hablar o incluso visitar a los investigadores originales para aprender cómo hacer el estudio. Varios casos similares están documentados en el nuevo libro del corresponsal de National Public Radio Richard Harris, Rigor Mortis (ver también Cómo la ciencia defectuosa está socavando la buena medicina).

A nivel teórico, el sociólogo de ciencias HM Collins demostró hace muchos años “el retroceso del experimentador”: resulta que cada vez que un investigador no puede replicar un estudio, el investigador original puede responder “bueno, no lo hiciste exactamente como lo hice “o (más sutilmente)” no podemos ponernos de acuerdo sobre lo que cuenta como una replicación, porque estamos trabajando desde diferentes supuestos teóricos “. En el nivel práctico, esto se debe a que” no usaste exactamente el mismos reactivos “. O” los tubos de ensayo eran de un proveedor diferente “. O” la humedad en su laboratorio era diferente “. O” la sacudió en lugar de agitarla “. Etc., etc., etc. nivel, es porque uno solo puede decidir qué cuenta como replicación cuando ya tiene una idea de lo que debe producir el experimento; si produce algo inesperado, ¿eso significa que el experimento fracasó o que las suposiciones que uno tenía al entrar en el experimento son incorrectas?

Answer 2

La respuesta de George Savva es muy acertada. Siguiendo con el punto sobre los cálculos, algunas revistas (por ejemplo, en mi campo, la revista Cognition ) han comenzado a exigir que los autores proporcionen los datos como una condición de publicación, para que los cálculos puedan verificarse. E incluso si no se proporcionan los datos, un revisor puede y debe asegurarse de que los números informados tengan sentido. Esto incluye tanto los grados de libertad informados en las pruebas estadísticas como también los valores informados para medidas de resumen como las medias. En 2010, Cognition publicó una corrección en un artículo publicado anteriormente, donde el guión para extraer la duración de las palabras en las oraciones habladas tenía un error y en su lugar extraía la duración de las frases más largas. No había leído el documento anterior antes de leer la corrección, y me sorprendió que ninguno de los revisores hubiera detectado el error para el documento anterior, ya que los valores de la duración media de las palabras informadas eran demasiado largos.

Answer 3

La revisión por pares es solo una verificación parcial de la calidad de los datos.

Los prejuicios en las disciplinas, particularmente las políticas, pueden terminar excluyendo descubrimientos reales porque no se ajustan a la ortodoxia.

En climatología:

La investigación de ‘Climategate’ por fin reivindica a Phil Jones, y yo también | George Monbiot

En las ciencias sociales:

El gran artículo de revisión sobre la falta de diversidad política en psicología social

Finalmente está fuera: el gran artículo de revisión sobre la falta de diversidad política en psicología social

Answer 4

La revisión por pares no puede verificar directamente la verdad de lo que se informa, ya que no hay forma de que el revisor sepa si los autores están mintiendo sobre lo que hicieron o cuáles fueron los resultados. Verifica que un documento se informe adecuadamente para que sea reproducible, que sea coherente internamente y tenga sentido en el contexto (no necesariamente de acuerdo con) lo que ya se conoce. Es decir:

Un revisor no puede verificar :

• Los autores hicieron lo que dijeron que hicieron.
• Los datos se informaron con precisión.
• Los cálculos se realizaron correctamente.
• Las reclamaciones del material citado se informan con precisión.

Un revisor puede verificar :

• La pregunta de investigación es lo suficientemente importante y está suficientemente justificada.
• La investigación está suficientemente descrita como para poder reproducir el estudio con los mismos materiales.
• Los métodos indicados son apropiados para abordar la pregunta de investigación.
• Los resultados son plausibles dados los métodos.
• No hay incongruencia entre lo que se hace con mi conocimiento más amplio de los métodos en esta área temática.
• Las conclusiones del documento están respaldadas por los resultados.
• Se dan advertencias apropiadas sobre las fortalezas y debilidades del trabajo.
• El trabajo se discute con referencia al trabajo previo clave en el área.
• Cualquier resultado sorprendente o inconsistente está suficientemente explorado.
• El documento se presenta adecuadamente.
• (En casos raros) lo que se presenta se alinea con el protocolo de estudio prerregistrado.