Este año ha tenido bastantes controversias que creo que serán importantes para evaluar en el futuro académico. Me gustaría discutir los institucionales en lugar de las instancias aisladas que se esperan cuando las personas intentan jugar con el sistema, ya que tienen implicaciones mucho más amplias para la comunidad académica.
Ni siquiera me voy a molestar con un tl; dr – no le haría justicia a estos desafíos.
- Prohibir los valores de p
A principios de este año, la revista Basic and Applied Social Psychology prohibió el uso de pruebas de significación de hipótesis nulas, un enfoque frecuente de inferencia estadística. Se ha debatido mucho en los últimos años sobre la confiabilidad y la utilidad de las estadísticas inferenciales, específicamente el uso de los valores p porque son los más utilizados (enseñados desde la escuela secundaria).
Para aquellos que no están familiarizados con esto, hay una regla general enseñada desde el principio que las pruebas estadísticas que arrojan un valor p menor que 0.05 indica significación estadística. Ahora se está proyectando mucho cinismo sobre cómo se está abusando de esto, especialmente en las ciencias sociales donde las estadísticas juegan un papel fundamental.
- ¿Cómo puedo convertir un proyecto final en un curso de ciencias en una publicación de investigación?
- ¿Cuál es el punto de los estilos de citas?
- Si publico una figura cc-by (por ejemplo, en figshare.com), la uso en un libro, ¿eso escapa a las restricciones de copyright de los editores (sin acceso abierto)?
- ¿Cuál es la forma más barata y fácil de acceder a la mayor cantidad de bases de datos de artículos académicos posible sin ser estudiante a tiempo completo o miembro de la facultad de una universidad?
- ¿Por qué las revistas tardan tanto tiempo en publicar y realizar un trabajo de investigación después de aceptar una presentación?
“Creemos que la barra p <.05 es demasiado fácil de pasar y a veces sirve como excusa para una investigación de menor calidad".
– Psicología social básica y aplicada
Un estudio reciente del Psychology Reproducibility Project encontró que solo el 39% de los estudios que intentaron reproducir (97% de los cuales informaron p <0.05 por sus efectos) también arrojaron p <0.05. Naturalmente, esto condujo a un gran despliegue publicitario . En consecuencia, la práctica de hackear p, o hacer trampa en un valor p, está bajo mucho escrutinio ahora.
Mi opinión: hay muchos argumentos contra los valores p que enmarcan el debate en una forma mucho más maliciosa. FiveThirtyEight tuvo un artículo fantástico (que incluye un widget que ilustra la piratería informática) que analiza cómo podemos convertirnos fácilmente en víctimas de los prejuicios. No creo que el problema sea estrictamente mal intencionado o falta de rigor, sino más bien un fracaso de las expectativas. Como señaló el Proyecto de Reproducibilidad, “Ningún indicador único describe suficientemente el éxito de la replicación”.
Lo que la mayoría de los medios no destacan en los titulares es la conclusión del estudio, que está bellamente escrito:
“Después de este esfuerzo intensivo para reproducir una muestra de hallazgos psicológicos publicados, ¿cuántos de los efectos que hemos establecido son ciertos? Cero. ¿Y cuántos de los efectos que hemos establecido son falsos? Cero. ¿Es esto una limitación del diseño del proyecto? No. Es la realidad de hacer ciencia, incluso si no se aprecia en la práctica diaria. Los humanos desean certeza, y la ciencia lo proporciona con poca frecuencia. Por mucho que deseamos que sea de otra manera, un solo estudio casi nunca proporciona una resolución definitiva para o contra un efecto y su explicación. Los estudios originales examinados aquí ofrecieron evidencia tentativa; las réplicas que realizamos ofrecieron evidencia confirmatoria adicional. En algunos casos, las réplicas aumentan la confianza en la confiabilidad de los resultados originales; en otros casos, las réplicas sugieren que se necesita más investigación para establecer la validez de los resultados originales. El progreso científico es un proceso acumulativo de reducción de la incertidumbre que solo puede tener éxito si la ciencia misma sigue siendo el mayor escéptico de sus afirmaciones explicativas “.
Además, los valores p no son la raíz del problema:
“[C] la evidencia correlacional es consistente con la conclusión de que la variación en la fuerza de la evidencia inicial (como el valor P original) fue más predictiva del éxito de la replicación que la variación en las características de los equipos que realizan la investigación (como la experiencia y el conocimiento) ) “.
Así que trate los valores p de la forma en que deberían ser tratados: una pieza de un rompecabezas. En última instancia, el problema radica en expectativas erróneas, tanto en el valor de las conclusiones de un solo estudio como en la fuerza de las inferencias estadísticas.
- Revisión por pares posterior a la publicación
Creo que la mayoría de los académicos están de acuerdo en que hay problemas con la revisión por pares. Consulte lo siguiente para obtener una descripción general de las críticas (algunas de las cuales están relacionadas incidentalmente con la controversia sobre los valores p):
- La respuesta de Inna Vishik a ¿Cuáles son las deficiencias del proceso de publicación académica y los estándares? ¿Cómo podemos mejorar el proceso?
- Las drogas de revisión por pares no funcionan
- La peor crítica de pares que he recibido
- Como resultado, ahora hay mucha discusión sobre cómo modificar el proceso de revisión por pares. De esto nacen algunas ideas nuevas y controvertidas.
Yo diría que el más grande en este momento es PubPeer, un sitio de comentarios anónimos que se comercializa como una revisión por pares abierta y posterior a la publicación.
“La inspiración para PubPeer es hacer un club de revistas mundial donde las personas puedan discutir los puntos más finos de un artículo científico”.
– Pionero detrás del controvertido sitio PubPeer revela su identidad
PubPeer defendió la motivación detrás de los comentarios anónimos como equivalente al anonimato de la revisión previa a la publicación, donde se utiliza para proteger a los primeros revisores de carrera. Los comentarios anónimos sobre los artículos son uno de esos puntos que sigue siendo controvertido dentro de la academia.
Mi opinión: me siento un poco desgarrado por esto, en parte porque los ideales de PubPeer ponen a los académicos en la incómoda posición de evaluar sus valores. La revisión posterior a la publicación es una parte importante de la discusión científica y creo que la academia ciertamente no está utilizando Internet lo suficiente como para facilitar este proceso. Los comentarios proporcionan una infraestructura que brinda a los lectores un punto de partida más sólido para examinar críticamente los artículos de revistas. Además, el anonimato es esencial para proteger a las personas de la reacción violenta en función de su edad, campo de estudio o calificaciones; Creo firmemente que los antecedentes del individuo no deberían ser relevantes para su capacidad de comentar sobre un trabajo siempre que planteen puntos convincentes y válidos.
Al mismo tiempo, el anonimato es una pendiente resbaladiza hacia el cultivo tóxico. Mi mayor preocupación es cuán similares pueden verse los hilos a los de los foros de conspiración: publicaciones que incluyen una serie de imágenes en busca de encubrimientos combinados con comentarios burlones. Aquí hay algunos ejemplos que encontré en una búsqueda rápida usando las opciones “Reciente” y “Destacado” de PubPeer.
- “Los peores ejemplos de datos en revistas de ciencias de la vida”
- Supresión del crecimiento de células tumorales tanto en ratones desnudos como en cultivo por ácidos grasos poliinsaturados n-3: mediación a través de vías independientes de ciclooxigenasa
“Ese es un excelente trabajo de detective”.
- Los análisis integradores de la reprogramación humana revelan la naturaleza dinámica de la pluripotencia inducida
“Los celos son divertidos e infantiles.
Los autores tienen un sistema de citas bastante incoherente donde afirman novedad y “olvidan” citar documentos originales de otros grupos líderes, y luego se defienden después de ser llamados a PubPeer haciendo referencia a los documentos equivocados “. - Nada de esto quiere decir que estos hilos son total o inherentemente tóxicos. Examinar los artículos por mala conducta debería ser una parte importante de la ciencia, y también hay muchas discusiones bien intencionadas, constructivas y fructíferas. Mi punto es que tales foros facilitan y amplifican lo peor junto con las mejores partes de la revisión por pares. Necesitamos preguntarnos críticamente si los beneficios potenciales son mayores que los riesgos potenciales. No estoy convencido de que lo estén. En particular, los comentarios anónimos pueden distanciarnos de la interacción humana que nos permite ser empáticos. Esto ya es un riesgo potencial en la revisión por pares ciega previa a la publicación, y debemos pensar cuidadosamente en formas de evitar que esto empeore aún más con el volumen mucho más alto que permite un sistema de revisión posterior a la publicación.
El otro gran problema con los comentarios en línea es el problema de la mentalidad de rebaño. Al igual que con Yelp, puede ser fácil sesgar la calidad de un trabajo basándose en las impresiones de otros con antecedentes y expectativas muy diversas. Muchos de los problemas con Yelp como curador de locales “buenos” se extienden igualmente a las influencias de un sistema de revisión similar a Yelp para artículos de revistas. Este es un problema intrínseco a cualquier sitio de revisión que agrega y conserva opiniones.
¡Gracias por leerle a cualquiera que haya llegado al final de esta larga respuesta! Me encantaría escuchar los pensamientos de los demás sobre esta y otras respuestas a esta pregunta.