¿Con qué frecuencia se publica una investigación que dice “fallamos”? Al investigar un tema para la universidad, encontré un artículo que decía: “No recomendamos que se adopte nuestro programa”. Encontré esto refrescante, pero me pregunto qué tan común es.

Answer 1

En el contexto de las ciencias experimentales, “fallamos” tiene muchos significados diferentes. Uno de ellos es el llamado “resultado nulo”, en el cual la manipulación experimental no resultó en una diferencia significativa en los resultados observables. En el caso de un resultado nulo, es científicamente apropiado ser escéptico de que el resultado sea real; lo que significa que el autor tendrá más dificultades para obtener el resultado de los revisores anteriores.

Un ejemplo de esto es en estudios infantiles. Los bebés no son sujetos muy cooperativos, por lo que los experimentos exitosos normalmente dependen de la manipulación de su atención. Por ejemplo, en un paradigma de habituación, uno repite un estímulo una y otra vez hasta que el bebé comienza a inquietarse y aburrirse (“ba … ba … ba … ba … ba … ba …”). Una vez que el bebé ha alcanzado algún criterio objetivo de aburrimiento (por ejemplo, apartar la mirada del estímulo visual emparejado durante 2 s seguidos), se introduce un estímulo de cambio (“da … da … da ..”). Si el bebé nota el cambio, se deshacerá (por ejemplo, mirar hacia atrás al estímulo visual emparejado). Entonces, la deshabilitación es una evidencia positiva de que el bebé puede discriminar el estímulo de cambio del estímulo de habituación. Hemos visto resultados muy poderosos en la percepción del habla infantil; por ejemplo, los niños de 6 meses que aprenden japonés pueden escuchar la sutil diferencia entre inglés [l] e inglés [r] aunque los japoneses mayores no pueden. Entonces el paradigma puede ser exitoso. El problema es que la incapacidad para deshacerse no es evidencia de que el bebé no pueda discriminar los estímulos. El bebé puede * saber * que el cambio es diferente de la habituación, pero no * importa *. Además, los estímulos de habituación pueden ser * demasiado * aburridos, de modo que cuando el bebé haya alcanzado el umbral de habituación, se hayan “retirado” mentalmente del experimento, y solo quieren que mamá juegue con ellos.

Debido a que los bebés son sujetos tan delicados, hay todo tipo de cosas que pueden salir mal y producir un resultado nulo, que no son informativos para la cuestión científica de interés. Para protegerse de esto, uno tiene que hacer un trabajo extra. Por ejemplo, uno debe mostrar un resultado positivo con el mismo paradigma, pero con estímulos mínimamente diferentes. (Por ejemplo, “los bebés discriminan [ba] de [da], por lo que el paradigma funciona en este laboratorio con este conjunto de bebés, pero luego no logran discriminar [ba] de [pa], así que al menos sabemos que [ba] ~ La diferencia [da] es * más fácil * que la diferencia [ba] ~ [pa].) Eso es mucho trabajo adicional para publicar su resultado nulo, básicamente el doble de trabajo. Solo vale la pena hacer el doble de trabajo para la misma cantidad de publicación si el resultado nulo es muy importante científicamente.

Los problemas sobre los resultados nulos son particularmente malos en la investigación infantil, pero se mantienen de manera más general en las ciencias experimentales. Y esa es una de las razones por las que “fallamos” es mucho más raro en las ciencias experimentales.

Answer 2

Es cierto, como casi todas las respuestas aquí declaran, que los manuscritos tipo “fallamos” no se publican con tanta frecuencia como los que dicen “tuvimos éxito”.

Sin embargo, creo que es importante tener en cuenta que hay un poco de cambio radical en la publicación académica que está tratando de amortiguar esta mentalidad.

Específicamente, hablo de publicaciones nuevas, de acceso rápido, de bajo costo de publicación y de acceso abierto (como http://www.plosone.org o http://www.frontiersin.org ) donde los revisores tienen instrucciones explícitas para evaluar la investigación presentada en un manuscrito basado en su solidez técnica y no en su valor percibido para la comunidad. Esto hace que sea mucho más fácil presentar resultados de experimentos bien realizados que simplemente confirmaron las creencias actuales dentro de la comunidad científica.

Answer 3

He visto que hay una tendencia a tener resultados positivos de todo. Fui entrenado, literalmente, para convertir cada falla en algo positivo por escrito. Se leería algo así como: “Esta perspectiva no funcionó, lo que nos deja abiertos a probar las avenidas B y D, y esta es la razón”.

Honestamente, creo que está bien hacerlo de esta manera. Estás afirmando que tu intención original no funcionó, pero abriendo la discusión a otras posibilidades. Todo mi primer año de posgrado fue en la Avenida A, mientras que el resto fue en la Avenida B. Sin embargo, es totalmente basura si no tienes otras posibilidades viables.

Answer 4

Con menos frecuencia en estos días, ahora que tan pocos científicos han leído las ” Conjeturas y refutaciones ” de Karl Popper. Es triste que la mayoría de la gente crea que es lógicamente posible demostrar una teoría correcta. Por supuesto, es mucho más divertido formar nuevas conjeturas [especular] que refutar las antiguas, pero cualquier científico debería estar más orgulloso de esta última. Probablemente mi trabajo más impactante fue uno que refutó una hermosa teoría de un gran teórico, quien rápidamente me agradeció por el servicio. Así es como se supone que funciona la ciencia.

Answer 5

Lamentablemente, la respuesta no es suficiente y es un problema real para mí. Cuando realizamos un metanálisis, que básicamente combina todo el trabajo publicado sobre un tema y observa qué patrones o conclusiones podemos sacar de él. ahora, si estamos en investigación médica y encontramos que 12 estudios sobre el medicamento X y 10 muestran resultados positivos y 2 muestran resultados que no son estadísticamente significativos, podemos concluir que el medicamento es efectivo. Ahora, si supiéramos que hay 10 estudios que demostraron que no fue eficaz y que NO se publicaron, podríamos repensar nuestra opinión sobre el medicamento. Esto se llama base de publicación y está generando mucha discusión en el campo de la psicología.

Ahora, una respuesta no tan seria … en la escuela de posgrado, la única vez que alguien publicó “Fallé” fue cuando estaban en su sexto año del Ph.D. y se estaban acabando los fondos. En serio, incluso si una hipótesis nula es un resultado y vale la pena publicar, puede salvar a otra persona de seguir el mismo camino O inspirar a alguien a tomar su idea y volver a trabajarla para obtener un resultado diferente.

Answer 6

Definitivamente hay un sesgo de publicación hacia experimentos que arrojan resultados positivos. Como en este caso, los proyectos en el laboratorio donde hay un resultado inicial interesante, pero no podemos entender cómo funciona (es decir, todas nuestras hipótesis son falsas) terminan siendo descartados a favor de otros proyectos.

Answer 7

Nada como a menudo con la suficiente frecuencia.

En parte, esto refleja un problema con el proceso de publicación: los investigadores y las revistas quieren “¡NUEVO!” – y “no funcionó …” no se adapta a ninguno de los dos.

En algunas áreas, más problemático, es que en el mediceno hay una presión comercial seria para nunca decir cosas negativas.

Hay un movimiento creciente para solucionar esto:
Cómo informar todos los ensayos: auditoría, mejores datos y responsabilidad individual

Pero sería mejor si se registran los resultados negativos, incluso si no son tan profundos como los obnes positivos, pero se registran y acceden

Answer 8

A veces los editores piensan que solo los proyectos que confirman su idea son exitosos. Este no es siempre el caso en la investigación (pero definitivamente en la mayoría de los casos). Los artículos deben publicarse dependiendo de si proporcionan información nueva significativa, independientemente de si los resultados cumplen con su hipótesis. Ahora, definitivamente no es así como se preparan la mayoría de los estudios, por lo que es muy raro que se publique un estudio donde los resultados insignificantes son tan valiosos como los significativos.

Answer 9

Los experimentos nunca fallan, solo producen datos. Incluso si es “no intente esto en casa”, sigue siendo información valiosa. A veces, una pregunta de investigación lleva al escritor a un callejón sin salida oa un lugar donde se pierde el tiempo. Sucede. Avanzar Aprende de los demás.

Descargo de responsabilidad médica: no soy médico.

Answer 10

Mucho menos de lo que debería. En el subdominio en el que trabajo, las redes neuronales (o es posible que haya escuchado esa frase de moda “aprendizaje profundo”), la comunidad es fóbica con resultados negativos =] Si no supera el estado de la técnica ( generalmente en una mitad inútil del por ciento de las veces), su trabajo no tiene valor. No importa si la idea es buena y los experimentos son exhaustivos.

Me atrevería a decir que esto es cierto para el aprendizaje automático en general, y la investigación de Inteligencia Artificial en general. Combine esto con una mentalidad cada vez más fuerte de publicar o perecer junto con los problemas de la “mentalidad del carro” (la gente simplemente salta al “aprendizaje profundo” porque hace calor y eso es todo), y usted tiene lo que hace mucho tiempo he llamado ” la carrera de ratas de aprendizaje profundo “. Estoy seguro de que los investigadores en otros campos podrían reemplazar el “aprendizaje profundo” con su respectiva frase de moda para crear nuevas plantillas “ carrera de ratas” =]

Answer 11

Casi nunca, y por una buena razón.

El “fracaso” sugiere la finalidad, la responsabilidad individual y la negligencia u omisión de la acción esperada o requerida. Investigo en negocios / economía y solo usted porque no puede probar o rechazar empíricamente una teoría en particular o no puede identificar el impacto de un programa en particular (política o industria) no implica un fracaso. Tal vez los datos no estaban a la altura, tal vez hubo alguna especificación errónea del modelo no deseado, tal vez el programa necesita refinamiento, o tal vez no tenía los recursos necesarios. Las posibilidades son infinitas.

De cualquier manera, la revolución científica nos enseñó que siempre hay una mejor manera de realizar una investigación, y que si logras hacerlo o no o probarlo o no, no necesariamente será válido en todos los estados y en todo momento. En mi opinión, decir que ha fallado y rechazar por completo alguna teoría, concepto o idea que haya probado es tan perjudicial como su aceptación incondicional. ¡La mejora siempre es posible y las dos palabras que nunca debes usar en la investigación son ‘intentar’ y ‘fallar’!

Answer 12

Creo que existe la presión de publicar solo artículos con resultados positivos. Si la presión fuera para publicar resultados, tal vez las cosas serían diferentes. Un documento que comienza con una hipótesis y luego demuestra que es falso es un tipo de información, pero después de recibir dinero y tiempo, algunas investigaciones parecen no ser cómodas para dar una conclusión negativa como ‘no recomendamos que nuestro programa sea adoptado’. En caso de que estuvieran trabajando para la industria, ¿cuáles son las posibilidades de que permanezcan en su trabajo u obtengan un nuevo trabajo? “Sí, nuestra investigación que costó millones no arrojó ningún resultado, ahora tenemos otra idea para una nueva investigación que costará otro millón y puede dar el mismo resultado. ¿Por favor?”

Answer 13

Esto puede parecer corto, pero en mi vida he tomado la postura y la he compartido a menudo; El único experimento fallido es aquel del que no se aprendió una lección.

Hace poco vi la película “The Theory of Everything” en la que Stephen Hawking propone una teoría de que el Universo comenzó cuando explotó un agujero negro. Su profesor le preguntó qué sigue. Él respondió: “pruébalo”

Más tarde en la película cambió su misión para refutarlo. Sé que es de Hollywood, por lo que las citas pueden no ser precisamente suyas, aunque el sentimiento es claro; cualquier ruta es válida en lo que respecta a la ciencia.

Answer 14

Por lo general, no dicen “fallamos”, pero los resultados no respaldan la hipótesis, luego dan razones. También debe haber alguna explicación de por qué no lo hizo y cualquier información o datos nuevos que puedan concluirse de la investigación. Si falló y no puede aportar nada nuevo a la comunidad científica, probablemente no debería publicar y revocar su financiación.

Answer 15

No encontré una estadística a pesar de que le di a la investigación al menos 50 segundos. Sin embargo, encontré un artículo interesante de Sauter y Frese explorando por qué los proyectos [protegidos por correo electrónico] ÉXITO Y FALLO.

Answer 16

Como nos gusta decir, un resultado negativo sigue siendo un resultado. Así que adelante y publíquelo. Entonces, esto no debería ser una ocurrencia rara. Pero raro es.

Answer 17

Como lector de estudios, generalmente asumo que el experimento ‘falló’ si la conclusión principal es: esto requiere más estudio.