¿Por qué los departamentos universitarios no contratan nuevos miembros de la facultad en función de sus recuentos de citas?

Al reclutar para un puesto académico, los departamentos universitarios tienen que considerar varias cosas. Éstos incluyen:

  • ¿Es la investigación del candidato una buena opción para la investigación del departamento, llenando un vacío pero complementando el trabajo existente del departamento?
  • ¿Es excelente su historial de investigación y potencial de investigación futura?
  • ¿Son un maestro efectivo?
  • ¿Serán un buen colega, trabajarán bien con los demás y efectivamente harán su parte del trabajo administrativo y de divulgación?
  • ¿Traerán renombre y / o fondos de investigación al departamento? Esta no es solo una pregunta sobre qué tan buena es técnicamente su investigación, sino también a menudo sobre qué tan bien comunican su trabajo en público y cómo construyen relaciones con las partes interesadas, la industria y aquellos en el poder.

El recuento de citas puede ser una indicación imprecisa del registro de investigación, y los índices h son ligeramente mejores, pero no son excelentes.

  • Las tasas de citas varían entre disciplinas e incluso subdisciplinas, dependiendo de las prácticas de citas en el campo y el número de personas que investigan temas similares.
  • El recuento de citas es una indicación particularmente pobre para los investigadores de carrera temprana, ya que su trabajo no habrá tenido mucho tiempo para ser notado. Es probable que las primeras citas que recibe un investigador sean autocitas y citas de personas con las que han trabajado, por lo que pueden no significar mucho.
  • El recuento de citas no indica cuál fue el papel del investigador en el trabajo que se cita (más allá de los requisitos mínimos para ser incluido como autor). Un tercio de mi propio recuento total de citas se debe a una gran cantidad de citas de un artículo del cual soy uno de los dieciséis coautores. (https://scholar.google.com.au/ci…)
  • No todas las citas son positivas. Por ejemplo, si alguien cita su trabajo en este contexto, todavía cuenta como una cita: “Los métodos de investigación universalmente ridículos y descuidados de Smith (2017) han quedado anticuados”.
  • Algunos tipos de trabajos obtienen más citas que otros, independientemente de la disciplina y la calidad del trabajo. Los artículos de revisión, por ejemplo, se citan con frecuencia porque son una referencia conveniente, pero generalmente no se basan en la investigación original del autor.
  • El buen trabajo a veces se pasa por alto porque apareció en una revista oscura, es relevante solo para un pequeño subconjunto de investigadores en el campo (a pesar de que podría ser críticamente importante para esos investigadores), o porque tenía un resumen mal escrito o el autor fue simplemente desafortunado.

A pesar de todo esto, generalmente se entiende como un secreto culpable que las citas y los índices h son, de hecho, una de las primeras cosas que los comités de contratación consideran al evaluar el CV de un candidato, después de la pequeña cuestión de si tienen un doctorado relevante. Los puestos académicos a menudo atraen cientos de solicitudes, y es mucho más fácil mirar un índice h y hacer un juicio rápido que leer el trabajo publicado del candidato y llegar a su propia conclusión sobre lo bueno que es.

Contestaré esto desde un (i) punto de vista idealista y desde una (ii) experiencia de la vida real.

(i) Idealmente, los departamentos no deberían contratar nuevos docentes en función de una sola medida, especialmente teniendo en cuenta que no se relaciona con las habilidades de enseñanza. En principio, una universidad es un lugar para la enseñanza, la tutoría y la mayoría de los profesionales centrados en la investigación tienen un mal desempeño en el trato con los estudiantes y el público en general. Además, la búsqueda de una medición única como proxy de la calidad profesional puede conducir a distorsiones, especialmente cuando se enfrentan a escenarios locales y específicos de casos. Por ejemplo, algunas investigaciones muy controvertidas tienden a citarse con bastante frecuencia, como investigaciones realizadas en cualquier tema popular, y esto no tiene una relación directa con la calidad (en el primer caso, en realidad puede indicar dudosa calidad técnica). Además, siempre que se confíe en cualquier número como un objetivo directo de recompensa, inmediatamente se utiliza incorrectamente; No es difícil establecer un esquema de citas cruzadas y muchos casos de fraude se informan en diferentes niveles institucionales.

(ii) En realidad, la mayoría de los departamentos contratan personal nuevo en gran medida según el recuento de citas, sin embargo, uno más general conocido como JCR Impactor Factor. La razón principal de por qué esto se hace es porque es fácil. Lo primero que hay que entender sobre recursos humanos y burócratas es que son flojos . Aquellos que buscan completar su agenda con el papeleo, las firmas, las reuniones tediosas, etc., generalmente son personas que no quieren usar demasiado sus cerebros o tomar decisiones difíciles; esta es una lección importante que se debe aprender temprano en la vida. Contar y sopesar las citas individuales implica definir lo que cuenta como una cita, dónde encontrarlas, establecer fechas y límites, hacer estadísticas, discutir controversias, ser cuestionados, etc. Eso significaría mucho más trabajo y estrés por el mismo salario, y también ¡Es una decisión más relativa / cuestionable! Los factores de impacto de JCR son ampliamente informados, incuestionables, vendidos como un buen número por casi todo el personal establecido, llevará al personal de Recursos Humanos a casa antes y no les dará dolor de cabeza. Sin embargo, por otro lado, significa que la mayoría de los departamentos están llenos de coleccionistas de sellos de Factor de Impacto con poco o ningún talento para la investigación hardcore, qué decir tutoría y enseñanza, pero saben cómo jugar con números y actuar ocupados.

Por lo tanto, la respuesta final es, en cierto modo, usan citas pero no directamente, y la razón principal por la que no lo hacen directamente es porque no hay un interés significativo en cambiar.

Cada campo es diferente y utiliza diferentes criterios para determinar el impacto. Las citas son una métrica frecuente a considerar.

Las citas son una medida razonable, pero tiene inconvenientes.

Primero, las citas son un indicador rezagado. Hay un reconocido artículo en física de partículas llamado “A Theory of Leptons” que se publicó en 1967. En su primer año obtuvo 0 citas, el año siguiente obtuvo 1 y el tercer año obtuvo 2. El año siguiente obtuvo cientos y ahora tiene decenas de miles de citas. Hay muchos ejemplos como este. Los candidatos de la facultad junior a menudo solo llevan unos años escribiendo documentos y muchos de esos documentos todavía están acumulando citas.

En segundo lugar, si escribe documentos de seguimiento en áreas calientes, a menudo puede acumular muchas citas. Los documentos no son innovadores ni innovadores, pero hacen algo obvio que todos citarán. Es un poco como los trolls de patentes, sentado en algo obvio.

En tercer lugar, si escribe muchos documentos en un área, puede reunir muchas citas personales. O si tiene muchos colaboradores trabajando en un campo pequeño, puede obtener anillos de citas.

Finalmente, tienes maravillas de un solo golpe que obtienen cientos o miles de citas de un solo trabajo y nunca vuelven a hacer nada más.

En última instancia, los comités de contratación se preocupan por el impacto y no existe una métrica simple que capture esta noción. Miras a cada candidato con seriedad y sopesas las fortalezas y debilidades de sus contribuciones académicas.

No todos están de acuerdo en que el número de citas = impacto (lo que sea que signifique impacto) así como puede haber un fuerte desacuerdo sobre la calidad de la revista en la que se publicó el artículo citado.

Si bien esto podría funcionar bastante bien en disciplinas en las que predominan los artículos de un solo autor, ¿cómo evalúa el impacto de la contribución de alguien que resulta ser uno de los siete autores? La cita no indica qué individuos contribuyeron a las ideas del artículo. ¿Qué sucede si la persona que está investigando contribuyó a generar los gráficos de barras en el documento utilizando datos recopilados y analizados por otro autor?

Porque la cita cuenta:

  1. Tómese el tiempo para acumular, y la nueva facultad, aún al comienzo de sus carreras, no habrá acumulado muchos.
  2. Están muy sesgados por el tamaño del campo de investigación.
  3. Subestima los muchos otros factores que hacen de alguien un buen profesor.
  4. Puede crear falsos sentidos de precisión y objetividad.
  5. Se puede jugar (los ‘cárteles’ científicos se unen para citar el trabajo de los demás).