¿Existe una forma sistemática de evaluar la calidad de las conferencias científicas?

Sí, creo que usar ese método para determinar si una conferencia es de alta calidad no es ético, aunque solo sea porque existen muchas herramientas para evaluar la calidad de las conferencias científicas.

Además, las conferencias ahora usan herramientas para descubrir si un documento es generado automáticamente. Sin embargo, estas herramientas no son perfectas, lo que significa que sí, esos generadores automáticos están perdiendo el tiempo del revisor. El sitio web para eso está en http://www.inauthentic.org

Zhuang et. Al escribió un algoritmo que se explica en el artículo de la revista “Medición de la calidad de la conferencia por las características del comité del programa minero”, en el que evaluaron a 2.979 conferencias y 16.147 miembros del comité del programa. Sus resultados muestran que su método descubre automática y correctamente conferencias prestigiosas y de baja calidad “aproximadamente el 92% de las veces con una tasa de falsos positivos de 0.035 y un retiro de más del 73% para identificar conferencias de buena reputación”. La heurística identifica correctamente las conferencias de baja calidad con una tasa de falsos positivos de .002.

El desglose del método es el siguiente:

Definición 1 (Medida de calidad de la conferencia) Dado un conjunto de CFP de la conferencia X, donde x ∈ X contiene información de múltiples atributos como {título de la conferencia, fecha, ubicación, temas, temas, comité de programa, patrocinadores, etc. . . }, identifique un conjunto de conferencias acreditadas o de baja calidad P (⊆ X), de modo que p (∈ P) satisfaga algunas limitaciones (dadas en Zhuang et. al).
Hipótesis 1 . La calidad de una conferencia está estrechamente relacionada con la de los miembros del comité de su programa.

Definición 2 (Clasificación binaria) Dado un conjunto de CFP de conferencia X, clasifique x (∈ X) en una de las dos clases: (1) una clase de conferencias acreditadas P (⊆ X), y (2) una clase de conferencias de calidad P ′ (P ′ = XP).

Definición 3 (Clasificación de conferencia) Clasifique un conjunto de conferencia X por una función de puntuación f (x) = ν, donde x ∈ X y ν∈ [0,1]. PAG
Además, hacemos las siguientes observaciones:

Observación 1 Usando un conjunto de conferencias acreditadas R, podemos usar la función de probabilidad P como la función de puntuación: f (x) ≡ P (x ∈ R).
Observación 2 Si uno clasifica X de acuerdo con el orden descendente de ν, entonces la k superior y la k inferior son equivalentes a conferencias acreditadas y de baja calidad, respectivamente.

Estas dos observaciones sugieren un esquema general de clasificación para clasificar las conferencias en función de la probabilidad de tener buena reputación.

-Robert

Medición de la calidad de la conferencia por las características del Comité del Programa Minero, Ziming Zhuang, Ergin Elmacioglu, Dongwon Lee, C. Lee Giles, en ACM / IEEE Joint Conf. sobre bibliotecas digitales (JCDL) , página xx, Vancouver, BC, Canadá, junio de 2007