domingo, 10 de octubre de 2021

Analizando y fijando posiciones respecto de tendencias actuales en métricas, indicadores y plataformas de calidad de la edición científica.

 





Hace más de quince años la edición abierta, el “open Access”, era una referencia y así lo constatamos y lo suscribimos en RED (Friend, 2005) (Zapata-Ros, 2008 y 2011)

Hoy día es una expresión vacía de contenido, en el sentido de que por sí sola no garantiza los principios enunciados en esos trabajos, ni otros surgidos posteriormente, que se han manifestado igualmente necesarios (necesidad de garantizar el autoarchivo, reducir el autoembargo, etc).

La evolución de los hechos ha desembocado pues en una situación, la actual, en la que ese criterio y esa identificación no aporta nada en los anhelos entonces sentidos porque:

a)    Ante la presión de los países y de las administraciones que gestionan la investigación y las universidades, las grandes corporaciones han accedido en muchos casos a convertir sus publicaciones al acceso abierto pero estableciendo la modalidad de financiación de los artículos exclusivamente mediante las  APCs: Article Processing Charges. Ahora no pagan los usuarios de los artículos, pagan los autores. Antes, algunos pagaban también pero ahora las APC se han multiplicado por cinco y hasta por diez para garantizar el acceso abierto.

b)    Bajo el denominador de acceso abierto hay revistas depredadoras (las APC son el negocio)

c)     Amparadas por ese calificativo también se han colado revistas de muy baja calidad que, sin control y con estándares ficticios, trabajan temas considerados acientíficos o paracientíficos, como son en el campo de Ciencias Sociales - Educación, algunos  mitos educativos, entre los que están, por ejemplo, “inteligencias múltiples”, conectivismo, “estilos de aprendizaje”, “nativos digitales”, visiones educativas socioculturales, …  Actualmente son una plaga los “self report studies” (encuestas que consideran como un indicador de calidad en el aprendizaje la satisfacción o la percepción de los alumnos, muchas veces en contradicción con lo que dicen las teorías y los principios del aprendizaje). Para tener idea del volumen de estos fenómenos se pueden ver los trabajos de Martín-Martín, A., Thelwall, M., Orduna-Malea, E., & López-Cózar, E. D. (2021), que analizan la consistencia entre diversa fuentes (comparar en esa herramienta, en el caso de Ciencias Sociales por ejemplo, artículos y citas de Google Scholar dentro y fuera de Scopus o de WoS).

d)    Si la edición de “open Access” no garantiza la calidad tampoco es cierto lo contrario: La edición de pago no siempre garantiza la pureza de los procesos de edición y de investigación por sí misma. Son frecuentes los casos de artículos que han sido retractados en prestigiosas revistas. Eso está oficialmente demostrado, pero existe la sospecha fundada de poca ortodoxia en los procesos editoriales. Las revistas MDPI, que, si bien formalmente no son de pago, por ser open Access, nosotros la consideramos como tales por las altas APCs que imponen, tiene aspectos que despiertan cuando menos la curiosidad. Así por ejemplo, en materias donde las revisiones tarda meses, en otras revistas, ellos las hacen en días. Siendo eso imposible en algunas materias y modalidades de trabajo.

e)    Por otra parte, si la edición en Open Access no va acompañada de otras modalidades de edición, como la edición verde u oro (Zapata-Ros, 2017), que garantiza la publicación en abierto y en autoarchivo de los artículos y de los preprints (incompatible por otro lado con las APCs porque las editoriales no lo consienten) no tiene garantizada la eficacia que se le atribuye en la creación y mantenimiento de entornos abiertos y de ecosistemas de investigación (Zapata-Ros, 2011)

Por tanto, la cuestión Open Access sí u Open Access no, no es factor determinante de la calidad ni de la excelencia en la difusión científica ni de la producción, si es eso lo que se pretende.


La cuestión ahora ya no es el Open Access, es la calidad por sí misma. Cómo se evalúa. En este sentido, este año y el pasado, se han dado grandes pasos al cambiar los indicadores de las grandes plataformas de calidad, SCImago, Scopus-Elsevier y Clarivate en el plano global, y del ranking FECYT en la escala nacional.

 

A) CiteScore, el índice de Scopus-Elsevier

Es el índice más transparente: Ofrece las citas por artículo los últimos tres años, pero al operar sobre revistas que de entrada cumple los estándares de calidad de Scopus, es homogéneo. No sucede como en Google Scholr y en parte en WoS con el nuevo índice.

Supone una gran revolución y una respuesta a las críticas que tenían tanto SJR como IF de JCR, sobre su carácter opaco y la ponderación que utilizan sus algoritmos.

En mi opinión es el índice más fiable respecto a la excelencia. A pesar de ser reciente, está siendo adoptado por todos los sistemas de calidad y, hasta ahora, no ha recibido grandes críticas

 

B) SJR, el índice de SCImago sobre datos de Scopus.

SJR e una empresa independiente de Scopus y de Elsevier. Dato que se esfuerzan en señalar estas agencias como tuve ocasión de experimentar como respuesta a un post crítico al respecto que después tuve que cambiar quitando las alusiones a Scopus y a Elsevier. Este especial interés se debe en gran parte a las críticas que ha sufrido este índice con respecto a la ponderación que utiliza y a su poco rigor matemático (Zapata-Ros, 2021).

Sin embargo, el principio que utiliza es bueno. No todas las citas son iguales, tampoco las publicaciones citantes. Utiliza un coeficiente de citas ponderadas por artículo, similar a el que, en otro sentido, utiliza, con carácter general para las búsquedas, PageRank de Google.

 

C) Journal Citation Indicator (JCI) de JCR, en Clarivate WoS

Supone la otra gran revolución de los indicadores, al sustituir como principal índice de JCR al, hasta ahora, su índice exclusivo, el IF (Impact Factor) de JCR. Con él se homogeneiza todo lo que había en los distintos núcleos de WoC relativizando la supuesta excelencia y el elitismo provocado por los índices tradicionales, que otorgaba un plus de marca a las revistas de tal forma que los sistemas de evaluación nacionales se guiaban exclusivamente por esa marca.

Después de varios años de existencia del Emerging Sources Citation Index (ESCI) y de Arts & Humanities Citation Index (AHCI), desde 2015 en el primer caso, en Clarivate entendieron que ESCI, y su contenido de revistas confiables, seleccionadas por WoS, merecen una cobertura completa en el JCR. Aceptan en Clarivate (WoS) que las revistas cubiertas en AHCI y ESCI han cumplido con los mismos rigurosos criterios de calidad , aplicados por los expertos de WoS, para las publicaciones de Science Citation Index (SCI) y Social Sciences Citation Index (SSCI).

Por eso, AHCI y ESCI, y su contenido de revistas seleccionadas por WoS, merecen una cobertura completa en el JCR. Así, ahora, tanto las revistas AHCI como ESCI se integran en las nuevas ediciones del JCR, empezando este mismo año 2021. Es decir, en el caso que nos ocupa, todas las revistas indexadas en ESCI son desde ahora revistas JCR.

Sin embargo, hemos comprobado que después de esto han admitido nuevas revistas en el índice elitista y exclusivo Social Sciences Citation Index (SSCI).

En esta nueva situación se da la circunstancia de que revistas con un JCI superior a revistas de Social Sciences Citation Index (SSCI) permanecen fuera. Un ejemplo es el de RED:



Que teniendo JCI superior a otras tres revistas españolas de Educación permanece fuera de SSCI y no se le calcula el IF.

 

D) FECYT ranking, tras unos tambaleantes principios en los que incluso se cuestionó el carácter estadístico-matemático de la clasificación, actualmente tiene una metodología que permite restar el posible sesgo de otros indicadores, en algunos casos muy divergentes. Lo hace mediante una media ponderada.


Sólo hay que añadir que no se entiende la coexistencia de varios rankings españoles avalados por ANECA (como DIALNET y REDIB, totalmente respetables, pero construidos también con indicadores derivados, no originales) frente al oficial de la propia agencia, el de la FECYT.

 

Conclusiones.-

Aunque en el momento de la redacción de este post desconocemos la reacción de la agencia española ANECA[1], es de esperar que, ante los próximos procesos de adjudicación de sexenios y acreditación a comienzos del nuevo año, se pronuncie a través de las convocatorias si toma como referencias los nuevos índices o los antiguos. Ello teniendo en cuenta las situaciones a las que se puede enfrentar, como por ejemplo que revistas que antes no estaban en la lista de IF-JCR, ahora, con el  nuevo índice JCI de JCR están por delante de algunas que anteriormente estaban incluidas en el IF (Science Citation Index, SCI, y Social Sciences Citation Index ,SSCI).

 

Por último, hay de decir que, como hemos mantenido estos años, una política de estandarización y de generalización de los índices, en un marco global e interdisciplinar,  de publicaciones de distintas disciplinas interconectadas y cuyo impacto fuese medido con criterios de estandarización, era necesario, como se ha puesto de relieve en las contingencias de la pandemia. También acotar las publicaciones de excelencia. No sólo porque eso favorecería a revistas de excelencia que ahora pasan desapercibidas, situándolas en un contexto global sin criterios de exclusividad distintos a los propios de la calidad, sino porque al ponderar las citas con criterios científicos se deslinda lo que es ciencia de lo que no lo es, estableciendo criterios de excelencia y no sólo de número. Y que esos criterios sean iguales para todas las publicaciones. Insistimos que eso se pone de relieve en el trabajo de López Cózar et al (Martín-Martin et al, 2020) y en la herramienta desarrollada por ellos


Referencias

Friend, F. J. (2005). El apoyo de las agencias de financiación de la investigación al acceso abierto. RED. Revista de Educación a Distancia13, 1-8. https://www.um.es/ead/red/13/melero.pdf

Martín-Martín, A., Thelwall, M., Orduna-Malea, E., & López-Cózar, E. D. (2021). Google Scholar, Microsoft Academic, Scopus, Dimensions, Web of Science, and OpenCitations’ COCI: a multidisciplinary comparison of coverage via citations. Scientometrics126(1), 871-906. https://link.springer.com/article/10.1007/s11192-020-03690-4

Zapata-Ros, M. (2008). La edición científica digital de acceso abierto: Un factor básico en la ayuda a la investigación. Revista de Educación a Distancia (RED), (19). https://revistas.um.es/red/article/view/23891

Zapata-Ros, M. (2011). La investigación y la edición científica en la web social: La ciencia compartida. Revista de Educación a Distancia (RED), (3DU). https://digitum.um.es/digitum/bitstream/10201/98681/1/254001-Texto%20del%20art%C3%ADculo-881961-1-10-20160318.pdf

Zapata-Ros, M. (2017) Citación, calidad e innovación en edición científica.  http://redesabiertas.blogspot.com/2017/06/citacion-calidad-e-innovacion-en.html

Zapata-Ros, M. (2021). ¿Es tan poderosa SCImago que puede cambiar los convenios matemáticos? https://notasalmargen18.blogspot.com/2021/05/los-cuartiles-estadisticos-y-los.html



[1] Después hemos conocido la explicación de intenciones ofrecida por la ANECa y los documentos de principios y directrices: "Conversaciones con ANECA: principios y directrices generales para la actualización de los criterios de evaluación de la investigación - Aneca" http://www.aneca.es/Sala-de-prensa/Noticias/2021/Conversaciones-con-ANECA-principios-y-directrices-generales-para-la-actualizacion-de-los-criterios-de-evaluacion-de-la-investigacion

Esperamos a realizar una tranquila y serena lectura para ver si se han tenido en cuenta estas ideas y en qué medida se ha hecho, y comentarlo en una entrada posterior. Aunque se observa igualmente la tendencia casi obsesiva en plantear la cuestión en términos de open access / acceso por compra o suscripción.
No obstante, en función de las insistentes críticas que hemos hecho hasta ahora en esa dirección, consideramos una aportación positiva la sustitución del indicador SJR de SCImago (no de Scopus como se dice) por el indicador CiteScore de ScopusElsevier.

viernes, 21 de mayo de 2021

Los cuartiles estadísticos y los cuartiles de SCImago Journal Rank (SJR)

Imagen: Trinity College. Cambridge. Barrow y Newton.

¿Es tan poderosa SCImago que puede cambiar los convenios matemáticos?*


En Estadística Descriptiva y en Probabilidad hay dos tipos de medidas o de parámetros. Los llamados de centralización y los de dispersión. Los primeros nos indican en torno a qué valores de la variable estadística, o aleatoria, que estamos estudiando se concentra la distribución estadística o la de probabilidad, y los segundos cómo es la agrupación, si es más dispersa o mas concentrada.

Entre los primeros está la mediana y los cuantiles, aunque la mediana también es un cuantil. La mediana es el valor de la variable que deja igual masa probabilística, o igual cantidad de datos, a uno u otro lado: El 50%. Eso, diciéndolo de forma simplificada.

Los cuantiles, en vez de dejar a ambos lados la misma cantidad de datos, dejan entre ellos, entre cada dos consecutivos, fracciones que no son ½, sino ¼, y entonces se llaman cuartiles, 1/5, y entonces se llaman quintiles, un décimo, y entonces se llaman deciles… o un centésimo de la masa de datos y entonces se llaman centiles.

Los cuantiles fueron introducidos por primera vez por Kendall en 1940, matemático famoso también por su principal contribución a la estadística: el coeficiente de correlación tau de Kendall, que recibió ese nombre en su honor.

Pero centrémonos en los cuartiles.

Son valores de la variable que dejan entre ellos una cuarta parte de la masa estadística, de la masa de datos. 

Así, como se puede ver en la figura, entre Q1 y Q2 hay un 25% de datos, entre Q2 y Q3 hay también una cuarta parte de los datos. Igual procentaje hay por encima de Q3 y por debajo de Q1. A veces al extremo superior de la variable, si lo hay, se le llama Q4.

Fuente de la imagen : Wikipedia Commons.

A los intervalos de la variable (o al intervalo del eje de abcisas, en la gráfica) que hay entre dos cuartiles se les llama intervalos intercuartílicos. En una distribución es muy interesante saber en qué intervalo intercuartílico está un determinado valor de la variable. Así, no es tan interesante saber la nota que ha obtenido un alumno como el intervalo intercuartílico o interdecílico en que está. No todos los saberes ni todas las destrezas se distribuyen igual. Sacar un seis en una distribución centrada puede ser más importante que sacar un 9 en una distribución desplazada a la derecha. También sucede con los pesos y con las tallas de los recién nacidos, no es tan importante el valor como el intervalo intercentílico, o el centil, donde está.

A veces a los intervalos intercuartílicos o intercentílicos también se les llama cuartiles o centiles, por un abuso de lenguaje, y entonces de dice que una nota está en el tercer cuartil o la talla de un niño al nacer en el centil 95.

En resumen, para lo que nos interesa:

  • Los cuartiles se numeran de menor a mayor subíndice, según vayan dejando por debajo más datos. Si el dato es positivo es mejor estar en Q4 que en Q1.
  • La cantidad de datos que hay entre dos cuartiles, o en un intervalo intercuartílico o, como familiarmente se dice, en un cuartil es siempre la misma: Un 25%.

Pues bien, como después veremos, los cuartiles de SJR (SCImago Journal Rank) no cumplen ni una cosa ni la otra. Hasta donde sabemos los cuartiles de JCR tampoco cumplen la primera.

Curiosamente no sucede así con los centiles de CiteScore tampoco con los cuartiles de CiteScore, el índice de Scopus-Elsevier que no hay que confundir con SJR. En etas casos, como veremos después, sí cumplen la definición de centiles y de cuartiles estadísticos.

Pero antes de seguir, y para ver después esta última cuestión, concluyamos con los cuantiles estableciendo estas equivalencias (Q es cuartil y C es centil):

Q1 = C25

Q2 = C50 = Mediana

Q3 = C75

Q4 = C100 = valor máximo de la variable, si lo hay.

 

¿Qué pasa con los Q (cuartiles) de SJR?

En primer lugar, siguen en orden inverso a los cuartiles estadísticos.

El cuartil estadístico (o intervalo intercuartílico) más alto es Q4, y el más bajo Q1. Para SJR y también para JCR, y para todos los que los imitan, el valor más alto es Q1 y el más bajo Q4. Así las revistas siguientes están en los cuartiles de SJR y estadísticos que se citan ( Nos centramos en las revistas de Educación - Ciencias Sociales españolas, por ser más conocidas por los lectores habituales de este blog):

Revista

Cuartil SJR

Cuartil estadístico

Comunicar

Q1

Q4

Educación XX1

Q1

Q4

Pixel Bit

Q2

Q3

RED

Q3

Q2

Revista Española de Educación Comparada

Q4

Q1


En segundo lugar, no todos los intervalos intercuartílicos (cuartiles) tienen la misma cantidad de datos, el 25%.

Como ejemplo más palpable es el de la revista RED.

Se supone que cuartil se asigna por la posición de la revista en la lista de Educación.

Pues bien RED está en la posición 723 de 1543. Estadísticamente está en el centil 53 (53). Deja por debajo el 53% o más de las revistas. Y en el SEGUNDO CUARTIL ESTADÍSTICO de mayor a menor importancia, es decir en el Q3.

Sin embargo, SJR la coloca en Q3, es decir su tercer cuartil en importancia, como si tuviese por debajo menos del 50% de las revistas.

Eso sucede con una numerosa colección de publicaciones. desde la revista número 647, World Transactions on Engineering and Technology Education, hasta la 772, Teoría de la Educación, hay 126 revistas que deberían estar en el Q2 de SJR y están en Q3.


Alguien podría decir que el cuartil SJR lo asigna no por la especialidad, Educación, sino por el área. Pero entonces la cosa es peor.

RED está en la posición 2788 de entre las 7678 que hay en Ciencias sociales. Es decir en el centil 63, en el Q3 estadístico, y en el Q2 de SJR. Es decir está en una posición relativamente superior, con más razón debería estar en el Q2 de SJR.

Hasta aquí lo percibido en los resultados del reciente informe sobre SJR. El hecho tratado en primer lugar, el orden de los cuartiles, viene de antes, el segundo, el de los cuartiles de distinto tamaño, no lo sabría decir. Tampoco he encontrado una justificación de ello en la metodología que la agencia ofrece.

Lo curioso es que, hasta donde sé, ninguna autoridad matemática, algún académico, algún investigador o alguna institución como la Real Sociedad Matemática Española (RSME), que tiene estas cosas entre sus cometidos, tampoco haya alzado la voz para nada. tampoco han hecho una mención de carácter menor o irónico por ejemplo.

En el caso de los académicos e investigadores, editores, autores, etc. estaría más o menos justificado ante el temor de que sus publicaciones  revistas se vieran resentidas por la denuncia "nadie se atreve a decirle al rey (Elsevier) que no lleva camisa, aunque se vean sus impudicias desnudeces". Pero ¿quién le impide decirlo a la RSME por ejemplo? También a sus equivalentes internacionales. En este caso los españoles no somos diferentes.


Imagen: Trinity College. Cambridge. Barrow y Newton.

La América Hispana un páramo de la edición científica no sólo en Educación y en Computación (y II)

En el   post anterior  se analizaban los dos rankings de SCImago-JCR,   sobre la base de datos de Scopus:  el  de paises por su producción c...