La América Hispana un páramo de la edición científica no sólo en Educación y en Computación (I)

Soy un profundo amante de Hispanoamérica, a la  que considero mi segunda patria, o mi patria amplia, y a los hispanos mis hermanos. Esos sentimientos son mayores en lo único de lo que sé algo, que es la tecnología al servicio del aprendizaje y de la educación y en la edición científica.

Este conocimiento y estas ideas he intentado volcarlas en un diplomado de Edición Cientifica como competencia trasversal para investigadores que he organizado e impartido durante tres ediciones desde el Centro Universitario de Mar de Cortés en México. La experiencia ha sido inigualable y los participantes han manifestado un entusiasmo solo comparable con el nivel de competencias con el que se han egresado. Sin embargo ha habido que suspenderlo, dejarlo en stand by por falta de inscripciones que lo hicieran viable para los organizadores.

Ha salido Scimago Journal Rank (SJR) de 2023. 

La ciencia que no se difunde, que no se publica, no existe. Ese es un principio básico que ha justificado la existencia de la edición científica desde sus inicios.

Imágenes como éstas deberían hacernos reflexionar. Son del Scimago Journal & Country Rank 2023. Paises como Etiopía, Bangla Desh, Argelia, Jordania, Líbano, Kenia,... se posicionan por encima o a la par que paises hispanoamericanos como Perú, Ecuador o Venezuela. Por no hablar de paises aupados en los primeros puestos, como India, Indonesia, Malasia, Thailandia,... o Irán hasta hace poco con serias carencias no solo en la ciencia sino en la subsistencia.

Esta gráfica está sacada a partir de lo que nos ofrecen los resultados en el ranking de paises por su producción cientifica, en el SCImago Country Rank, uno de los dos ranking que ofrece Scimago sobre la base de datos de Scopus. El otro es el que hace sobre revistas, el SCImago Jornal Rank (SJR). Después veremos que no es lo mismo, que hay una gran diferencia entre lo que los cientificos de un pais publican a que lo hagan en publicaciones indexadas en ese país. También lo hemos tratado con más profundidad en el post anterior de este blog.

Pero veamos ahora resultados obtenidos en el SCImago Jornal Rank (SJR) 2023 para Latinoamérica con referencia a Revistas en Educación por paises y cuartiles.

Los resultados el año pasado para esta pregunta eran desastrosos, este año empeoran. No hay excusa ni paliativo.

• No hay ningun pais que tenga una revista en el primer o en el segundo cuartil. Ni en Hispanoamérica ni en Latinoamérica. El año pasado había una revista Q2 en Colombia.
• Seis paises tienen alguna revista Q2 en Hispanoamérica, 7 en Latinoamérica.
• Siete paises tienen alguna revista en algún cuartil en Hispanoamérica, 8 en Latinoamérica.
• Hay una revista suspendida en Cuba.
• Paises como Argentina, Perú, Ecuador, Paraguay no tienen ninguna revista científica en Educación en Scopus-Elsevier / SCImago.
• En toda Centroamérica y el Caribe sólo Costa Rica y Cuba tienen revistas: Una en Q3 en cada pais. Y una suspendida en Cuba.

Estas son las revistas cientificas de Educación que hay en Latinoamérica por países y cuartiles:

Pero no es sólo en Educación. SJR 2023 Revistas científicas en Computación, por paises y cuartiles en Hispanoamérica nos da estos resultados sobre el número de revistas cientificas por paises y cuartiles:

Durante estos años, los 24 que me he dedicado a tareas de edición, he estado en muchos paises y universidades, desde la de Colima, la primera que recuerdo, hasta recientemente en Perú, en la Universidad Nacional de San Agustin de Arequipa. En todos los casos planteé el drama de la Edición Científica en Latinoamérica. Ofrecí iniciativas para la formación trasversal de investigadores en edición científica. Algunos lo interpretaron como trucos para conseguir citas. Lo que hoy llamamnos "nefarious numbers". No era eso. Hoy ya ven los resultados de este tipo de ideas.

lObtenido de https://www.scimagojr.com/countryrank.php

Al final la ciencia que no se difunde no existe. Paraguay es un país amado. Al igual que a la UNSA, ofrecí a la Universidad Nacional de Asunción, universidad que me ha ayudado con Caradoc, una formación trasversal en Edición Científica para investigadores como editores y autores. No pudo ser tampoco.

Se da como excusa que publicar en español está penado, no es eficiente. Pero no es así SÍ SE PUEDE. Vean el caso de RED en Educación y en Computación en el contexto global. RED está en las primeras posiciones de España en sus especialidades, pero en un mar de publicaciones científicas en inglés, incluso de paises con importantes lenguas nativas, destaca RED revista en español:

Hoja de cálculo de SJR 2023 Educación

También en Computación, entre publicaciones científicas en inglés, incluso de paises con importantes lenguas nativas (italiano, alemán, japonés) destaca RED revista en español:

Hoja de cálculo de SJR 2023 Computer Science

Autores saudíes, sí... pero ¿y journals saudíes? ¿existen? ¿son lo mismo? ¿o es peor?

Ha salido Scimago Journal Rank (SJR) de 2023. En él no parece International Journal of Educational Technology in Higher Education (ETHE) como revista española, pero sí Comunicar. Preguntado por esta cuentión, el CEO de SCImago Félix de Moya ha respondido "The reason is that Elsevier has not yet changed the metadata of some journals whose changes have recently occurred".

Comunicar era hasta ahora una prestigiosa revista de Educación y medios, número uno en numerosos rankings. Se publicaba por la asociación del mismo nombre, y la editorial era FECYT. Ahora ha cambiado de entidad editora. Aparecen dos, el Tecnologico de Monterrey (Mx) y Oxbridge Publishing House (OPH). Ésta última se define como "una editorial internacional independiente líder de revistas académicas y profesionales, dedicada a promover y difundir investigaciones de alta calidad en una amplia gama de disciplinas. Con un alcance global y una reputación de excelencia, estamos comprometidos a brindar a nuestros autores y lectores los más altos estándares de servicio y soporte."

Sin embargo cuando entramos en los datos que ofrece el gobierno del Reino Unido obtenemos un sólo nombre el de Muhammad HASEEB, de nacionalidad pakistaní, con un capital social de 1 libra:

    

El 18 de abril aparece en el diario El País el artículo Arabia Saudí paga a científicos españoles para hacer trampas en el ‘ranking’ de las mejores universidades del mundo, firmado por el periodista Manuel Ansede

Ceremonia de entrega de premios a estudiantes de la Universidad Rey Saúd, en Riad (Arabia Saudí), en noviembre de 2021. AEC a través de El País como ilustración del artículo citado.

Este articulo fue precedido por otro sobre le quimico  Rafael Luque, expulsado de la Universidad de Córdoba, que fue el ARTÍCULO MÁS LEIDO EN EL PAÍS EN 2023, lo que Ansede publica en X:

Dias después, el periodista explica en un podcast cómo lo hizo.

Ese tema fue tratado tambiém por MICHELE CATANZARO en Chemistry World de la Royal Society of Chemistry. Nada que ver con los artículos que publicó Ansede en El País que ya hemos visto. Sobre este tema de la multifiliación también intervino Félix de Moya. Dice que "el Ranking de Instituciones Scimago es el único ranking que penaliza a aquellas instituciones académicas cuyos investigadores son multifiliales".

Por el contrario, Clarivate-WoS y el JCR, de forma espectacular han expulsado a IJERPH MDPI y otras macrorrevistas, NO HAN REVISAN SI SUS REVISTAS CUMPLEN LA FILIACIÓN ÚNICA. Eso es algo que establecen los propios autores y editores de las revistas independientes o diamante. Y esa es la rendija por donde se han colado los hipercitados saudíes.

Curiosamente, ANECA CASTIGA EN LOS BAREMO DE SEXENIOS Y PARA LAS ACREDITACIONES EN MATEMÁTICAS Y CIENCIAS DURAS A LOS QUE TENGAN PUBLICACIONES EN SJR Scopus, y premia a los que las tengan en la WoS y el JCR clásico, entre otras en Ingenierías, Computación, etc.:

Pero hay muchas cuestiones interesantes además de las espectaculares que Ansede y El País exhiben. Son, por ejemplo, la responsabilidad in vigilando y el contexto en que se produce el fraude de Rafael Luque y de otros "saudíes", me refiero a la edición hibrida, los números nefastos o la edición depredadora ,como otros le llaman incluyendo todos los conceptos. Que ese y no otro es el problema.

Y en todo caso, la cuestiones que uno se pregunta a partir de estos artículos son:

a) ¿Las prácticas de Luque, y de los autores hipercitados saudíes, son malas porque las pone al servicio de la universidad saudí en vez de al de la Universidad de Córdoba? ¿O ya lo eran antes cuando esos resultados eran tan buenos para la UCO y nadie se preocupó? Igual se podría decir de la industria de perfiles de alta citación del profesor cartagenero y de los de los investigadores de las universidades y centros de investigación catalanes.

b) ¿Es que todos estos hechos aparecieron de un día para otro? ¿Antes no se producían investigaciones y estudios de alta citación en horas? ¿Nadie se preocupó por esta dinámica? ¿Nadie investigó en las universidades, en ANECA, en los ministerios, cómo era posible esto y de las consecuencias que tendría para la ciencia, para la investigación y para las universidades?

c) ¿El problema era como producían los artículos o que vendieran esa producción y el posicionamiento conseguido con ella a otras universidades?

d) ¿Por qué no se detecto? Nadie se plantea la eficiencia del sistema de ciencia español donde, sí, se pide dinero para la investigación, pero nadie se asegura de su eficiencia. Al contrario ese dinero se dedica a crear un ejercito de asesores y de coordinadores que se dedican a otras cosas, mientras las revistas, los editores, los revisores,... hacen el trabajo de velar por las filiaciones etc. de forma voluntaria. Como en RED.

Esto, el caracter amarillista de unas noticias que sustraian el tema de fondo, fue debatido en X  y en unos mensajes entre Ansede y un servidor que después fueron borrados.

Pero eso ya pasó. Ahora este otro tema, el de las revistas científicas vendidas, es el vigente. Y ante él, ahora, cabe plantearse si hay puntos comunes con el de los autores saudíes, o más propiamente tienen un mismo tema de fondo: Unos autores entonces y unas revistas ahora, que son financiados y soportados por universidades, fundaciones y centros de investigación públicos, son transferiadas a editoriales privadas o no, y a universidades en otros paises. En esos casos como se ha visto ahora con el informe SJR, las citaciones, impactos y en general los indices se atribuyen a las nuevas filiaciones y editoriales en los paises donde están ubicadas. En el caso de ETHE pasa de ser la UOC, o recientemente la universidad Pedagógica de Bogotá, a Springer Science+Business Media. Y en el caso de Comunicar pasa de FECYT al Tecnologico de Monterrey (Mx) y a Oxbridge Publishing House (OPH).

En mi humilde opinión, esto tiene repercusiones muy superiores a lo que El País

denunció, y hemos visto, como el escándalo de los profesores "saudíes".

1. Estás revistas dejan de tener el sello FECYT, y no se ha dicho nada.

2. Todas las citas y el impacto desaparece de esas universidades editoras e igualmente no sé imputa a España, como en el caso de los autores, saudíes pero a lo bestia.

3. Todo el apoyo recibido en infraestructura, mantenimiento, servidores, programas,... se pierde.

Y sobre todo no se sabe, al menos no se ha hecho público, qué sucederá con los repositorios que se consideran una práctica obligada por las universidades públicas, como sucede con DIGITUM de la Universidad de Murcia, y con los DOI de los artículos que apuntaban a las versiones originales de los artículos.

Una vez más es Félix de Moya quien aparece como interlocutor "socrático" y formula unas inquietudes sobre el tema en un mensaje que me ha permitido publicar y con el que me me da la opción a explicar un tema que al parecer no ha quedado claro, ciál es la repercusión en las métricas de imputar artículos a un país y no a otro. Éste es el mensaje:

"Miguel, no sé si he entendido muy bien tu mensaje. No hay ninguna métrica que yo conozca que esté basada en los países de edición de las revistas. Nosotros hacemos pública esa información para poder relacionar producción por países con revistas del propio país. ¿Puedes decirme qué penalización métrica se produce porque la revista se publique en un país o en otro?"

Y la respuesta:

"Gracias por tu interés en lo que son unas humildes palabras.

Mi intención no era poner de relieve una penalización métrica.

La situación que existe entre revistas que han nacido y han crecido al amparo de una universidad o de un centro de investigación o, llevada la cuestión a un extremo, de un pais, que han utilizado los recursos de sus ciudadanos para su desarrollo, y luego se cambian a otra o a otro, es similar a la de los autores que cobran de una universidad y luego establecen su filiación con otra, saudí o no. Eso ha llevado a SCImago a ser muy cuidadosa con las filiaciones y a establecer una como principal.

Lo único que he pretendido es, en el caso de alguna red de revistas, poner de relieve la contradicción, de una de ellas que ha sido comprada por una editorial extranjera, de desear que siga perteneciendo a esa red, donde una condición para pertenecer a ella era tener el sello Fecyt, sello que sólo se concede a revistas de nuestrao país

Por lo que rerspecta a las métricas también existe una situación de "doble moral" con los paises. Por un lado existe el ranking de paises en SJR, donde se computan citas y otros valores de otras variables atribuidas a los autores de ese país para obtener sus indicadores y su clasificación. Sea de donde sea la publicación donde los autores publican sus artículos .

Pero hay otra visión del problema con unos datos distintos, que SJR no tiene en cuenta pero yo sí, por las razones que después diré. Son los datos que se derivan de las publicaciones editadas por insituciones del pais. Valores que muchas veces son muy diferentes de los anteriores y con diferencias muy significativas.

De esta forma podríamos tomar los casos de Argentina, Perú, Ecuador y otros en Educación. Cualquier índice basado en ese criterio es cero, porque no hay una sola revista en esos paises. No sucede así con los indices basados en los autores, porque la distribución del talento individual es más o menos parecido en todos los paises, lo que cambian son los medios y la organización. Para editar revistas también. Los buenos autores de Argentina publican en revistas fuera de su pais.

Las conclusiones que se pueden obtener de ese hecho son muy diversas. No es cuestión debatirlas aquí.

Hasta el año pasado estuve impariendo un diplomado, para la fornación en habilidades editoriales en Mar de Cortés destinado a Latinoamérica, movido por esta, para mi, evidencia de la precaria situación en esos paises que manifestaba ese hecho. Por eso me preocupé por estos datos y por el problema subyacente.

Una iniciativa buena sería que SCImago estableciese una métrica basada en la producción editorial de los paises.

La justificación sería la que he expuesto y por otra razón. La obtención de los índices de calidad universitaria de THE y de QS se basan mayoritariamente en la producción de los autores de las universidades y centros, pero de forma secundaria, y no por ello despreciable, en la edición. Por tanto cabría tener en cuenta ese índice." A partir de este mensaje Félix de Moya sugiere un método y una herramienta ya existente en , que no da la respuesta exacta a la pregunta, porque no admite como campo de aplicación las revistas de las subcategorias de SJR, pero sí al menos tiene potencia para examinar la covariación entre datos de producción de artículos por paises y de publicaciones editadas también por paises. Veamos su respuesta:

La herramienta es Country Graphs aplicada en este caso a todas las regiones, todos los temas, en 2023 y en la modalidad scatter plot (gráfico de dispersión):

Lo primero que hay que decir es que la gráfica es logarítmica, lo cual hace que el fenómeno sea más visible: aparecen, comparables en un espacio abarcable, todos los datos, pero es irreal. UK y EE UU a escala normal saldrían mucho más lejos arriba a la derecha. También aparecen los países sin publicaciones.

En las abcisas aparece el número de artículos (scientific output) y en las ordenadas las publicaciones indexadas en el país.

Lo primero que se ve es que existe una cierta correlación, pero no están correlacionadas.

Hay numerosos paises que se separan de la bisectriz del primer cuadrante. Un caso claro es el Paises Bajos. un país pequeño, en relación con China o India, grandes pero con menos publicaciones. Como vremeos después el caso extremo es en Educación (no puede verse con esta herramienta) en comparación con Países Bajos. La potencia de la herramienta en relación con lo que decíamos, es que en forma de tabla, sí nos da los paises ordenados por el número de publicaciones. En este caso:

Destaca Paises Bajos, con practicamente los mismos artículos que Arabia (recordad los "autores saudíes") y menos que Brasil o que Turquía, tiene muchísimas más publicaciones.

Pero la correlación ya se rompe definitivamente si utilizamos no una escala logarítmica, sino normal, en Computación. Si observamos sólo Paises Bajos, UK, India y China, la correlación es negativa y próxima a -1. Para concluir, quiero hacer constar el dato significativo de que a las pocas horas SCImago Lab repostea en X un post de SJR señalando que

En la correlación de países entre el índice número de publicaciones (publications) y producción científica (artículos), según la afiliación de los autores, los datos georreferenciados revelan una fuerte tendencia: los países con más revistas indexadas tienden a tener una mayor producción científica.

Con un par.

Analizando y fijando posiciones respecto de tendencias actuales en métricas, indicadores y plataformas de calidad de la edición científica.

 

Hace más de quince años la edición abierta, el “open Access”, era una referencia y así lo constatamos y lo suscribimos en RED (Friend, 2005) (Zapata-Ros, 2008 y 2011)

Hoy día es una expresión vacía de contenido, en el sentido de que por sí sola no garantiza los principios enunciados en esos trabajos, ni otros surgidos posteriormente, que se han manifestado igualmente necesarios (necesidad de garantizar el autoarchivo, reducir el autoembargo, etc).

La evolución de los hechos ha desembocado pues en una situación, la actual, en la que ese criterio y esa identificación no aporta nada en los anhelos entonces sentidos porque:

a)    Ante la presión de los países y de las administraciones que gestionan la investigación y las universidades, las grandes corporaciones han accedido en muchos casos a convertir sus publicaciones al acceso abierto pero estableciendo la modalidad de financiación de los artículos exclusivamente mediante las  APCs: Article Processing Charges. Ahora no pagan los usuarios de los artículos, pagan los autores. Antes, algunos pagaban también pero ahora las APC se han multiplicado por cinco y hasta por diez para garantizar el acceso abierto.

b)    Bajo el denominador de acceso abierto hay revistas depredadoras (las APC son el negocio)

c)     Amparadas por ese calificativo también se han colado revistas de muy baja calidad que, sin control y con estándares ficticios, trabajan temas considerados acientíficos o paracientíficos, como son en el campo de Ciencias Sociales - Educación, algunos  mitos educativos, entre los que están, por ejemplo, “inteligencias múltiples”, conectivismo, “estilos de aprendizaje”, “nativos digitales”, visiones educativas socioculturales, …  Actualmente son una plaga los “self report studies” (encuestas que consideran como un indicador de calidad en el aprendizaje la satisfacción o la percepción de los alumnos, muchas veces en contradicción con lo que dicen las teorías y los principios del aprendizaje). Para tener idea del volumen de estos fenómenos se pueden ver los trabajos de Martín-Martín, A., Thelwall, M., Orduna-Malea, E., & López-Cózar, E. D. (2021), que analizan la consistencia entre diversa fuentes (comparar en esa herramienta, en el caso de Ciencias Sociales por ejemplo, artículos y citas de Google Scholar dentro y fuera de Scopus o de WoS).

d)    Si la edición de “open Access” no garantiza la calidad tampoco es cierto lo contrario: La edición de pago no siempre garantiza la pureza de los procesos de edición y de investigación por sí misma. Son frecuentes los casos de artículos que han sido retractados en prestigiosas revistas. Eso está oficialmente demostrado, pero existe la sospecha fundada de poca ortodoxia en los procesos editoriales. Las revistas MDPI, que, si bien formalmente no son de pago, por ser open Access, nosotros la consideramos como tales por las altas APCs que imponen, tiene aspectos que despiertan cuando menos la curiosidad. Así por ejemplo, en materias donde las revisiones tarda meses, en otras revistas, ellos las hacen en días. Siendo eso imposible en algunas materias y modalidades de trabajo.

e)    Por otra parte, si la edición en Open Access no va acompañada de otras modalidades de edición, como la edición verde u oro (Zapata-Ros, 2017), que garantiza la publicación en abierto y en autoarchivo de los artículos y de los preprints (incompatible por otro lado con las APCs porque las editoriales no lo consienten) no tiene garantizada la eficacia que se le atribuye en la creación y mantenimiento de entornos abiertos y de ecosistemas de investigación (Zapata-Ros, 2011)

Por tanto, la cuestión Open Access sí u Open Access no, no es factor determinante de la calidad ni de la excelencia en la difusión científica ni de la producción, si es eso lo que se pretende.

La cuestión ahora ya no es el Open Access, es la calidad por sí misma. Cómo se evalúa. En este sentido, este año y el pasado, se han dado grandes pasos al cambiar los indicadores de las grandes plataformas de calidad, SCImago, Scopus-Elsevier y Clarivate en el plano global, y del ranking FECYT en la escala nacional.

 

A) CiteScore, el índice de Scopus-Elsevier

Es el índice más transparente: Ofrece las citas por artículo los últimos tres años, pero al operar sobre revistas que de entrada cumple los estándares de calidad de Scopus, es homogéneo. No sucede como en Google Scholr y en parte en WoS con el nuevo índice.

Supone una gran revolución y una respuesta a las críticas que tenían tanto SJR como IF de JCR, sobre su carácter opaco y la ponderación que utilizan sus algoritmos.

En mi opinión es el índice más fiable respecto a la excelencia. A pesar de ser reciente, está siendo adoptado por todos los sistemas de calidad y, hasta ahora, no ha recibido grandes críticas

 

B) SJR, el índice de SCImago sobre datos de Scopus.

SJR e una empresa independiente de Scopus y de Elsevier. Dato que se esfuerzan en señalar estas agencias como tuve ocasión de experimentar como respuesta a un post crítico al respecto que después tuve que cambiar quitando las alusiones a Scopus y a Elsevier. Este especial interés se debe en gran parte a las críticas que ha sufrido este índice con respecto a la ponderación que utiliza y a su poco rigor matemático (Zapata-Ros, 2021).

Sin embargo, el principio que utiliza es bueno. No todas las citas son iguales, tampoco las publicaciones citantes. Utiliza un coeficiente de citas ponderadas por artículo, similar a el que, en otro sentido, utiliza, con carácter general para las búsquedas, PageRank de Google.

 

C) Journal Citation Indicator (JCI) de JCR, en Clarivate WoS

Supone la otra gran revolución de los indicadores, al sustituir como principal índice de JCR al, hasta ahora, su índice exclusivo, el IF (Impact Factor) de JCR. Con él se homogeneiza todo lo que había en los distintos núcleos de WoC relativizando la supuesta excelencia y el elitismo provocado por los índices tradicionales, que otorgaba un plus de marca a las revistas de tal forma que los sistemas de evaluación nacionales se guiaban exclusivamente por esa marca.

Después de varios años de existencia del Emerging Sources Citation Index (ESCI) y de Arts & Humanities Citation Index (AHCI), desde 2015 en el primer caso, en Clarivate entendieron que ESCI, y su contenido de revistas confiables, seleccionadas por WoS, merecen una cobertura completa en el JCR. Aceptan en Clarivate (WoS) que las revistas cubiertas en AHCI y ESCI han cumplido con los mismos rigurosos criterios de calidad , aplicados por los expertos de WoS, para las publicaciones de Science Citation Index (SCI) y Social Sciences Citation Index (SSCI).

Por eso, AHCI y ESCI, y su contenido de revistas seleccionadas por WoS, merecen una cobertura completa en el JCR. Así, ahora, tanto las revistas AHCI como ESCI se integran en las nuevas ediciones del JCR, empezando este mismo año 2021. Es decir, en el caso que nos ocupa, todas las revistas indexadas en ESCI son desde ahora revistas JCR.

Sin embargo, hemos comprobado que después de esto han admitido nuevas revistas en el índice elitista y exclusivo Social Sciences Citation Index (SSCI).

En esta nueva situación se da la circunstancia de que revistas con un JCI superior a revistas de Social Sciences Citation Index (SSCI) permanecen fuera. Un ejemplo es el de RED:

Que teniendo JCI superior a otras tres revistas españolas de Educación permanece fuera de SSCI y no se le calcula el IF.

 

D) FECYT ranking, tras unos tambaleantes principios en los que incluso se cuestionó el carácter estadístico-matemático de la clasificación, actualmente tiene una metodología que permite restar el posible sesgo de otros indicadores, en algunos casos muy divergentes. Lo hace mediante una media ponderada.

Sólo hay que añadir que no se entiende la coexistencia de varios rankings españoles avalados por ANECA (como DIALNET y REDIB, totalmente respetables, pero construidos también con indicadores derivados, no originales) frente al oficial de la propia agencia, el de la FECYT.

 

Conclusiones.-

Aunque en el momento de la redacción de este post desconocemos la reacción de la agencia española ANECA[1], es de esperar que, ante los próximos procesos de adjudicación de sexenios y acreditación a comienzos del nuevo año, se pronuncie a través de las convocatorias si toma como referencias los nuevos índices o los antiguos. Ello teniendo en cuenta las situaciones a las que se puede enfrentar, como por ejemplo que revistas que antes no estaban en la lista de IF-JCR, ahora, con el  nuevo índice JCI de JCR están por delante de algunas que anteriormente estaban incluidas en el IF (Science Citation Index, SCI, y Social Sciences Citation Index ,SSCI).

 

Por último, hay de decir que, como hemos mantenido estos años, una política de estandarización y de generalización de los índices, en un marco global e interdisciplinar,  de publicaciones de distintas disciplinas interconectadas y cuyo impacto fuese medido con criterios de estandarización, era necesario, como se ha puesto de relieve en las contingencias de la pandemia. También acotar las publicaciones de excelencia. No sólo porque eso favorecería a revistas de excelencia que ahora pasan desapercibidas, situándolas en un contexto global sin criterios de exclusividad distintos a los propios de la calidad, sino porque al ponderar las citas con criterios científicos se deslinda lo que es ciencia de lo que no lo es, estableciendo criterios de excelencia y no sólo de número. Y que esos criterios sean iguales para todas las publicaciones. Insistimos que eso se pone de relieve en el trabajo de López Cózar et al (Martín-Martin et al, 2020) y en la herramienta desarrollada por ellos. 

Referencias

Friend, F. J. (2005). El apoyo de las agencias de financiación de la investigación al acceso abierto. RED. Revista de Educación a Distancia, 13, 1-8. https://www.um.es/ead/red/13/melero.pdf

Martín-Martín, A., Thelwall, M., Orduna-Malea, E., & López-Cózar, E. D. (2021). Google Scholar, Microsoft Academic, Scopus, Dimensions, Web of Science, and OpenCitations’ COCI: a multidisciplinary comparison of coverage via citations. Scientometrics, 126(1), 871-906. https://link.springer.com/article/10.1007/s11192-020-03690-4

Zapata-Ros, M. (2008). La edición científica digital de acceso abierto: Un factor básico en la ayuda a la investigación. Revista de Educación a Distancia (RED), (19). https://revistas.um.es/red/article/view/23891

Zapata-Ros, M. (2011). La investigación y la edición científica en la web social: La ciencia compartida. Revista de Educación a Distancia (RED), (3DU). https://digitum.um.es/digitum/bitstream/10201/98681/1/254001-Texto%20del%20art%C3%ADculo-881961-1-10-20160318.pdf

Zapata-Ros, M. (2017) Citación, calidad e innovación en edición científica.  http://redesabiertas.blogspot.com/2017/06/citacion-calidad-e-innovacion-en.html

Zapata-Ros, M. (2021). ¿Es tan poderosa SCImago que puede cambiar los convenios matemáticos? https://notasalmargen18.blogspot.com/2021/05/los-cuartiles-estadisticos-y-los.html

---

[1] Después hemos conocido la explicación de intenciones ofrecida por la ANECa y los documentos de principios y directrices: "Conversaciones con ANECA: principios y directrices generales para la actualización de los criterios de evaluación de la investigación - Aneca" http://www.aneca.es/Sala-de-prensa/Noticias/2021/Conversaciones-con-ANECA-principios-y-directrices-generales-para-la-actualizacion-de-los-criterios-de-evaluacion-de-la-investigacion

Esperamos a realizar una tranquila y serena lectura para ver si se han tenido en cuenta estas ideas y en qué medida se ha hecho, y comentarlo en una entrada posterior. Aunque se observa igualmente la tendencia casi obsesiva en plantear la cuestión en términos de open access / acceso por compra o suscripción.
No obstante, en función de las insistentes críticas que hemos hecho hasta ahora en esa dirección, consideramos una aportación positiva la sustitución del indicador SJR de SCImago (no de Scopus como se dice) por el indicador CiteScore de ScopusElsevier.

Los cuartiles estadísticos y los cuartiles de SCImago Journal Rank (SJR)

¿Es tan poderosa SCImago que puede cambiar los convenios matemáticos?*

En Estadística Descriptiva y en Probabilidad hay dos tipos de medidas o de parámetros. Los llamados de centralización y los de dispersión. Los primeros nos indican en torno a qué valores de la variable estadística, o aleatoria, que estamos estudiando se concentra la distribución estadística o la de probabilidad, y los segundos cómo es la agrupación, si es más dispersa o mas concentrada.

Entre los primeros está la mediana y los cuantiles, aunque la mediana también es un cuantil. La mediana es el valor de la variable que deja igual masa probabilística, o igual cantidad de datos, a uno u otro lado: El 50%. Eso, diciéndolo de forma simplificada.

Los cuantiles, en vez de dejar a ambos lados la misma cantidad de datos, dejan entre ellos, entre cada dos consecutivos, fracciones que no son ½, sino ¼, y entonces se llaman cuartiles, 1/5, y entonces se llaman quintiles, un décimo, y entonces se llaman deciles… o un centésimo de la masa de datos y entonces se llaman centiles.

Los cuantiles fueron introducidos por primera vez por Kendall en 1940, matemático famoso también por su principal contribución a la estadística: el coeficiente de correlación tau de Kendall, que recibió ese nombre en su honor.

Pero centrémonos en los cuartiles.

Son valores de la variable que dejan entre ellos una cuarta parte de la masa estadística, de la masa de datos. 

Así, como se puede ver en la figura, entre Q1 y Q2 hay un 25% de datos, entre Q2 y Q3 hay también una cuarta parte de los datos. Igual procentaje hay por encima de Q3 y por debajo de Q1. A veces al extremo superior de la variable, si lo hay, se le llama Q4.

Fuente de la imagen : Wikipedia Commons.

A los intervalos de la variable (o al intervalo del eje de abcisas, en la gráfica) que hay entre dos cuartiles se les llama intervalos intercuartílicos. En una distribución es muy interesante saber en qué intervalo intercuartílico está un determinado valor de la variable. Así, no es tan interesante saber la nota que ha obtenido un alumno como el intervalo intercuartílico o interdecílico en que está. No todos los saberes ni todas las destrezas se distribuyen igual. Sacar un seis en una distribución centrada puede ser más importante que sacar un 9 en una distribución desplazada a la derecha. También sucede con los pesos y con las tallas de los recién nacidos, no es tan importante el valor como el intervalo intercentílico, o el centil, donde está.

A veces a los intervalos intercuartílicos o intercentílicos también se les llama cuartiles o centiles, por un abuso de lenguaje, y entonces de dice que una nota está en el tercer cuartil o la talla de un niño al nacer en el centil 95.

En resumen, para lo que nos interesa:

• Los cuartiles se numeran de menor a mayor subíndice, según vayan dejando por debajo más datos. Si el dato es positivo es mejor estar en Q4 que en Q1.

• La cantidad de datos que hay entre dos cuartiles, o en un intervalo intercuartílico o, como familiarmente se dice, en un cuartil es siempre la misma: Un 25%.

Pues bien, como después veremos, los cuartiles de SJR (SCImago Journal Rank) no cumplen ni una cosa ni la otra. Hasta donde sabemos los cuartiles de JCR tampoco cumplen la primera.

Curiosamente no sucede así con los centiles de CiteScore tampoco con los cuartiles de CiteScore, el índice de Scopus-Elsevier que no hay que confundir con SJR. En etas casos, como veremos después, sí cumplen la definición de centiles y de cuartiles estadísticos.

Pero antes de seguir, y para ver después esta última cuestión, concluyamos con los cuantiles estableciendo estas equivalencias (Q es cuartil y C es centil):

Q1 = C25

Q2 = C50 = Mediana

Q3 = C75

Q4 = C100 = valor máximo de la variable, si lo hay.

 

¿Qué pasa con los Q (cuartiles) de SJR?

En primer lugar, siguen en orden inverso a los cuartiles estadísticos.

El cuartil estadístico (o intervalo intercuartílico) más alto es Q4, y el más bajo Q1. Para SJR y también para JCR, y para todos los que los imitan, el valor más alto es Q1 y el más bajo Q4. Así las revistas siguientes están en los cuartiles de SJR y estadísticos que se citan ( Nos centramos en las revistas de Educación - Ciencias Sociales españolas, por ser más conocidas por los lectores habituales de este blog):

Revista	Cuartil SJR	Cuartil estadístico
Comunicar	Q1	Q4
Educación XX1	Q1	Q4
Pixel Bit	Q2	Q3
RED	Q3	Q2
Revista Española de Educación Comparada	Q4	Q1

En segundo lugar, no todos los intervalos intercuartílicos (cuartiles) tienen la misma cantidad de datos, el 25%.

Como ejemplo más palpable es el de la revista RED.

Se supone que cuartil se asigna por la posición de la revista en la lista de Educación.

Pues bien RED está en la posición 723 de 1543. Estadísticamente está en el centil 53 (53). Deja por debajo el 53% o más de las revistas. Y en el SEGUNDO CUARTIL ESTADÍSTICO de mayor a menor importancia, es decir en el Q3.

Sin embargo, SJR la coloca en Q3, es decir su tercer cuartil en importancia, como si tuviese por debajo menos del 50% de las revistas.

Eso sucede con una numerosa colección de publicaciones. desde la revista número 647, World Transactions on Engineering and Technology Education, hasta la 772, Teoría de la Educación, hay 126 revistas que deberían estar en el Q2 de SJR y están en Q3.

Alguien podría decir que el cuartil SJR lo asigna no por la especialidad, Educación, sino por el área. Pero entonces la cosa es peor.

RED está en la posición 2788 de entre las 7678 que hay en Ciencias sociales. Es decir en el centil 63, en el Q3 estadístico, y en el Q2 de SJR. Es decir está en una posición relativamente superior, con más razón debería estar en el Q2 de SJR.

Hasta aquí lo percibido en los resultados del reciente informe sobre SJR. El hecho tratado en primer lugar, el orden de los cuartiles, viene de antes, el segundo, el de los cuartiles de distinto tamaño, no lo sabría decir. Tampoco he encontrado una justificación de ello en la metodología que la agencia ofrece.

Lo curioso es que, hasta donde sé, ninguna autoridad matemática, algún académico, algún investigador o alguna institución como la Real Sociedad Matemática Española (RSME), que tiene estas cosas entre sus cometidos, tampoco haya alzado la voz para nada. tampoco han hecho una mención de carácter menor o irónico por ejemplo.

En el caso de los académicos e investigadores, editores, autores, etc. estaría más o menos justificado ante el temor de que sus publicaciones  revistas se vieran resentidas por la denuncia "nadie se atreve a decirle al rey (Elsevier) que no lleva camisa, aunque se vean sus impudicias desnudeces". Pero ¿quién le impide decirlo a la RSME por ejemplo? También a sus equivalentes internacionales. En este caso los españoles no somos diferentes.

* Imagen: Trinity College. Cambridge. Barrow y Newton.