La América Hispana un páramo de la edición científica no sólo en Educación y en Computación (y II)

En el  post anterior se analizaban los dos rankings de SCImago-JCR, sobre la base de datos de Scopus: el de paises por su producción cientifica y el de revistas, el SCImago Jornal  Rank (SJR). En él se decía que no es lo mismo, que hay una gran diferencia, entre lo que los cientificos de un pais publican, en todas las publicaciones, las de su propio país y las de otros, y lo que publican, ellos y otros, en las revistas indexadas en su propio país. Es decir, la producción de las revistas indexadas en él.

La tesis que sosteniamos es que es muy distinta la lista de paises ordenados por su produción cientifica que la lista de paises ordenada por el número de revistas indexadas en él. Esto lo tratábamos con carácter general en otro post de este blog. En él decíamos que existe una cierta correlación entre esas dos series de datos, pero que no están correlacionadas.

En la gráfica de la herramienta Country Graphs aplicada en aquel caso a todas las regiones y a todos los temas, en 2023, en la modalidad scatter plot (gráfico de dispersión), hay numerosos paises que se separan de la bisectriz del primer cuadrante. Enonces  señalábamos un caso claro, el de Paises Bajos, un país pequeño, en relación con China o India, grandes pero con menos publicaciones. Ahora lo vamos aver en Educación o en Ciencias Sociales en general y en Computación aplaicado a Latinoamérica, como ejemplo de paises donde los autores publican fuera, y lo correlacionaremos con otros paises donde se concentran las editoriales. En ese mismo post veíamos la tesis de los autores del informe en sentido contrario: Existe una clara correlación entre las dos series de valores. Eso se vio, a las pocas horas de un debate que tuvimos, cundo SCImago Lab repostea en X un post de SJR señalando que

Dice "En la correlación de países entre el índice número de publicaciones (publications) y producción científica (artículos), según la afiliación de los autores, los datos georreferenciados revelan una fuerte tendencia: los países con más revistas indexadas tienden a tener una mayor producción científica."

Ambas percepciones son compatibles, pero a nosotros nos interesan los casos excepcionales,por ser los que se producen de forma mayoritaria en Latinoamérica y más aún como veremos en Hispanoamérica.

La herramienta no dispone de la opción de correlación con la subcategoría de Educación, veremos después qué pasa con Ciencias Sociales. Pero antes veamos qué sucede con COMPUTACIÓN en Latinoamerica en 2023 correlacionando producción científica (artículos producidos en 2023 por investigadores filiados en el país), en abcisas, con número de publicaciones indexadas en el país;

La visión general coincide en publicaciones con el desierto visto en post anterior. Sin contar Brasil, el dató máximo son ¡tres publicaciones! en Colombia. Pero lo asombroso es lo que sucede en México: ¡3266 articulos y una sola publicación. Sin descuidar Perú y Ecuador.

Esto lo podemos ver mejor en la opción de tabla:

Una vez más destaca México, Ecuados y sobre todo Perú. Esos cientos o miles de artículos no pueden publicarse en un año en una o ninguna revista. Es una cantidad inmensa de ciencia que se va al exterior. Es decir, no es que no puedan utilizarla otros investigadores del país. Siempre que sea en open access lo podrán hacer. Es sobre todo por las PCA (las cargas por proceso de artículo) que tienen que pagar por publicar y poque no se computan en la reputación de las universidades ni en la del país. Y eso afecta al posicionamiento en los rankings y en los fondos de inversión que podrían llegar por proyectos, mucho mejor, más confiable y más eficientes que los que llegan para el desarrollo, aparte del autoconcepto de los paises y de los pueblos, que de esta forma no se verían como mendicantes.
Esto lo explicaba al CEO de SCImago Félix de Moya en X y en otro post

Vamos a ampliar ahora la lupa. Vamos a incluir en la gráfica de correlación todos los paises con datos de Computación en 2023. Nótese que utilizamos una escala logarítmica. Si no fuese así el efecto sería mucho mayor pero no cabría en la pantalla todo:

México está en la misma franja de número de artículos que paises mucho más pequeñoas como Suiza, Paises Bajos o Singapur (si bien la escala logarítmica hace que la diferencia se perciba aún más pequeña). Sin embargo el número de publicaciones de estos pequeños paises es enormemente mayor: Sin duda muchos de esos autores publicarán en Springer, Elsevier o MDPI.

De paso podríamos decir que si hacemos las correlaciones parciales señaladas por los trazos azul y rojo, incluso saldrían negativas.

 

En doble columna, la primera artículos publicados por autores con filiación en el país y en la segunda publicaciones indexadas, vemos los dos grupos de casos netamente correlacionados inversamente, aunque en el caso de Emiratos por distinta razón, la que comentamos de la doble filiación:

Veamos sucintamente qué sucede en Ciencias Sociales, al no poder hacerlo sólo en Educación:

Caso en que volvemos a ver la singularidad de Paises Bajos que correlaciona inversamente con China e India y la diferencia en publicaciones indexadas con Brasil y México. 

La América Hispana un páramo de la edición científica no sólo en Educación y en Computación (I)

Soy un profundo amante de Hispanoamérica, a la  que considero mi segunda patria, o mi patria amplia, y a los hispanos mis hermanos. Esos sentimientos son mayores en lo único de lo que sé algo, que es la tecnología al servicio del aprendizaje y de la educación y en la edición científica.

Este conocimiento y estas ideas he intentado volcarlas en un diplomado de Edición Cientifica como competencia trasversal para investigadores que he organizado e impartido durante tres ediciones desde el Centro Universitario de Mar de Cortés en México. La experiencia ha sido inigualable y los participantes han manifestado un entusiasmo solo comparable con el nivel de competencias con el que se han egresado. Sin embargo ha habido que suspenderlo, dejarlo en stand by por falta de inscripciones que lo hicieran viable para los organizadores.

Ha salido Scimago Journal Rank (SJR) de 2023. 

La ciencia que no se difunde, que no se publica, no existe. Ese es un principio básico que ha justificado la existencia de la edición científica desde sus inicios.

Imágenes como éstas deberían hacernos reflexionar. Son del Scimago Journal & Country Rank 2023. Paises como Etiopía, Bangla Desh, Argelia, Jordania, Líbano, Kenia,... se posicionan por encima o a la par que paises hispanoamericanos como Perú, Ecuador o Venezuela. Por no hablar de paises aupados en los primeros puestos, como India, Indonesia, Malasia, Thailandia,... o Irán hasta hace poco con serias carencias no solo en la ciencia sino en la subsistencia.

Esta gráfica está sacada a partir de lo que nos ofrecen los resultados en el ranking de paises por su producción cientifica, en el SCImago Country Rank, uno de los dos ranking que ofrece Scimago sobre la base de datos de Scopus. El otro es el que hace sobre revistas, el SCImago Jornal Rank (SJR). Después veremos que no es lo mismo, que hay una gran diferencia entre lo que los cientificos de un pais publican a que lo hagan en publicaciones indexadas en ese país. También lo hemos tratado con más profundidad en el post anterior de este blog.

Pero veamos ahora resultados obtenidos en el SCImago Jornal Rank (SJR) 2023 para Latinoamérica con referencia a Revistas en Educación por paises y cuartiles.

Los resultados el año pasado para esta pregunta eran desastrosos, este año empeoran. No hay excusa ni paliativo.

• No hay ningun pais que tenga una revista en el primer o en el segundo cuartil. Ni en Hispanoamérica ni en Latinoamérica. El año pasado había una revista Q2 en Colombia.
• Seis paises tienen alguna revista Q2 en Hispanoamérica, 7 en Latinoamérica.
• Siete paises tienen alguna revista en algún cuartil en Hispanoamérica, 8 en Latinoamérica.
• Hay una revista suspendida en Cuba.
• Paises como Argentina, Perú, Ecuador, Paraguay no tienen ninguna revista científica en Educación en Scopus-Elsevier / SCImago.
• En toda Centroamérica y el Caribe sólo Costa Rica y Cuba tienen revistas: Una en Q3 en cada pais. Y una suspendida en Cuba.

Estas son las revistas cientificas de Educación que hay en Latinoamérica por países y cuartiles:

Pero no es sólo en Educación. SJR 2023 Revistas científicas en Computación, por paises y cuartiles en Hispanoamérica nos da estos resultados sobre el número de revistas cientificas por paises y cuartiles:

Durante estos años, los 24 que me he dedicado a tareas de edición, he estado en muchos paises y universidades, desde la de Colima, la primera que recuerdo, hasta recientemente en Perú, en la Universidad Nacional de San Agustin de Arequipa. En todos los casos planteé el drama de la Edición Científica en Latinoamérica. Ofrecí iniciativas para la formación trasversal de investigadores en edición científica. Algunos lo interpretaron como trucos para conseguir citas. Lo que hoy llamamnos "nefarious numbers". No era eso. Hoy ya ven los resultados de este tipo de ideas.

lObtenido de https://www.scimagojr.com/countryrank.php

Al final la ciencia que no se difunde no existe. Paraguay es un país amado. Al igual que a la UNSA, ofrecí a la Universidad Nacional de Asunción, universidad que me ha ayudado con Caradoc, una formación trasversal en Edición Científica para investigadores como editores y autores. No pudo ser tampoco.

Se da como excusa que publicar en español está penado, no es eficiente. Pero no es así SÍ SE PUEDE. Vean el caso de RED en Educación y en Computación en el contexto global. RED está en las primeras posiciones de España en sus especialidades, pero en un mar de publicaciones científicas en inglés, incluso de paises con importantes lenguas nativas, destaca RED revista en español:

Hoja de cálculo de SJR 2023 Educación

También en Computación, entre publicaciones científicas en inglés, incluso de paises con importantes lenguas nativas (italiano, alemán, japonés) destaca RED revista en español:

Hoja de cálculo de SJR 2023 Computer Science

Autores saudíes, sí... pero ¿y journals saudíes? ¿existen? ¿son lo mismo? ¿o es peor?

Ha salido Scimago Journal Rank (SJR) de 2023. En él no parece International Journal of Educational Technology in Higher Education (ETHE) como revista española, pero sí Comunicar. Preguntado por esta cuentión, el CEO de SCImago Félix de Moya ha respondido "The reason is that Elsevier has not yet changed the metadata of some journals whose changes have recently occurred".

Comunicar era hasta ahora una prestigiosa revista de Educación y medios, número uno en numerosos rankings. Se publicaba por la asociación del mismo nombre, y la editorial era FECYT. Ahora ha cambiado de entidad editora. Aparecen dos, el Tecnologico de Monterrey (Mx) y Oxbridge Publishing House (OPH). Ésta última se define como "una editorial internacional independiente líder de revistas académicas y profesionales, dedicada a promover y difundir investigaciones de alta calidad en una amplia gama de disciplinas. Con un alcance global y una reputación de excelencia, estamos comprometidos a brindar a nuestros autores y lectores los más altos estándares de servicio y soporte."

Sin embargo cuando entramos en los datos que ofrece el gobierno del Reino Unido obtenemos un sólo nombre el de Muhammad HASEEB, de nacionalidad pakistaní, con un capital social de 1 libra:

    

El 18 de abril aparece en el diario El País el artículo Arabia Saudí paga a científicos españoles para hacer trampas en el ‘ranking’ de las mejores universidades del mundo, firmado por el periodista Manuel Ansede

Ceremonia de entrega de premios a estudiantes de la Universidad Rey Saúd, en Riad (Arabia Saudí), en noviembre de 2021. AEC a través de El País como ilustración del artículo citado.

Este articulo fue precedido por otro sobre le quimico  Rafael Luque, expulsado de la Universidad de Córdoba, que fue el ARTÍCULO MÁS LEIDO EN EL PAÍS EN 2023, lo que Ansede publica en X:

Dias después, el periodista explica en un podcast cómo lo hizo.

Ese tema fue tratado tambiém por MICHELE CATANZARO en Chemistry World de la Royal Society of Chemistry. Nada que ver con los artículos que publicó Ansede en El País que ya hemos visto. Sobre este tema de la multifiliación también intervino Félix de Moya. Dice que "el Ranking de Instituciones Scimago es el único ranking que penaliza a aquellas instituciones académicas cuyos investigadores son multifiliales".

Por el contrario, Clarivate-WoS y el JCR, de forma espectacular han expulsado a IJERPH MDPI y otras macrorrevistas, NO HAN REVISAN SI SUS REVISTAS CUMPLEN LA FILIACIÓN ÚNICA. Eso es algo que establecen los propios autores y editores de las revistas independientes o diamante. Y esa es la rendija por donde se han colado los hipercitados saudíes.

Curiosamente, ANECA CASTIGA EN LOS BAREMO DE SEXENIOS Y PARA LAS ACREDITACIONES EN MATEMÁTICAS Y CIENCIAS DURAS A LOS QUE TENGAN PUBLICACIONES EN SJR Scopus, y premia a los que las tengan en la WoS y el JCR clásico, entre otras en Ingenierías, Computación, etc.:

Pero hay muchas cuestiones interesantes además de las espectaculares que Ansede y El País exhiben. Son, por ejemplo, la responsabilidad in vigilando y el contexto en que se produce el fraude de Rafael Luque y de otros "saudíes", me refiero a la edición hibrida, los números nefastos o la edición depredadora ,como otros le llaman incluyendo todos los conceptos. Que ese y no otro es el problema.

Y en todo caso, la cuestiones que uno se pregunta a partir de estos artículos son:

a) ¿Las prácticas de Luque, y de los autores hipercitados saudíes, son malas porque las pone al servicio de la universidad saudí en vez de al de la Universidad de Córdoba? ¿O ya lo eran antes cuando esos resultados eran tan buenos para la UCO y nadie se preocupó? Igual se podría decir de la industria de perfiles de alta citación del profesor cartagenero y de los de los investigadores de las universidades y centros de investigación catalanes.

b) ¿Es que todos estos hechos aparecieron de un día para otro? ¿Antes no se producían investigaciones y estudios de alta citación en horas? ¿Nadie se preocupó por esta dinámica? ¿Nadie investigó en las universidades, en ANECA, en los ministerios, cómo era posible esto y de las consecuencias que tendría para la ciencia, para la investigación y para las universidades?

c) ¿El problema era como producían los artículos o que vendieran esa producción y el posicionamiento conseguido con ella a otras universidades?

d) ¿Por qué no se detecto? Nadie se plantea la eficiencia del sistema de ciencia español donde, sí, se pide dinero para la investigación, pero nadie se asegura de su eficiencia. Al contrario ese dinero se dedica a crear un ejercito de asesores y de coordinadores que se dedican a otras cosas, mientras las revistas, los editores, los revisores,... hacen el trabajo de velar por las filiaciones etc. de forma voluntaria. Como en RED.

Esto, el caracter amarillista de unas noticias que sustraian el tema de fondo, fue debatido en X  y en unos mensajes entre Ansede y un servidor que después fueron borrados.

Pero eso ya pasó. Ahora este otro tema, el de las revistas científicas vendidas, es el vigente. Y ante él, ahora, cabe plantearse si hay puntos comunes con el de los autores saudíes, o más propiamente tienen un mismo tema de fondo: Unos autores entonces y unas revistas ahora, que son financiados y soportados por universidades, fundaciones y centros de investigación públicos, son transferiadas a editoriales privadas o no, y a universidades en otros paises. En esos casos como se ha visto ahora con el informe SJR, las citaciones, impactos y en general los indices se atribuyen a las nuevas filiaciones y editoriales en los paises donde están ubicadas. En el caso de ETHE pasa de ser la UOC, o recientemente la universidad Pedagógica de Bogotá, a Springer Science+Business Media. Y en el caso de Comunicar pasa de FECYT al Tecnologico de Monterrey (Mx) y a Oxbridge Publishing House (OPH).

En mi humilde opinión, esto tiene repercusiones muy superiores a lo que El País

denunció, y hemos visto, como el escándalo de los profesores "saudíes".

1. Estás revistas dejan de tener el sello FECYT, y no se ha dicho nada.

2. Todas las citas y el impacto desaparece de esas universidades editoras e igualmente no sé imputa a España, como en el caso de los autores, saudíes pero a lo bestia.

3. Todo el apoyo recibido en infraestructura, mantenimiento, servidores, programas,... se pierde.

Y sobre todo no se sabe, al menos no se ha hecho público, qué sucederá con los repositorios que se consideran una práctica obligada por las universidades públicas, como sucede con DIGITUM de la Universidad de Murcia, y con los DOI de los artículos que apuntaban a las versiones originales de los artículos.

Una vez más es Félix de Moya quien aparece como interlocutor "socrático" y formula unas inquietudes sobre el tema en un mensaje que me ha permitido publicar y con el que me me da la opción a explicar un tema que al parecer no ha quedado claro, ciál es la repercusión en las métricas de imputar artículos a un país y no a otro. Éste es el mensaje:

"Miguel, no sé si he entendido muy bien tu mensaje. No hay ninguna métrica que yo conozca que esté basada en los países de edición de las revistas. Nosotros hacemos pública esa información para poder relacionar producción por países con revistas del propio país. ¿Puedes decirme qué penalización métrica se produce porque la revista se publique en un país o en otro?"

Y la respuesta:

"Gracias por tu interés en lo que son unas humildes palabras.

Mi intención no era poner de relieve una penalización métrica.

La situación que existe entre revistas que han nacido y han crecido al amparo de una universidad o de un centro de investigación o, llevada la cuestión a un extremo, de un pais, que han utilizado los recursos de sus ciudadanos para su desarrollo, y luego se cambian a otra o a otro, es similar a la de los autores que cobran de una universidad y luego establecen su filiación con otra, saudí o no. Eso ha llevado a SCImago a ser muy cuidadosa con las filiaciones y a establecer una como principal.

Lo único que he pretendido es, en el caso de alguna red de revistas, poner de relieve la contradicción, de una de ellas que ha sido comprada por una editorial extranjera, de desear que siga perteneciendo a esa red, donde una condición para pertenecer a ella era tener el sello Fecyt, sello que sólo se concede a revistas de nuestrao país

Por lo que rerspecta a las métricas también existe una situación de "doble moral" con los paises. Por un lado existe el ranking de paises en SJR, donde se computan citas y otros valores de otras variables atribuidas a los autores de ese país para obtener sus indicadores y su clasificación. Sea de donde sea la publicación donde los autores publican sus artículos .

Pero hay otra visión del problema con unos datos distintos, que SJR no tiene en cuenta pero yo sí, por las razones que después diré. Son los datos que se derivan de las publicaciones editadas por insituciones del pais. Valores que muchas veces son muy diferentes de los anteriores y con diferencias muy significativas.

De esta forma podríamos tomar los casos de Argentina, Perú, Ecuador y otros en Educación. Cualquier índice basado en ese criterio es cero, porque no hay una sola revista en esos paises. No sucede así con los indices basados en los autores, porque la distribución del talento individual es más o menos parecido en todos los paises, lo que cambian son los medios y la organización. Para editar revistas también. Los buenos autores de Argentina publican en revistas fuera de su pais.

Las conclusiones que se pueden obtener de ese hecho son muy diversas. No es cuestión debatirlas aquí.

Hasta el año pasado estuve impariendo un diplomado, para la fornación en habilidades editoriales en Mar de Cortés destinado a Latinoamérica, movido por esta, para mi, evidencia de la precaria situación en esos paises que manifestaba ese hecho. Por eso me preocupé por estos datos y por el problema subyacente.

Una iniciativa buena sería que SCImago estableciese una métrica basada en la producción editorial de los paises.

La justificación sería la que he expuesto y por otra razón. La obtención de los índices de calidad universitaria de THE y de QS se basan mayoritariamente en la producción de los autores de las universidades y centros, pero de forma secundaria, y no por ello despreciable, en la edición. Por tanto cabría tener en cuenta ese índice." A partir de este mensaje Félix de Moya sugiere un método y una herramienta ya existente en , que no da la respuesta exacta a la pregunta, porque no admite como campo de aplicación las revistas de las subcategorias de SJR, pero sí al menos tiene potencia para examinar la covariación entre datos de producción de artículos por paises y de publicaciones editadas también por paises. Veamos su respuesta:

La herramienta es Country Graphs aplicada en este caso a todas las regiones, todos los temas, en 2023 y en la modalidad scatter plot (gráfico de dispersión):

Lo primero que hay que decir es que la gráfica es logarítmica, lo cual hace que el fenómeno sea más visible: aparecen, comparables en un espacio abarcable, todos los datos, pero es irreal. UK y EE UU a escala normal saldrían mucho más lejos arriba a la derecha. También aparecen los países sin publicaciones.

En las abcisas aparece el número de artículos (scientific output) y en las ordenadas las publicaciones indexadas en el país.

Lo primero que se ve es que existe una cierta correlación, pero no están correlacionadas.

Hay numerosos paises que se separan de la bisectriz del primer cuadrante. Un caso claro es el Paises Bajos. un país pequeño, en relación con China o India, grandes pero con menos publicaciones. Como vremeos después el caso extremo es en Educación (no puede verse con esta herramienta) en comparación con Países Bajos. La potencia de la herramienta en relación con lo que decíamos, es que en forma de tabla, sí nos da los paises ordenados por el número de publicaciones. En este caso:

Destaca Paises Bajos, con practicamente los mismos artículos que Arabia (recordad los "autores saudíes") y menos que Brasil o que Turquía, tiene muchísimas más publicaciones.

Pero la correlación ya se rompe definitivamente si utilizamos no una escala logarítmica, sino normal, en Computación. Si observamos sólo Paises Bajos, UK, India y China, la correlación es negativa y próxima a -1. Para concluir, quiero hacer constar el dato significativo de que a las pocas horas SCImago Lab repostea en X un post de SJR señalando que

En la correlación de países entre el índice número de publicaciones (publications) y producción científica (artículos), según la afiliación de los autores, los datos georreferenciados revelan una fuerte tendencia: los países con más revistas indexadas tienden a tener una mayor producción científica.

Con un par.

Analizando y fijando posiciones respecto de tendencias actuales en métricas, indicadores y plataformas de calidad de la edición científica.

 

Hace más de quince años la edición abierta, el “open Access”, era una referencia y así lo constatamos y lo suscribimos en RED (Friend, 2005) (Zapata-Ros, 2008 y 2011)

Hoy día es una expresión vacía de contenido, en el sentido de que por sí sola no garantiza los principios enunciados en esos trabajos, ni otros surgidos posteriormente, que se han manifestado igualmente necesarios (necesidad de garantizar el autoarchivo, reducir el autoembargo, etc).

La evolución de los hechos ha desembocado pues en una situación, la actual, en la que ese criterio y esa identificación no aporta nada en los anhelos entonces sentidos porque:

a)    Ante la presión de los países y de las administraciones que gestionan la investigación y las universidades, las grandes corporaciones han accedido en muchos casos a convertir sus publicaciones al acceso abierto pero estableciendo la modalidad de financiación de los artículos exclusivamente mediante las  APCs: Article Processing Charges. Ahora no pagan los usuarios de los artículos, pagan los autores. Antes, algunos pagaban también pero ahora las APC se han multiplicado por cinco y hasta por diez para garantizar el acceso abierto.

b)    Bajo el denominador de acceso abierto hay revistas depredadoras (las APC son el negocio)

c)     Amparadas por ese calificativo también se han colado revistas de muy baja calidad que, sin control y con estándares ficticios, trabajan temas considerados acientíficos o paracientíficos, como son en el campo de Ciencias Sociales - Educación, algunos  mitos educativos, entre los que están, por ejemplo, “inteligencias múltiples”, conectivismo, “estilos de aprendizaje”, “nativos digitales”, visiones educativas socioculturales, …  Actualmente son una plaga los “self report studies” (encuestas que consideran como un indicador de calidad en el aprendizaje la satisfacción o la percepción de los alumnos, muchas veces en contradicción con lo que dicen las teorías y los principios del aprendizaje). Para tener idea del volumen de estos fenómenos se pueden ver los trabajos de Martín-Martín, A., Thelwall, M., Orduna-Malea, E., & López-Cózar, E. D. (2021), que analizan la consistencia entre diversa fuentes (comparar en esa herramienta, en el caso de Ciencias Sociales por ejemplo, artículos y citas de Google Scholar dentro y fuera de Scopus o de WoS).

d)    Si la edición de “open Access” no garantiza la calidad tampoco es cierto lo contrario: La edición de pago no siempre garantiza la pureza de los procesos de edición y de investigación por sí misma. Son frecuentes los casos de artículos que han sido retractados en prestigiosas revistas. Eso está oficialmente demostrado, pero existe la sospecha fundada de poca ortodoxia en los procesos editoriales. Las revistas MDPI, que, si bien formalmente no son de pago, por ser open Access, nosotros la consideramos como tales por las altas APCs que imponen, tiene aspectos que despiertan cuando menos la curiosidad. Así por ejemplo, en materias donde las revisiones tarda meses, en otras revistas, ellos las hacen en días. Siendo eso imposible en algunas materias y modalidades de trabajo.

e)    Por otra parte, si la edición en Open Access no va acompañada de otras modalidades de edición, como la edición verde u oro (Zapata-Ros, 2017), que garantiza la publicación en abierto y en autoarchivo de los artículos y de los preprints (incompatible por otro lado con las APCs porque las editoriales no lo consienten) no tiene garantizada la eficacia que se le atribuye en la creación y mantenimiento de entornos abiertos y de ecosistemas de investigación (Zapata-Ros, 2011)

Por tanto, la cuestión Open Access sí u Open Access no, no es factor determinante de la calidad ni de la excelencia en la difusión científica ni de la producción, si es eso lo que se pretende.

La cuestión ahora ya no es el Open Access, es la calidad por sí misma. Cómo se evalúa. En este sentido, este año y el pasado, se han dado grandes pasos al cambiar los indicadores de las grandes plataformas de calidad, SCImago, Scopus-Elsevier y Clarivate en el plano global, y del ranking FECYT en la escala nacional.

 

A) CiteScore, el índice de Scopus-Elsevier

Es el índice más transparente: Ofrece las citas por artículo los últimos tres años, pero al operar sobre revistas que de entrada cumple los estándares de calidad de Scopus, es homogéneo. No sucede como en Google Scholr y en parte en WoS con el nuevo índice.

Supone una gran revolución y una respuesta a las críticas que tenían tanto SJR como IF de JCR, sobre su carácter opaco y la ponderación que utilizan sus algoritmos.

En mi opinión es el índice más fiable respecto a la excelencia. A pesar de ser reciente, está siendo adoptado por todos los sistemas de calidad y, hasta ahora, no ha recibido grandes críticas

 

B) SJR, el índice de SCImago sobre datos de Scopus.

SJR e una empresa independiente de Scopus y de Elsevier. Dato que se esfuerzan en señalar estas agencias como tuve ocasión de experimentar como respuesta a un post crítico al respecto que después tuve que cambiar quitando las alusiones a Scopus y a Elsevier. Este especial interés se debe en gran parte a las críticas que ha sufrido este índice con respecto a la ponderación que utiliza y a su poco rigor matemático (Zapata-Ros, 2021).

Sin embargo, el principio que utiliza es bueno. No todas las citas son iguales, tampoco las publicaciones citantes. Utiliza un coeficiente de citas ponderadas por artículo, similar a el que, en otro sentido, utiliza, con carácter general para las búsquedas, PageRank de Google.

 

C) Journal Citation Indicator (JCI) de JCR, en Clarivate WoS

Supone la otra gran revolución de los indicadores, al sustituir como principal índice de JCR al, hasta ahora, su índice exclusivo, el IF (Impact Factor) de JCR. Con él se homogeneiza todo lo que había en los distintos núcleos de WoC relativizando la supuesta excelencia y el elitismo provocado por los índices tradicionales, que otorgaba un plus de marca a las revistas de tal forma que los sistemas de evaluación nacionales se guiaban exclusivamente por esa marca.

Después de varios años de existencia del Emerging Sources Citation Index (ESCI) y de Arts & Humanities Citation Index (AHCI), desde 2015 en el primer caso, en Clarivate entendieron que ESCI, y su contenido de revistas confiables, seleccionadas por WoS, merecen una cobertura completa en el JCR. Aceptan en Clarivate (WoS) que las revistas cubiertas en AHCI y ESCI han cumplido con los mismos rigurosos criterios de calidad , aplicados por los expertos de WoS, para las publicaciones de Science Citation Index (SCI) y Social Sciences Citation Index (SSCI).

Por eso, AHCI y ESCI, y su contenido de revistas seleccionadas por WoS, merecen una cobertura completa en el JCR. Así, ahora, tanto las revistas AHCI como ESCI se integran en las nuevas ediciones del JCR, empezando este mismo año 2021. Es decir, en el caso que nos ocupa, todas las revistas indexadas en ESCI son desde ahora revistas JCR.

Sin embargo, hemos comprobado que después de esto han admitido nuevas revistas en el índice elitista y exclusivo Social Sciences Citation Index (SSCI).

En esta nueva situación se da la circunstancia de que revistas con un JCI superior a revistas de Social Sciences Citation Index (SSCI) permanecen fuera. Un ejemplo es el de RED:

Que teniendo JCI superior a otras tres revistas españolas de Educación permanece fuera de SSCI y no se le calcula el IF.

 

D) FECYT ranking, tras unos tambaleantes principios en los que incluso se cuestionó el carácter estadístico-matemático de la clasificación, actualmente tiene una metodología que permite restar el posible sesgo de otros indicadores, en algunos casos muy divergentes. Lo hace mediante una media ponderada.

Sólo hay que añadir que no se entiende la coexistencia de varios rankings españoles avalados por ANECA (como DIALNET y REDIB, totalmente respetables, pero construidos también con indicadores derivados, no originales) frente al oficial de la propia agencia, el de la FECYT.

 

Conclusiones.-

Aunque en el momento de la redacción de este post desconocemos la reacción de la agencia española ANECA[1], es de esperar que, ante los próximos procesos de adjudicación de sexenios y acreditación a comienzos del nuevo año, se pronuncie a través de las convocatorias si toma como referencias los nuevos índices o los antiguos. Ello teniendo en cuenta las situaciones a las que se puede enfrentar, como por ejemplo que revistas que antes no estaban en la lista de IF-JCR, ahora, con el  nuevo índice JCI de JCR están por delante de algunas que anteriormente estaban incluidas en el IF (Science Citation Index, SCI, y Social Sciences Citation Index ,SSCI).

 

Por último, hay de decir que, como hemos mantenido estos años, una política de estandarización y de generalización de los índices, en un marco global e interdisciplinar,  de publicaciones de distintas disciplinas interconectadas y cuyo impacto fuese medido con criterios de estandarización, era necesario, como se ha puesto de relieve en las contingencias de la pandemia. También acotar las publicaciones de excelencia. No sólo porque eso favorecería a revistas de excelencia que ahora pasan desapercibidas, situándolas en un contexto global sin criterios de exclusividad distintos a los propios de la calidad, sino porque al ponderar las citas con criterios científicos se deslinda lo que es ciencia de lo que no lo es, estableciendo criterios de excelencia y no sólo de número. Y que esos criterios sean iguales para todas las publicaciones. Insistimos que eso se pone de relieve en el trabajo de López Cózar et al (Martín-Martin et al, 2020) y en la herramienta desarrollada por ellos. 

Referencias

Friend, F. J. (2005). El apoyo de las agencias de financiación de la investigación al acceso abierto. RED. Revista de Educación a Distancia, 13, 1-8. https://www.um.es/ead/red/13/melero.pdf

Martín-Martín, A., Thelwall, M., Orduna-Malea, E., & López-Cózar, E. D. (2021). Google Scholar, Microsoft Academic, Scopus, Dimensions, Web of Science, and OpenCitations’ COCI: a multidisciplinary comparison of coverage via citations. Scientometrics, 126(1), 871-906. https://link.springer.com/article/10.1007/s11192-020-03690-4

Zapata-Ros, M. (2008). La edición científica digital de acceso abierto: Un factor básico en la ayuda a la investigación. Revista de Educación a Distancia (RED), (19). https://revistas.um.es/red/article/view/23891

Zapata-Ros, M. (2011). La investigación y la edición científica en la web social: La ciencia compartida. Revista de Educación a Distancia (RED), (3DU). https://digitum.um.es/digitum/bitstream/10201/98681/1/254001-Texto%20del%20art%C3%ADculo-881961-1-10-20160318.pdf

Zapata-Ros, M. (2017) Citación, calidad e innovación en edición científica.  http://redesabiertas.blogspot.com/2017/06/citacion-calidad-e-innovacion-en.html

Zapata-Ros, M. (2021). ¿Es tan poderosa SCImago que puede cambiar los convenios matemáticos? https://notasalmargen18.blogspot.com/2021/05/los-cuartiles-estadisticos-y-los.html

---

[1] Después hemos conocido la explicación de intenciones ofrecida por la ANECa y los documentos de principios y directrices: "Conversaciones con ANECA: principios y directrices generales para la actualización de los criterios de evaluación de la investigación - Aneca" http://www.aneca.es/Sala-de-prensa/Noticias/2021/Conversaciones-con-ANECA-principios-y-directrices-generales-para-la-actualizacion-de-los-criterios-de-evaluacion-de-la-investigacion

Esperamos a realizar una tranquila y serena lectura para ver si se han tenido en cuenta estas ideas y en qué medida se ha hecho, y comentarlo en una entrada posterior. Aunque se observa igualmente la tendencia casi obsesiva en plantear la cuestión en términos de open access / acceso por compra o suscripción.
No obstante, en función de las insistentes críticas que hemos hecho hasta ahora en esa dirección, consideramos una aportación positiva la sustitución del indicador SJR de SCImago (no de Scopus como se dice) por el indicador CiteScore de ScopusElsevier.