En los últimos procesos de valoración de
méritos docentes e investigadores organizados por la ANECA se han utilizado
para la baremación listas de las publicaciones científicas, que gozan del
certificado de la FECYT, ordenadas con un número de posición cuya génesis
desconocemos, a las que se ha asignado una inclusión en intervalos
intercuartílicos (los clásicos Q1, Q2, Q3 y Q4).
Más abajo reproducimos las listas de las
revistas, rankeadas así, por áreas.
La información se ha hecho pública en el
post El Ranking
Secreto de Revistas FECYT que utiliza ANECA de Rafael Repiso y en los perfiles de
Twitter de este investigador y en el de Isidro Aguilló, coordinador del Ranking Web of World Universities.
Pero antes convendría realizar algunas
precisiones que no por obvias son menos necesarias, en función de lo que hemos
visto y oído decir.
En los procesos de valoración que hacen
las agencias de los ranking, la asignación de los Q1, Q2, Q3 y Q4 (vulgarmente
conocidos como cuartiles) a las revistas NO SON FRUTO DE UNA DECISIÓN
ARBITRARIA, NI SURGEN COMO ASIGNACIÓN DE UNA MARCA O DE UN PREMIO EN FUNCIÓN DE
UNOS CRITERIOS ESTABLECIDOS POR UNA INSTANCIA OFICIAL, UNA AGENCIA O UN
TRIBUNAL DE MÉRITOS. Es algo que se obtiene, de una forma predeterminada mediante un procedimiento
universalmente conocido y aceptado, a partir de la distribución de una variable
obtenida por un procedimiento empírico de recuento de datos, manual o mecanizado.
Estadísticamente, los cuartiles SON MEDIDAS DE TENDENCIAS DE AGRUPAMIENTO DE DATOS
EN UNA DISTRIBUCIÓN DE FRECUENCIAS de una variable estadística. Como lo son los deciles, centiles ---o percentiles--- quintiles, sextiles,... y también la mediana, que se llama así pero que es de la misma naturaleza que los demás, aunque, como la población en este caso se divide en dos, se considere una medida de tendencia central.
Bibliométricamente, los índices de citación
o de impacto y otros, que se atribuyen a las revistas, constituyen una variable
estadística de este tipo, pero donde la frecuencia absoluta de cada valor de la
variable, revista, es 1.
El procedimiento para obtener los
cuartiles y los intervalos intercuartílicos es muy simple: Se ordenan las
revistas de mayor a menor índice, o por la valoración asignada en función de
varios índices y criterios.
Siendo n el número de revistas (tamaño de
la población) se toman n/4, 2n/4, y 3n/4
como valores que definen los límites de los intervalos intercuartílicos (Al no
ser una variable númerica el cuartil no existe). Si n=17, esos valores son
4,25 8,5 y 12,75 . La revista número 4
es Q1 y la 5 es Q2, la número 8 es Q2 y la 9 es Q3, y así sucesivamente.
Como observación adicional, sin interés específico
para este caso, si la variable fuese numérica el valor del cuartil sería el
valor de la variable cuya frecuencia acumulada (distribución) fuese
respectivamente n/4, 2n/4 y 3n/4, con lo cual el valor de la función de
distribución no tendría más de dos decimales pero no así sucede con los
cuartiles, valores de la variable correspondientes a esos valores de la
función, sino que podría se cualquier número real, bien directamente estimado o
bien por interpolación de los dos datos directamente estimados más próximos a él
por arriba y por debajo.
Todo esto puede obtenerse o ampliarse de
forma más precisa y rigurosa en los siguientes enlaces:
De Blibliometría
De Estadística
En las listas que hemos obtenido, cedidas
por miembros de comisiones de evaluación, donde las revistas vienen con la
posición y el Q asignado, se ha hecho el recuento y la siguiente distribución
por cuartiles:
Q1
|
Q2
|
Q3
|
Q4
|
TOTAL
(n)
|
n/4
|
|
Sociales
|
26
|
27
|
27
|
26
|
106
|
26,5
|
Juridicas
|
4
|
5
|
3
|
5
|
17
|
4,25
|
CC
Vida
|
5
|
6
|
5
|
6
|
22
|
5,5
|
CC
Puras e Ing
|
7
|
7
|
7
|
8
|
29
|
7,25
|
Humanidades
|
30
|
31
|
30
|
31
|
122
|
30,5
|
TOTAL
|
296
|
En las tablas que compartimos vemos que
todo se ajusta, excepto Ciencias Jurídicas, donde se asigna Q2 hay cinco revistas y Q3 a 3. La marca está en 8,5. Luego la revista de la posición 9 debería
estar en el intervalo Q3 y está en el Q2.
En general compartimos lo que se dice en
el post de Remiso acerca de cuáles deben ser las características de un proceso como éste y de que no se cumplen en este caso. Coincimos además en la gravedad del asunto.
Siempre hemos defendido la necesidad de un ranking de
excelencia español sobre la base de las
revistas con sello FECYT y con un indicador mezcla de H y de otros. Pero de
forma convergente, siguiendo la teoría de Martin (1996).
Y por supuesto con separación por áreas y
dominios HOMOGÉNEOS (como son las categorías y subcategorías de GSM en inglés), porque cada área
tiene una escala propia. Y no como sucede en GSM en español y en Dialnet donde
hay revistas de dos disciplinas que están rankeadas en dos áreas, sumando en cada
una de las listas las citas de la otra. Algo que Repiso ha visto y ve bien en
otras ocasiones y en este caso no.
En resumen, creo que una lista de ese tipo,
como lo es la constituida por las revistas de FECYT con ese indicador
convergente, debiera existir con un proceso de elaboración que reuniese todas
las garantías de rigor científico y de publicidad.
Estas son las listas utilizadas en las
comisiones de valoración:
1
Ciencias Sociales
2
Ciencias Jurídicas
3
Ciencias puras e ingenierías
4
Ciencias de la vida
5 Humanidades
Referencias
Martin,
B. R., & Irvine, J. (1983). Assessing basic research: some partial
indicators of scientific progress in radio astronomy. Research policy, 12(2),
61-90. Assessing basic research: some partial indicators of scientific progress
in radio astronomy. Research policy, 12(2), 61-90.
Martin,
B. (1996). The use of multiple indicators in the assessment of basic research.
Martín-Martín,
A., Orduna-Malea, E., Thelwall, M., & López-Cózar, E. D. (2018). Google
Scholar, Web of Science, and Scopus: A systematic comparison of citations in
252 subject categories. Journal of Informetrics, 12(4),
1160-1177. Journal of Informetrics, vol. 12, no. 4, pp. 1160-1177, 2018.
https://doi.org/10.1016/J.JOI.2018.09.002.
https://osf.io/preprints/socarxiv/42nkm/ ,
https://arxiv.org/ftp/arxiv/papers/1808/1808.05053.pdf
