Analizando y fijando posiciones respecto de tendencias actuales en métricas, indicadores y plataformas de calidad de la edición científica.

 

Hace más de quince años la edición abierta, el “open Access”, era una referencia y así lo constatamos y lo suscribimos en RED (Friend, 2005) (Zapata-Ros, 2008 y 2011)

Hoy día es una expresión vacía de contenido, en el sentido de que por sí sola no garantiza los principios enunciados en esos trabajos, ni otros surgidos posteriormente, que se han manifestado igualmente necesarios (necesidad de garantizar el autoarchivo, reducir el autoembargo, etc).

La evolución de los hechos ha desembocado pues en una situación, la actual, en la que ese criterio y esa identificación no aporta nada en los anhelos entonces sentidos porque:

a)    Ante la presión de los países y de las administraciones que gestionan la investigación y las universidades, las grandes corporaciones han accedido en muchos casos a convertir sus publicaciones al acceso abierto pero estableciendo la modalidad de financiación de los artículos exclusivamente mediante las  APCs: Article Processing Charges. Ahora no pagan los usuarios de los artículos, pagan los autores. Antes, algunos pagaban también pero ahora las APC se han multiplicado por cinco y hasta por diez para garantizar el acceso abierto.

b)    Bajo el denominador de acceso abierto hay revistas depredadoras (las APC son el negocio)

c)     Amparadas por ese calificativo también se han colado revistas de muy baja calidad que, sin control y con estándares ficticios, trabajan temas considerados acientíficos o paracientíficos, como son en el campo de Ciencias Sociales - Educación, algunos  mitos educativos, entre los que están, por ejemplo, “inteligencias múltiples”, conectivismo, “estilos de aprendizaje”, “nativos digitales”, visiones educativas socioculturales, …  Actualmente son una plaga los “self report studies” (encuestas que consideran como un indicador de calidad en el aprendizaje la satisfacción o la percepción de los alumnos, muchas veces en contradicción con lo que dicen las teorías y los principios del aprendizaje). Para tener idea del volumen de estos fenómenos se pueden ver los trabajos de Martín-Martín, A., Thelwall, M., Orduna-Malea, E., & López-Cózar, E. D. (2021), que analizan la consistencia entre diversa fuentes (comparar en esa herramienta, en el caso de Ciencias Sociales por ejemplo, artículos y citas de Google Scholar dentro y fuera de Scopus o de WoS).

d)    Si la edición de “open Access” no garantiza la calidad tampoco es cierto lo contrario: La edición de pago no siempre garantiza la pureza de los procesos de edición y de investigación por sí misma. Son frecuentes los casos de artículos que han sido retractados en prestigiosas revistas. Eso está oficialmente demostrado, pero existe la sospecha fundada de poca ortodoxia en los procesos editoriales. Las revistas MDPI, que, si bien formalmente no son de pago, por ser open Access, nosotros la consideramos como tales por las altas APCs que imponen, tiene aspectos que despiertan cuando menos la curiosidad. Así por ejemplo, en materias donde las revisiones tarda meses, en otras revistas, ellos las hacen en días. Siendo eso imposible en algunas materias y modalidades de trabajo.

e)    Por otra parte, si la edición en Open Access no va acompañada de otras modalidades de edición, como la edición verde u oro (Zapata-Ros, 2017), que garantiza la publicación en abierto y en autoarchivo de los artículos y de los preprints (incompatible por otro lado con las APCs porque las editoriales no lo consienten) no tiene garantizada la eficacia que se le atribuye en la creación y mantenimiento de entornos abiertos y de ecosistemas de investigación (Zapata-Ros, 2011)

Por tanto, la cuestión Open Access sí u Open Access no, no es factor determinante de la calidad ni de la excelencia en la difusión científica ni de la producción, si es eso lo que se pretende.

La cuestión ahora ya no es el Open Access, es la calidad por sí misma. Cómo se evalúa. En este sentido, este año y el pasado, se han dado grandes pasos al cambiar los indicadores de las grandes plataformas de calidad, SCImago, Scopus-Elsevier y Clarivate en el plano global, y del ranking FECYT en la escala nacional.

 

A) CiteScore, el índice de Scopus-Elsevier

Es el índice más transparente: Ofrece las citas por artículo los últimos tres años, pero al operar sobre revistas que de entrada cumple los estándares de calidad de Scopus, es homogéneo. No sucede como en Google Scholr y en parte en WoS con el nuevo índice.

Supone una gran revolución y una respuesta a las críticas que tenían tanto SJR como IF de JCR, sobre su carácter opaco y la ponderación que utilizan sus algoritmos.

En mi opinión es el índice más fiable respecto a la excelencia. A pesar de ser reciente, está siendo adoptado por todos los sistemas de calidad y, hasta ahora, no ha recibido grandes críticas

 

B) SJR, el índice de SCImago sobre datos de Scopus.

SJR e una empresa independiente de Scopus y de Elsevier. Dato que se esfuerzan en señalar estas agencias como tuve ocasión de experimentar como respuesta a un post crítico al respecto que después tuve que cambiar quitando las alusiones a Scopus y a Elsevier. Este especial interés se debe en gran parte a las críticas que ha sufrido este índice con respecto a la ponderación que utiliza y a su poco rigor matemático (Zapata-Ros, 2021).

Sin embargo, el principio que utiliza es bueno. No todas las citas son iguales, tampoco las publicaciones citantes. Utiliza un coeficiente de citas ponderadas por artículo, similar a el que, en otro sentido, utiliza, con carácter general para las búsquedas, PageRank de Google.

 

C) Journal Citation Indicator (JCI) de JCR, en Clarivate WoS

Supone la otra gran revolución de los indicadores, al sustituir como principal índice de JCR al, hasta ahora, su índice exclusivo, el IF (Impact Factor) de JCR. Con él se homogeneiza todo lo que había en los distintos núcleos de WoC relativizando la supuesta excelencia y el elitismo provocado por los índices tradicionales, que otorgaba un plus de marca a las revistas de tal forma que los sistemas de evaluación nacionales se guiaban exclusivamente por esa marca.

Después de varios años de existencia del Emerging Sources Citation Index (ESCI) y de Arts & Humanities Citation Index (AHCI), desde 2015 en el primer caso, en Clarivate entendieron que ESCI, y su contenido de revistas confiables, seleccionadas por WoS, merecen una cobertura completa en el JCR. Aceptan en Clarivate (WoS) que las revistas cubiertas en AHCI y ESCI han cumplido con los mismos rigurosos criterios de calidad , aplicados por los expertos de WoS, para las publicaciones de Science Citation Index (SCI) y Social Sciences Citation Index (SSCI).

Por eso, AHCI y ESCI, y su contenido de revistas seleccionadas por WoS, merecen una cobertura completa en el JCR. Así, ahora, tanto las revistas AHCI como ESCI se integran en las nuevas ediciones del JCR, empezando este mismo año 2021. Es decir, en el caso que nos ocupa, todas las revistas indexadas en ESCI son desde ahora revistas JCR.

Sin embargo, hemos comprobado que después de esto han admitido nuevas revistas en el índice elitista y exclusivo Social Sciences Citation Index (SSCI).

En esta nueva situación se da la circunstancia de que revistas con un JCI superior a revistas de Social Sciences Citation Index (SSCI) permanecen fuera. Un ejemplo es el de RED:

Que teniendo JCI superior a otras tres revistas españolas de Educación permanece fuera de SSCI y no se le calcula el IF.

 

D) FECYT ranking, tras unos tambaleantes principios en los que incluso se cuestionó el carácter estadístico-matemático de la clasificación, actualmente tiene una metodología que permite restar el posible sesgo de otros indicadores, en algunos casos muy divergentes. Lo hace mediante una media ponderada.

Sólo hay que añadir que no se entiende la coexistencia de varios rankings españoles avalados por ANECA (como DIALNET y REDIB, totalmente respetables, pero construidos también con indicadores derivados, no originales) frente al oficial de la propia agencia, el de la FECYT.

 

Conclusiones.-

Aunque en el momento de la redacción de este post desconocemos la reacción de la agencia española ANECA[1], es de esperar que, ante los próximos procesos de adjudicación de sexenios y acreditación a comienzos del nuevo año, se pronuncie a través de las convocatorias si toma como referencias los nuevos índices o los antiguos. Ello teniendo en cuenta las situaciones a las que se puede enfrentar, como por ejemplo que revistas que antes no estaban en la lista de IF-JCR, ahora, con el  nuevo índice JCI de JCR están por delante de algunas que anteriormente estaban incluidas en el IF (Science Citation Index, SCI, y Social Sciences Citation Index ,SSCI).

 

Por último, hay de decir que, como hemos mantenido estos años, una política de estandarización y de generalización de los índices, en un marco global e interdisciplinar,  de publicaciones de distintas disciplinas interconectadas y cuyo impacto fuese medido con criterios de estandarización, era necesario, como se ha puesto de relieve en las contingencias de la pandemia. También acotar las publicaciones de excelencia. No sólo porque eso favorecería a revistas de excelencia que ahora pasan desapercibidas, situándolas en un contexto global sin criterios de exclusividad distintos a los propios de la calidad, sino porque al ponderar las citas con criterios científicos se deslinda lo que es ciencia de lo que no lo es, estableciendo criterios de excelencia y no sólo de número. Y que esos criterios sean iguales para todas las publicaciones. Insistimos que eso se pone de relieve en el trabajo de López Cózar et al (Martín-Martin et al, 2020) y en la herramienta desarrollada por ellos. 

Referencias

Friend, F. J. (2005). El apoyo de las agencias de financiación de la investigación al acceso abierto. RED. Revista de Educación a Distancia, 13, 1-8. https://www.um.es/ead/red/13/melero.pdf

Martín-Martín, A., Thelwall, M., Orduna-Malea, E., & López-Cózar, E. D. (2021). Google Scholar, Microsoft Academic, Scopus, Dimensions, Web of Science, and OpenCitations’ COCI: a multidisciplinary comparison of coverage via citations. Scientometrics, 126(1), 871-906. https://link.springer.com/article/10.1007/s11192-020-03690-4

Zapata-Ros, M. (2008). La edición científica digital de acceso abierto: Un factor básico en la ayuda a la investigación. Revista de Educación a Distancia (RED), (19). https://revistas.um.es/red/article/view/23891

Zapata-Ros, M. (2011). La investigación y la edición científica en la web social: La ciencia compartida. Revista de Educación a Distancia (RED), (3DU). https://digitum.um.es/digitum/bitstream/10201/98681/1/254001-Texto%20del%20art%C3%ADculo-881961-1-10-20160318.pdf

Zapata-Ros, M. (2017) Citación, calidad e innovación en edición científica.  http://redesabiertas.blogspot.com/2017/06/citacion-calidad-e-innovacion-en.html

Zapata-Ros, M. (2021). ¿Es tan poderosa SCImago que puede cambiar los convenios matemáticos? https://notasalmargen18.blogspot.com/2021/05/los-cuartiles-estadisticos-y-los.html

---

[1] Después hemos conocido la explicación de intenciones ofrecida por la ANECa y los documentos de principios y directrices: "Conversaciones con ANECA: principios y directrices generales para la actualización de los criterios de evaluación de la investigación - Aneca" http://www.aneca.es/Sala-de-prensa/Noticias/2021/Conversaciones-con-ANECA-principios-y-directrices-generales-para-la-actualizacion-de-los-criterios-de-evaluacion-de-la-investigacion

Esperamos a realizar una tranquila y serena lectura para ver si se han tenido en cuenta estas ideas y en qué medida se ha hecho, y comentarlo en una entrada posterior. Aunque se observa igualmente la tendencia casi obsesiva en plantear la cuestión en términos de open access / acceso por compra o suscripción.
No obstante, en función de las insistentes críticas que hemos hecho hasta ahora en esa dirección, consideramos una aportación positiva la sustitución del indicador SJR de SCImago (no de Scopus como se dice) por el indicador CiteScore de ScopusElsevier.

Los cuartiles estadísticos y los cuartiles de SCImago Journal Rank (SJR)

¿Es tan poderosa SCImago que puede cambiar los convenios matemáticos?*

En Estadística Descriptiva y en Probabilidad hay dos tipos de medidas o de parámetros. Los llamados de centralización y los de dispersión. Los primeros nos indican en torno a qué valores de la variable estadística, o aleatoria, que estamos estudiando se concentra la distribución estadística o la de probabilidad, y los segundos cómo es la agrupación, si es más dispersa o mas concentrada.

Entre los primeros está la mediana y los cuantiles, aunque la mediana también es un cuantil. La mediana es el valor de la variable que deja igual masa probabilística, o igual cantidad de datos, a uno u otro lado: El 50%. Eso, diciéndolo de forma simplificada.

Los cuantiles, en vez de dejar a ambos lados la misma cantidad de datos, dejan entre ellos, entre cada dos consecutivos, fracciones que no son ½, sino ¼, y entonces se llaman cuartiles, 1/5, y entonces se llaman quintiles, un décimo, y entonces se llaman deciles… o un centésimo de la masa de datos y entonces se llaman centiles.

Los cuantiles fueron introducidos por primera vez por Kendall en 1940, matemático famoso también por su principal contribución a la estadística: el coeficiente de correlación tau de Kendall, que recibió ese nombre en su honor.

Pero centrémonos en los cuartiles.

Son valores de la variable que dejan entre ellos una cuarta parte de la masa estadística, de la masa de datos. 

Así, como se puede ver en la figura, entre Q1 y Q2 hay un 25% de datos, entre Q2 y Q3 hay también una cuarta parte de los datos. Igual procentaje hay por encima de Q3 y por debajo de Q1. A veces al extremo superior de la variable, si lo hay, se le llama Q4.

Fuente de la imagen : Wikipedia Commons.

A los intervalos de la variable (o al intervalo del eje de abcisas, en la gráfica) que hay entre dos cuartiles se les llama intervalos intercuartílicos. En una distribución es muy interesante saber en qué intervalo intercuartílico está un determinado valor de la variable. Así, no es tan interesante saber la nota que ha obtenido un alumno como el intervalo intercuartílico o interdecílico en que está. No todos los saberes ni todas las destrezas se distribuyen igual. Sacar un seis en una distribución centrada puede ser más importante que sacar un 9 en una distribución desplazada a la derecha. También sucede con los pesos y con las tallas de los recién nacidos, no es tan importante el valor como el intervalo intercentílico, o el centil, donde está.

A veces a los intervalos intercuartílicos o intercentílicos también se les llama cuartiles o centiles, por un abuso de lenguaje, y entonces de dice que una nota está en el tercer cuartil o la talla de un niño al nacer en el centil 95.

En resumen, para lo que nos interesa:

• Los cuartiles se numeran de menor a mayor subíndice, según vayan dejando por debajo más datos. Si el dato es positivo es mejor estar en Q4 que en Q1.

• La cantidad de datos que hay entre dos cuartiles, o en un intervalo intercuartílico o, como familiarmente se dice, en un cuartil es siempre la misma: Un 25%.

Pues bien, como después veremos, los cuartiles de SJR (SCImago Journal Rank) no cumplen ni una cosa ni la otra. Hasta donde sabemos los cuartiles de JCR tampoco cumplen la primera.

Curiosamente no sucede así con los centiles de CiteScore tampoco con los cuartiles de CiteScore, el índice de Scopus-Elsevier que no hay que confundir con SJR. En etas casos, como veremos después, sí cumplen la definición de centiles y de cuartiles estadísticos.

Pero antes de seguir, y para ver después esta última cuestión, concluyamos con los cuantiles estableciendo estas equivalencias (Q es cuartil y C es centil):

Q1 = C25

Q2 = C50 = Mediana

Q3 = C75

Q4 = C100 = valor máximo de la variable, si lo hay.

 

¿Qué pasa con los Q (cuartiles) de SJR?

En primer lugar, siguen en orden inverso a los cuartiles estadísticos.

El cuartil estadístico (o intervalo intercuartílico) más alto es Q4, y el más bajo Q1. Para SJR y también para JCR, y para todos los que los imitan, el valor más alto es Q1 y el más bajo Q4. Así las revistas siguientes están en los cuartiles de SJR y estadísticos que se citan ( Nos centramos en las revistas de Educación - Ciencias Sociales españolas, por ser más conocidas por los lectores habituales de este blog):

Revista	Cuartil SJR	Cuartil estadístico
Comunicar	Q1	Q4
Educación XX1	Q1	Q4
Pixel Bit	Q2	Q3
RED	Q3	Q2
Revista Española de Educación Comparada	Q4	Q1

En segundo lugar, no todos los intervalos intercuartílicos (cuartiles) tienen la misma cantidad de datos, el 25%.

Como ejemplo más palpable es el de la revista RED.

Se supone que cuartil se asigna por la posición de la revista en la lista de Educación.

Pues bien RED está en la posición 723 de 1543. Estadísticamente está en el centil 53 (53). Deja por debajo el 53% o más de las revistas. Y en el SEGUNDO CUARTIL ESTADÍSTICO de mayor a menor importancia, es decir en el Q3.

Sin embargo, SJR la coloca en Q3, es decir su tercer cuartil en importancia, como si tuviese por debajo menos del 50% de las revistas.

Eso sucede con una numerosa colección de publicaciones. desde la revista número 647, World Transactions on Engineering and Technology Education, hasta la 772, Teoría de la Educación, hay 126 revistas que deberían estar en el Q2 de SJR y están en Q3.

Alguien podría decir que el cuartil SJR lo asigna no por la especialidad, Educación, sino por el área. Pero entonces la cosa es peor.

RED está en la posición 2788 de entre las 7678 que hay en Ciencias sociales. Es decir en el centil 63, en el Q3 estadístico, y en el Q2 de SJR. Es decir está en una posición relativamente superior, con más razón debería estar en el Q2 de SJR.

Hasta aquí lo percibido en los resultados del reciente informe sobre SJR. El hecho tratado en primer lugar, el orden de los cuartiles, viene de antes, el segundo, el de los cuartiles de distinto tamaño, no lo sabría decir. Tampoco he encontrado una justificación de ello en la metodología que la agencia ofrece.

Lo curioso es que, hasta donde sé, ninguna autoridad matemática, algún académico, algún investigador o alguna institución como la Real Sociedad Matemática Española (RSME), que tiene estas cosas entre sus cometidos, tampoco haya alzado la voz para nada. tampoco han hecho una mención de carácter menor o irónico por ejemplo.

En el caso de los académicos e investigadores, editores, autores, etc. estaría más o menos justificado ante el temor de que sus publicaciones  revistas se vieran resentidas por la denuncia "nadie se atreve a decirle al rey (Elsevier) que no lleva camisa, aunque se vean sus impudicias desnudeces". Pero ¿quién le impide decirlo a la RSME por ejemplo? También a sus equivalentes internacionales. En este caso los españoles no somos diferentes.

* Imagen: Trinity College. Cambridge. Barrow y Newton.

Qué temas y qué modalidades de investigación son necesarias en la educación en tiempos de COVI.

¿Es imaginable un estudio de autosatisfacción en la práctica biomédica en contexto de pandemia? ¿Y en la práctica educativa?

El COVID-19 plantea una situación de urgencia para la investigación biomédica y para otras áreas asociadas. 

Las repercusiones de la pandemia son colosales, ya afectan de manera determinante a otras áreas de las actividades y del desarrollo humano económico, social y cultural, también afectan áreas de lo personal, como son la psicología social y de la conducta, el consumo o  la educación. 

El contexto de la instrucción ha cambiado bruscamente con la migración de la enseñanza y del aprendizaje, en unas condiciones forzosas y limitadas, al trabajo en línea. Este cambio se ha producido con una importante carga de incertidumbre y de improvisación por parte de autoridades y de profesionales. En esto no ha habido diferencia entre lo que ha ocurrido, en nuestro país, en ambas áreas: La sanitaria y la educativa.

Una acotación: No siempre, ni en los casos más importantes, es necesario que la parte más importante cognitivamente y la que conlleva más calidad en lo adquisición de los aprendizajes se tenga que llevar a cabo en línea, o enchufado, desde casa necesariamente. Esto es algo que conviene dejarlo claro siempre. Cuando se habla de educación en línea, se debería hablar de educación fuera de la escuela con ayuda de la tecnología en línea.

Este dramatismo del que hablamos y la urgente necesidad de respuesta, en el caso de las investigaciones biomédicas, atribuye un carácter transcendente a las indagaciones que se desarrollan sobre el terreno. También es vital el tiempo de respuesta. El tiempo que se emplee en ellas y el que tarden en arrojar resultados. De su ritmo y desarrollo, dependen vidas humanas que se podrían salvar, o no, depende reducir, o no, los plazos de obtención de fármacos contra el coronavirus, y su terrible acción. De la diligencia de esas investigaciones depende en definitiva la propia obtención de una vacuna. Ni que decir tiene que los sanitarios tienen que estar en las mejores condiciones, nada debe proporcionarles una fatiga adicional ni distraerles.

En el plan micro, la atención personal con consecuencia de dolor y muerte que se puede producir, o no, debido a la atención médica, también es una variable del tiempo, del que se dispone y de la tardanza en la atención.

Sin este carácter de urgencia, tan dramática por sus los efectos, pero no con menos relevancia a largo plazo, la UNESCO ha llamado la atención sobre otro aspecto igualmente relevante. Lo ha hecho en el terreno de la educación, y de los efectos que en ella va a tener la pandemia, no menos dramáticos, aunque no tan tangibles a corto plazo. Se trata del desistimiento de los alumnos, de la falta de retención en los estudios y en los programas educativos en todos los niveles, del abandono y de la consiguiente pérdida de hábitos de trabajo y de ilusión por los estudios. 

Eso es sólo un efecto de los muchos que se van a producir a consecuencia de una educación no atendida correctamente, a la que no se investigue o a la que no se estudie y analize adecuadamente en su contexto y en el tiempo en que se produce. Tanto en relación a cómo se desenvuelve, efectos colaterales, como a sus consecuencias.

Ya hemos comentado en otros lugares acerca de cómo esta situación modifica nuclearmente los patrones de investigación y de difusión de la investigación.

El abandono y el desestimiento es sólo una vertiente de los efectos que hipotéticamente se pueden producir. Hay muchos más consecuencias e igualmente dramáticas, de una educación no atendida correctamente o no investigada en el contexto de pandemia y de cierre de coleguios y universidades.

Tenemos precedentes y evidencias de esta cuestión (Jordan, 2020) en otras situaciones: En la contingencia del ébola en África por ejemplo.

La investigación educativa es pues clave. Debe ser una investigación formativa, en progreso de la pandemia y de las medidas que se tomen, de manera que los resultados, aunque sean parciales, que se vayan produciendo puedan mejorar en progreso las practicas educativas. Sin embargo ya hemos comentado en otros lugares acerca de cómo esta situación modifica nuclearmente los patrones de investigación y de difusión de la investigación. Lo que ha sido norma habitualmente no tiene por qué serlo ahora. Por ejemplo, los tiempos largos para las rondas de revisión por pares.

También son importantes los temas que se seleccionen para investigar. Que se prioricen en función de la utilidad como respuesta a la urgencia. El caso de la investigación biomédica nos da las pautas. En las imágenes siguientes vemos volcados de los repositorios de preimpresión bioRxiv y medRxiv [1] y de Google Scholar con el indicativo coronavirus.  Si examinamos, a través de las publicaciones que aparecen como respuesta en esa interrogación los temas de investigación en las estas áreas de la sanidad y de la biología los podemos entresacar por los resultados:

Quien escribe no es experto en las ciencias directamente vinculadas con el tratamiento coronavirus y no sabemos qué patrones quedan descartados en la investigación biomédica. Algunos ya lo estaban antes (Banks, G. C., Rogelberg, S. G., Woznyj, H. M., Landis, R. S., & Rupp, D. E. 2016b). Es significativo el caso de los sefl report studies en ciencias del comportamiento tal como lo tratan en Principles of research in behavioral science (Whitley & Kite, 2013).

Pero lo que vemos todos los días en la práctica de la edición científica sobre educación, y en particular sobre las prácticas en esta contingencia, nos hace pensar que muchos patrones se repiten actualmente.

Hay un patrón muy notable y repetido en la educación, en la publicación académica, ya lo era antes, pero ahora el contexto del coronavirus llama mucho la atención. Me refiero a las modalidades ya citadas de pseudoinvestigación conocidas como self report studies.

Recordemos esto lo que es

A self-report study is a type of survey, questionnaire, or poll in which respondents read the question and select a response by themselves without interference (Jupp, 2010). 

Es decir, un self report study es un instrumento de recogida de datos en el que son los propios encuestados los que responden sin mediación a las preguntas que se les formulan. 

La cuestión es 

a) En educación y en aprendizaje, ¿están capacitados los usuarios para decidir sobre la bondad de un sistema educativo o la eficiencia del aprendizaje obtenido (pensemos en el principio de activación donde un aprendizaje hoy es evocado en una fase remota de su vida). 

b) En general se acepta en ciencias biomédicas o de la conducta qu eu autoinforme puede valer para triangularizar o validar la información obtenida por otros medios, incluida la observación, pero nunca para validar objetivos directos de investigación.

c) En el caso de las ciencias de la salud los estudios de autoinforme tienen problemas de validez estadística. Los pacientes pueden exagerar los síntomas para poner de relieve la gravedad de su situación, o pueden no comunicar adecuadamente la gravedad o frecuencia de los síntomas para minimizar consecuencias personales que se pudieran derivar. Los pacientes también pueden simplemente estar equivocados o recordar mal el material cubierto por la encuesta. Estas objeciones son igualmente posibles en educación. Los alumnos pueden modificar sus respuestas en consonancia que con lo que creen que pueden desear los profesores o les puede beneficiar a ellos. También pueden sesgarlas en función de las ideas implícitas que tienen sobre conceptos relacionados con la calidad del método docente y la eficiencia del aprendizaje que obtienen.

En caso extremo, esto, en el ámbito del aprendizaje, supone dar peso de prueba sobre temas relativos al aprendizaje su eficiencia y calidad, así como a la validez de los métodos de enseñanza a una variable tan limitada y subjetiva como es la satisfacción que sienten los alumnos, o los profesores cuando son estos los encuestados. Satisfacción que manifiestan a través de cuestionarios. Recientemente a través básicamente de cuestionarios online sin garantías de acreditación, autoría o turbidez en el proceso debido a multitud de factores no controlados.

RED no acepta artículos de investigaciones que tengan como técnica principal investigativa esta modalidad de obtención de datos. Así lo establecen sus normas.

Pero no es la única revista que así lo hace, Elsevier incluye este criterio, en términos casi exactos al que utilizamos, en las guías para autores y, suponemos que coherentemente, lo recomienda como un criterio para la revisión de artículos y trabajos.

Así dice:

Cross-sectional, self-report studies conducted among college students can make important contributions to the literature. However, such studies are also relatively easy to conduct and have some important limitations. Although single-study papers that use these methods will be considered at JRP, we have somewhat higher expectations regarding the size and the novelty of the contribution that such studies can make. Papers that rely solely on cross-sectional designs and self-report questionnaire methods among convenience samples are often rejected without review.

Donde, sin descartar que los estudios transversales, de auto-reporte realizados entre estudiantes universitarios pueden hacer contribuciones importantes a la investigación y a la evaluación formativa de los programas de formación, sin embargo, reconoce que estos estudios son también relativamente fáciles de llevar a cabo sin garantías, de manipular y tienen algunas limitaciones importantes. Aunque los trabajos de un solo estudio que usan estos métodos son tenidos en cuenta en el trabajo Journal of Research in Personality (JRP), creen que los trabajos de investigación son algo más que esto y que las aportaciones que los SRS pueden hacer, que no justifican las expectativas sobre su carácter de prueba. Por tanto, recomiendan que los trabajos que se basan únicamente en diseños transversales y métodos de cuestionarios de autoinforme sean rechazados sin revisión.

Esta información está en la página Guide for Authors de JRP 

Pero vamos a considera ahora un enfoque distinto. Hay que priorizar en función de la importancia que tiene el tiempo y la fatiga de los médicos, según hemos visto antes, los temas sobre los que se centra la investigación y las actividades que pudieran restarle tiempo en su quehacer, desviar su atención o cansarles.

Ha sido frecuente estos días ver situaciones de cansancio y ansiedad, captados por los medios, entre el personal médico estos días.

También actitudes de concentración en su actividad:

Supongamos que estos escenarios les llegasen demandas, mediante emails u otros en los que se les pidiesen que rellenaran formularios de self report studies con su opinión respecto a cuestiones similares a las que se plantean en algunas indagaciones educativas de este tipo que hemos visto.

Veamos un ejemplo de esta práctica (hay muchos y estos días ofreceré más). Para resaltar más su carácter anodino, acrónico, atópico  e incluso perjudicial, en el sentido  de que podría distraer y cansar aún más al personal en una situación en que su dedicación y atención de tems centrales es crucial, voy a aplicar el texto propuesto para profesores y para la situación de migración a la docencia online a médicos y personal sanitario, en situación de adaptación a la respuesta de urgencia al COVID19 :

Formulación inicial para profesores de educación universitaria

Part 2 - Online Corona Teaching: In this part of the questionnaire, we ask about your teaching and coping during the crisis period, assuming that all of your courses have gone online without certainty about the end of it. 1 Once I heard about the transition to online teaching I thought (you can choose more than one option): 1. Absolutely, I can't teach online 2. I am capable to teach online but I don’t intend to do it. 3. I am able to teach online but the results will not be what I expected 4.Now,  I am not able to teach online but I can only succeed if I receive appropriate support / guidance  5. I already have online teaching experience, it suits me 6. I already have online teaching experience, but it will not be suitable for students 7. I have no experience in online teaching, but this is an opportunity to learn a new method 8. I have no online teaching experience, but this is an opportunity for pedagogical innovation 9. Other, (detail)

Trascripción y adaptación del cuestionario a personal médico en situación de urgencia por el COVID19

Parte 2: Sobre la atención sanitaria o clínica, en su especialidad, en las nuevas condiciones plateadas por el coronavirus: 

En esta parte del cuestionario, le preguntamos acerca de su práctica y afrontamiento durante el período de crisis, suponiendo que toda ella  se haya trasladado a un contexto de atención a infectados o a prácticas relacionadas con él (diagnóstico, seguimiento, analítica, prácticas exploratorias, etc). Responda cual de estas opciones se acerca más a la suya:

Una vez que quedé informado  sobre la transición a la atención en las nuevas condiciones, pensé (puede elegir más de una opción):

1. Absolutamente, no puedo llevar a cabo a práctica en esas condiciones.

2. Soy capaz de llevar a cabo a práctica en esas condiciones, pero no tengo la intención de hacerlo.

3. Puedo llevar a cabo a práctica en esas condiciones, pero los resultados no serán los que esperaba en relación con la práctica sanitaria que habitualmente llevo a cabo.

4. Ahora, no puedo llevar a cabo a práctica en esas condiciones, sólo podría hacerlo con éxito si recibo el apoyo (equipamiento, etc) / la orientación y formación adecuada sobre la práctica en estas nuevas condiciones.

5. Ya tengo experiencia en situaciones similares, y profesionalmente me conviene.

6. Ya tengo experiencia en situaciones similares, pero no será adecuada para un servicio en estas condiciones. El desarrollo de la pandemia seguirá su curso con pocas variaciones.

7. No tengo experiencia en una práctica en esas condiciones y de estas características, pero esta es una oportunidad para aprender a responder en escenarios semejantes.

8. No tengo experiencia en una práctica en esas condiciones y de estas características, pero esta es una oportunidad para la innovación profesional (clínica, en atención sanitaria, etc.)

9. Otro, (detallar).

Dejamos al lector la tarea de imaginar cómo sería y cómo podría influir un estudio de este tipo en la sanidad y en la educación y en la marcha de las actividades de profesionales en contexto de coronavirus. También que pondere posibles focalizaciones de las investigaciones.

Hemos hablado de una convocatoria, ésta es:

Call for contributions for special issue of RED: Transition from mainstream education to online education and learning, as a result of the COVID-19 pandemic. 

Llamada a contribucionespara el número especial de REDTransició n de la educació ncónvenciónal a la educació n y alaprendizaje en lí nea, cómócónsecuencia del COVID19

En un repaso de urgencia, podemos detectar cómo líneas prioritarias:

1. Análisis de situaciones y datos de abandono.

2. Causas que han influido.

3. Métodos y practicas de estrategias docentes para favorecer la retención de alumnos y evitar el abandono.

4. Prácticas y políticas de gestión educativa para impedir el abandono y favorecer la retención. Por ejemplo recabar a los alumnos y suministrar a profesores, tutores, personal de apoyo y servicios TA, etc. direcciones de correo personal utilizado por los alumnos como correo personal, y de perfiles en redes sociales.

5. Otras.

6. Gestión de la calidad de la educación en línea en estas condiciones. Hay bastante publicado e investigado a este respecto, por ejemplo aquí, aquí, aquí y aquí. Alguno sindicadores sirven igualmente para los objetivos de retención de alumnos del caso anterior: Por ejemplo tiempo de respuesta en consulta a través mensajería, redes, videoconferencia personal, etc. Análisis de relevancia y técnicas de análisis de relevancia en las comunicaciones y su priorización. Análisis de situaciones, casos, puesta en marcha de esos sistemas y análisis de resultados.

7. Evaluación continua no presencial.

8. Análisis de logros en adquisición de habilidades y de conceptualizaciones y valores en contextos no presenciales. Análisis del rendimiento de distintas estrategias. Del rendimiento y de la eficiencia como adquisición de aprendizajes que reúnan condiciones de calidad (autonomía, atribución de sentido, transferencia, etc), ver "El caso del curso "Diseño instruccional" de la Universidad de Alcalá", a partir de "Gagné “Las condiciones del aprendizaje”". También en  "La universidad inteligente". Página 28 (Zapata-Ros, 2018).

Etc. etc. etc. Esto continuaré aumentándolo en días sucesivos y en otros trabajos.

Las modalidades de investigación que proponemos son las habituales en este tipo de publicaciones y que enumeramos en la CFP de RED:

desarrollo y prueba de una o más tecnologías o affordances particulares de aprendizaje

estudios de caso de prácticas

críticas a la política o a la investigación

estudios longitudinales

experimentos empíricos

revisión crítica de la literatura que se produce en torno a la transición educativa por el COVID19

[1] Estos repositorios son los hermanos de arXiv el repositorio de más prestigio en Matemáticas y en ciencias duras. Algunos medalla Fiedls, como Perelman, publican preferentemente si no únicamente en él. El repositorio hermano de arXiv dedicado a educación es EdArXiv.



Referencias

Banks, G. C., Rogelberg, S. G., Woznyj, H. M., Landis, R. S., & Rupp, D. E. 2016b. Editorial: Evidence on questionable research practices: The good, the bad, and the ugly. Journal of Business and Psychology, 31: 323–338  https://link.springer.com/article/10.1007/s10869-016-9456-7?shared-article-renderer

Jupp, V. (2010). The SAGE Dictionary of Social Research Methods.

Christian Linder (a1) and Siavash Farahbakhsh (a2) . Unfolding the Black Box of Questionable Research Practices: Where Is the Line Between Acceptable and Unacceptable Practices? DOI: https://doi.org/10.1017/beq.2019.52 Published online by Cambridge University Press: 05 March 2020. https://www.cambridge.org/core/journals/business-ethics-quarterly/article/unfolding-the-black-box-of-questionable-research-practices-where-is-the-line-between-acceptable-and-unacceptable-practices/E2C5F0EBF47A3B5A82303BB04CCC3969

Whitley, B. E., & Kite, M. E. (2013). Principles of research in behavioral science. Routledge.

Zapata-Ros, M. (2018). La universidad inteligente. Revista de Educación a Distancia, (57). https://revistas.um.es/red/article/view/327431