Una
colega, a la que considero amiga, en un instituto de investigación y desarrollo
del MIT, me decía en un mensaje sobre otro tema y hablando de un paper que publiqué:
Estuve
leyendo el estudio que publicaste sobre motivación, cognición y logros
académicos... No me sorprenden los resultados, muchos estudios apuntan a
que los estudiantes más motivados son los que llegan a los moocs y los que
"se quedan" y "aprenden" algo. Me gustaron los aspectos
cognitivos que se trabajaron, pero ¿esto fue todo Self-reporting, no?
Me
sorprendió no tanto por la consideración que hacía como por la estimación que
iba implícita en el comentario sobre self-reporting.
Para el lector no
avisado diremos que un estudio de auto-informe es un tipo de encuesta, o de cuestionario, en la que los encuestados leen
la pregunta y seleccionan una respuesta por sí mismos, sin interferencia del investigador. Se utiliza para preguntar a los
participantes acerca de sus sentimientos, actitudes, creencias y otras
opiniones sobre el tema objeto de estudio. Los auto-informes se utilizan sobre
todo como una forma de obtener
respuestas de los participantes en los estudios observacionales y también
asociados a análisis empíricos, pero en este caso de forma auxiliar, para
obtener información interpretativa de los resultados.
Los estudios de auto-informe
tienen problemas de validez. No
hay garantías de que los encuestados no exageren las respuestas en algún
sentido con el fin de favorecer sus objetivos o intereses personales, o para hacer
que la situación parece peor, con el fin de minimizar sus problemas. Aunque
pudiera ser simplemente que los encuestados estén equivocados, o interpreten
mal los enunciados.
Si
repasamos artículos publicados en algunas revistas calificadas como científicas
veremos que con frecuencia responden a un mismo patrón: contienen gráficos
sencillos sobre porcentajes o frecuencias de respuestas a preguntas de
cuestionarios del tipo descrito.
Como
ejemplo ilustrativo es posible que nos encontremos con algo como el párrafo que
reproducimos, donde por razones obvias hemos suprimido los elementos identificadores:
Para
comprobar este aspecto hemos hecho un estudio exploratorio con una muestra de X
estudiantes de último curso de la titulación T, en el curso 2010-2011 (Y de
ellos, mujeres). El objetivo ha sido conocer hasta qué punto existe entre ellos
conciencia sobre su percepción de A. [X e Y son números]
Y
ya está, ésta es toda la información que se da en el artículo sobre el método
seguido en la “investigación”.
Volviendo
al caso de la pregunta de mi colega la respuesta que di fue ésta:
Sobre
el estudio, te agradezco el interés. No es self-reporting, este tipo de
estudios no los acogemos bien en RED. Algunos creemos que no son
científicos.
De hecho es una derivación de un estudio original de Katty Jordan, que es
descriptivo. El mío es un análisis empírico sobre la base de los datos
aportados por Jordan, que a su vez es una
recopilación de cifras de abandono en varios cientos de cursos MOOC, agrupados
según la modalidad de evaluación. Los datos son los que los propios MOOC, las
instituciones que los organizan, suministran en sus estadísticas.
Mi estudio es un análisis de la correlación de Pearson entre dos variables:
Abandono y divergencia en la modalidad de evaluación. He establecido una
variable donde gradúo el nivel de divergencia: Autoevaluación, evaluación mixta
y evaluación por pares. Y obtengo un claro índice de correlación positiva entre
divergencia y permanencia en el curso (obtenemos un valor para el
Índice de Correlación de Pearson de 0,66884678):
A más divergencia menos abandono. O lo que es lo mismo: La evaluación por pares
propicia el abandono y la autoevaluación no lo hace o lo hace en menor grado (http://red.hypotheses.org/437).
Por otro lado, sin que tenga nada que ver, poco
después, a través de una amiga periodista, me llegó la percepción que sobre el tema tenía un
empresario distribuidor de unas conocidas smartglasses.
La
cuestión se inició cuando pedí a esa amiga periodista que mediase con algunos
empresarios, considerados innovadores, a los qu econocía por haber hecho un reportaje, que
gestionase con ellos su participación en una investigación que iba a llevar a cabo. Se trataba de un análisis
empírico para contrastar si había mejora en ciertos resultados de aprendizaje,
mejoras en competencias asociadas a la interpretación de curvas de funciones
con Wolfram. De lo que ya tengo alguna experiencia. Se lo explique todo
pormenorizadamente ajustándome al lenguaje y al nivel de información que, sobre el
tema, se supone que podrían tener empresario y periodista.
Me
llegó su respuesta, naturalmente mediada por la amiga periodista. Pero el
mensaje era claro. Cuando le habló de la investigación, en palabras de ella, dijo
Eso no es pionero, ya se ha hecho sin éxito y le parece una chorrada, pues luego los resultados se orientan según el
investigador quiera (sic).
A lo que añadió:
Los
que crean son los negocios y no las carreras universitarias ni los científicos. Son las grandes empresas las
que investigan y crean.
Independientemente
de la precisión del lenguaje, de las aportaciones del interlocutor y del emisor
del mensaje, algo debe haber ¿o no?
Induce a pensar si esa es una parte de la verdad, la de las
investigaciones amañadas. Cuál es el nivel de significación de esa opinión. Y si sólo se ha quedado
con lo peor, siendo poco, y simplemente ha hecho de la anécdota categoría.
Queda pues la duda.
Porque
evidentemente no creo que esa sea la opinión de la multinacional que representaba, la que hay detrás
de las gafas inteligentes. No creo que esté en su propósito poner en solfa la comunidad científica
internacional
Ante
este estado de cosas no me extraña el escepticismo de las iniciativas serias, como son las que de alguna forma representa la colega del MIT. Aunque imagino que este estado de opinión, o de desconfianza, no se habrá producido de forma injustificada ni mucho menos maliciosa. Lo más probable es que se haya producido a partir de la oferta de investigaciones ful. Como tampoco creo que sean casuales las opiniones y las experiencias que hay tras los comentarios del empresario. Aunque no sean propios de él.
Lo cierto es que vamos a tratar en los consejos científico y editorial de RED qué vamos a hacer con este tipo de artículos. Una opción posible es que no se acepten trabajos cuyo contenido sea sustancialmente un self-reporting. Como siempre se agradecen comentarios y opiniones.
