Como casi todo en nuestros días, también la calidad de la investigación que hacen universidades e instituciones públicas es algo que se lleva midiendo desde hace muchos años. Parece lógico, medir cómo de buena es la investigación que se hace, en muchos casos, con fondos públicos.
Sobre lo que no existe tanta certeza es sobre cómo hacerlo, cómo medirla, qué métrica o baremo usar para conocer lo buena que ha sido una investigación. Aunque en la práctica, da igual que no exista unanimidad sobre qué método es mejor, porque, desde hace años, en España, en la práctica, solo se usa uno… el JCR (no es el único parámetro, pero sí que el más importante).
Por poner en contexto a los menos duchos en el tema, el JCR (Journal Citation Reports) es un índice, una métrica, para medir el impacto de las revistas científicas y tecnológicas. Ideado para evaluar las revistas, ordenarlas por importancia. Así, hay una lista, por ejemplo, de revistas tecnológicas ordenadas por su JCR, y no todas las revistas entran en esa exclusiva lista.
¿Y qué tiene esto qué ver con la evaluación de la calidad de las investigaciones? Pues muy fácil, la idea detrás de todo esto es que, se supone, que si una investigación es buena producirá artículos buenos sobre la misma, que, según lo buenos que sean, se publicarán en revistas mas o menos buenas, siendo el JCR lo que mide lo buena o mala que es una revista. Es decir, que a más artículos publicados en revistas con buen JCR, se supone, que mejor investigación se ha hecho.
El uso del JCR en la investigación española es tan profundo que condiciona y justifica la vida de muchos investigadores: según los JCR que tengan (artículos publicados en revistas con JCR) lograrán o no tener un puesto en la Universidad, logran o no sexenios, logran o no ayudas, etc. Hasta la mayoría de rankings de universidades usan el número de JCRs como parámetro principal.
Pero, usar el JCR como métrica principal de la investigación… ¿es una buena medida? o… ¿puede haber sido un gran error? Si os “dais una vuelta por el Google”, cada vez vais a ver más textos críticos, algunos no tanto, otros más, etc.
En mi caso no tengo del todo claro si guiar la investigación por JCRs es bueno, o lo fue en su día, o lo es, o no. Hay lectores de este blog que saben bastante más que yo de este tema. Y por ello, y con la idea de plantear con vosotros una reflexión conjunta, he querido sintetizar los 3 principales problemas que he encontrado sobre los JCR :
1 – En el mundo de las métricas suele decirse que uno obtiene lo que mide, que no siempre es lo que desea. Si mides a los investigadores por número de JCRs… obtendrás muchos artículos JCR, pero… ¿obtenemos investigaciones útiles para mejorar nuestra industria? ¿Y si se primase directamente la transferencia de la investigación a la sociedad – empresas? ¿no obtendríamos así investigación más útil?
2 – El proceso para obtener un JCR es sorprendentemente lento para los tiempos que vivimos. En mi experiencia personal, puede pasar normalmente un año y medio desde que envías el artículo a la revista, se revisa y se publica. Eso sin contar que no se acepte.. y lo tengas que enviar a otro sitio 8sumando más meses). ¿Tienen sentido esas demoras en una sociedad en la que las noticias van a la velocidad que van? ¿Un mundo en que la información va tan rápido que hasta los periódicos en web se han quedado lentos? ¿es permisible tal demora en investigación tecnológica?
3 – Cuando una revista acepta un artículo para su publicación, el autor cede los derechos (por cierto, gratis), por lo que el autor no puede publicar el artículo en otro sitio. La mayoría de las revistas son de pago, bajo suscripción, con lo que los artículos son accesibles por poca gente. ¿Tiene sentido esto en un mundo donde hay cada vez más conocimiento accesible? (en indexable en buscadores como Google).
Primera vez que me tocó hacer una gestión Ágil en una empresa... año 2001. Desde entonces he trabajado en, o para, más de 90. Y he formado a más de 2000 alumnos.
También soy profe de la Universidad Rey Juan Carlos.
- Las 3 matrices de priorización Ágil - 19 octubre, 2023
- Etapas del Agile Product Management - 12 octubre, 2023
- Agile Product Management: DINÁMICA «Árbol Solución Oportunidad» + «Valores Esperados» - 5 octubre, 2023
Amén Javier, con los 3 puntos.
Otro sin sentido de nuestra generación, al que nos han llevado ministros y gobernantes incompetentes. Con tal de salir mejor es sus gráficas con métricas inútiles, andamos todos haciendo paper como locos… que terminan en el olvido una vez publicados.
Gracias por sacar estos temas, en ningún foro se habla de ello.
Pingback: Bitacoras.com
El factor de impacto de una revista en el JCR viene dado por el número de referencias a los artículos en los dos años anteriores, lo cual se ha demostrado recientemente que es manipulable:
http://online.wsj.com/article/SB10000872396390444082904577609313125942378.html
Alguna reflexión (tratando de ser imparcial y objetivo) sobre los vilipendiados JCRs:
– Como cualquier criterio, rango o baremo, es manifiestamente mejorable, pero al menos es mínimamente objetivo y medible. Entre la nada absoluta y algo que define las reglas del juego a las que los que investigan deben atenerse, parece preferible la segunda.
– El problema (si de hecho es un problema) es global: el JCR es utilizado como indicador de la calidad de la investigación en prácticamente toda Europa y en USA (en éste último en menor medida). De hecho, en gran parte de Europa se ha implantado una forma de Tesis Doctoral conocida como «Thesis by publication» en la que la memoria de tesis es básicamente una compilación de publicaciones, preferentemente de impacto, es decir en revistas JCR. Hasta donde yo sé, salvo algunas excepciones, esta forma de desarrollar una tesis no está contemplada en España.
– En el fondo, creo que todo tiene mucho que ver con el modelo de financiación de la investigación. En USA los JCRs son menos relevantes probablemente porque su modelo de financiación es algo distinto. Frente al modelo de financiación pública europeo, donde hay que tener JCRs para justificar la concesión de la ayuda y posteriormente el «buen uso» de los fondos concedidos, en USA se opta más porque sean los investigadores quienes consigan financiación preferentemente PRIVADA para su investigación. En el fondo es una forma de potenciar la transferencia de resultados al sector productivo frente a la publicación de los mismos.
– Probablemente sea mejor opción la segunda, pero entraña algunos peligros que darían para debatir muuuuucho tiempo. Muy resumidamente, podría resultar que en lugar de investigar en temas punteros, más difícilmente «vendibles» salvo supermegaexcelencia, los investigadores se convirtieran más bien en competencia del sector productivo, dedicándose a construir cosas buenas, bonitas y baratas que atrajesen financiación de la empresa privada, pero que no constituyesen auténticos avances.
No me extiendo más. Concluyo respondiendo a tu pregunta inicial: creo que habría formas mejores de valorar la calidad de la investigación que los JCRs, pero al menos fijan un criterio más ó menos objetivo, y mínimamente alineado con esa meritocracia que tanto echamos en falta en este país.
Me uno al agradecimiento generalizado por las horas y el esfuerzo que le echas a este blog, que te aseguro que muchos disfrutamos enormemente …
Coincido con que detrás de esto está, en gran parte, el tema de los fondos públicos.
A raíz de lo que comentas, durante mi estancia en EEUU recuerdo cómo los investigadores eran valorados por los dólares de empresas que llevaban a la Universidad, allí decían que si tu investigación es buena alguien pagará por ella, y si no pagan no será buena. Hasta el punto que viví, por desgracia, el despido de un profesor por no lograr proyectos con empresas.
Es otro esquema totalmente diferente, que requiere de madurez en la Universidad… y en la empresa. Para que, si aquí se hiciera como en los USA, las Universidades no se convirtieran en un organismo que proporciona recursos de bajo coste…
Los tres problemas enunciados son muy ciertos y las consecuencias de ser el único baremo prácticamente que se utiliza en el sistema universitario nos lleva a estar cada vez más lejos de las necesidades de la industria.
Valiente Javier por este blog.
😉
¿Podría aclarar si es verdad que para que una revista entre en JCR, e incluso en Scopus, se debe pagar cada año una cuota? Lo he escuchado varias veces y me ha sorprendido.Gracias.
Interesatnte debate. Me gustaríaaportar un documento de la International Mathematical Union donde se discuten los inconvenientes de los índices basados en citas desde el punto de vista estadístico: https://avosapi.delicious.com/api/v1/posts/redirect?url=http%3A%2F%2Fwww.mathunion.org%2FPublications%2Freport%2Fcitationstatistics0%2F