La calidad en las publicaciones científicas: criterios y ética de la investigación

INTRODUCCIÓN A LA CALIDAD DE LAS PUBLICACIONES CIENTÍFICAS

TEMA 2. LA CALIDAD EN LAS
PUBLICACIONES CIENTÍFICAS
PROF. MARÍA NAVARRO GRANADOS
ACCESO, ELABORACIÓN Y PRESENTACIÓN DE DOCUMENTOS
CIENTÍFICOS EN LAS CIENCIAS DE LA EDUCACIÓN
11
MÁSTER UNIVERSITARIO EN INVESTIGACIÓN EN FORMACIÓN DEL PROFESORADO y TECNOLOGÍA
EDUCATIVA.índice

1. Introducción a la calidad de las
   publicaciones científicas (actividad 1)
2. Ética en la investigación científica
3. Métricas y herramientas para medir la
   calidad de las publicaciones
   científicas (actividad 2)

1
II
PARTE 1
INTRODUCCIÓN A LA CALIDAD
DE LAS PUBLICACIONES
CIENTÍFICAS

¿QUÉ ENTENDEMOS POR CALIDAD DE LAS PUBLICACIONES CIENTÍFICAS?

Publicar es un aspecto clave y crucial para el "éxito" en la vida académica del profesorado universitario en España.
Gran parte de nuestro rendimiento se mide por la calidad de las revistas donde publicamos. Son el principal medio de
comunicación científica.
En palabras de Rafael Repiso las revistas científicas son el instrumento que "determina el ascenso en la escala
profesional y social de los científicos, influyendo decisivamente en la asignación de recursos económicos para la
investigación" (p. 47).
Podemos entender por calidad de las publicaciones
científicas el conjunto de características que hacen que
una publicación (artículo, libro, capítulo de libro ... ) sea
fiable, relevante y de valor para la comunidad científica.

ORGANISMOS DE EVALUACIÓN DE LA ACTIVIDAD CIENTÍFICA EN ESPAÑA

Los principales organismos de evaluación de la actividad científica del profesorado universitario español utilizan unos
criterios para valorar esta calidad, que son los que tomaremos como base principal en este tema. Estos organismos
son:

ANECA

Agencia Nacional de Evaluación de la Calidad y Acreditación.
Órgano encargado de realizar actividades de evaluación,
certificación y acreditación del sistema universitario
español (y del profesorado universitario).

CNEAI

Comisión Nacional Evaluadora de la Actividad Investigadora.
Órgano de ANECA responsable de la evaluación de la
actividad investigadora a efectos del reconocimiento de los
correspondientes complementos retributivos, o sexenios
LANECA

ASPECTOS CLAVE DE LA CALIDAD DE LAS PUBLICACIONES CIENTÍFICAS

Algunos aspectos clave que determinan esta calidad son:

• Artículos publicados en revistas científicas. Se valora la calidad de las revistas en función de una serie de
  indicadores que veremos a lo largo del tema: factor de impacto, cuartil ... También el impacto del artículo (nº de
  citas, acceso abierto ... )
• Libros y capítulos de libro. Se valora el prestigio de la editorial, reseñas en revistas, acceso abierto ...
• Ética en la investigación. Que cumpla con unos principios éticos como un uso adecuado de los datos,
  consentimiento informado, que no haya plagio ...
• Originalidad y progreso de la investigación. Inédito, original y contribuir al progreso de la ciencia, área de
  conocimiento ...
• Revisión por pares. Las publicaciones científicas de calidad pasan por un proceso de revisión por pares donde
  expertos independientes (evitar la endogamia) evalúan la solidez metodológica, la relevancia y la precisión del
  trabajo antes de su publicación.

Calidad de una revista científica

Indicadores bibliométricos

métricas
Miden la influencia y el impacto de una revista a través de datos cuantitativos
relacionados con las citas que reciben sus artículos (factor de impacto, índice de
inmediatez ... )

Indicadores indirectos o
subsidiarios

Bases de datos (JCR, SJR ... ), tasa de rechazo ... Proporcionan una idea más
amplia sobre la posicionamiento y competitividad de la revista dentro del
ámbito académico.

Indicadores de
calidad formal

Se refieren a la calidad de los procesos editoriales, éticos y formales que
sigue una revista. Calidad en el proceso de revisión por pares, acceso
abierto, tiempo de publicación, código ético ...
NIVE
Indicios de calidad de revistas
Formación virty
BIBLIOTECA
Ver vídeo
Indicios de calidad
de revistas
Watch on Youlibe

MÉTRICAS PARA MEDIR LA CALIDAD DE LAS PUBLICACIONES

EN EL PUNTO 3 DEL TEMA, VEREMOS UNA SERIE DE MÉTRICAS QUE SE UTILIZAN ACTUALMENTE
PARA MEDIR LA CALIDAD DE LAS PUBLICACIONES
FACTOR DE
DE
IMPACTO
PENCENTILL
FACTOR DE
IMPACT
PERCENTEL'
FACTOR DE IMPACTO
CUARTIL
KE.A
EDFURYUITIS
PERCENTEL
ÍNDICE DE
INMEDATEZ
..
0%
ÍNDICE DE INMEDATEZ
Journal Impact Factor (JIF)
Journal Citation Indicator (JCI)
Índice de inmediatez (Inmediacy Index)
Cuartil
JIF Percentil
...
Son indicadores CUANTITATIVOS que permiten medir esta calidad. Hasta el
momento, han tenido y siguen teniendo (a pesar del cambio de normativa que
comentamos a continuación), un gran peso en la evaluación de la calidad
científica.
El papel de los indicadores bibliométricos en los procesos de evaluación de la investig
-
CONTEXTO
ESPANOL
Les indicadores bibliométricos
han sustentado las politica
. Los indicadores basados en citant
son los mis hubitades on l
normativa evaluadora
. Otros indicadores, como el
Indice h (nivel autor] van
ganando protagonismo.
Watch on @ lelidt
Ver vídeo

¿QUÉ ES EL FACTOR DE IMPACTO DE UNA REVISTA CIENTÍFICA?

JOURNA
Clarivate
Analytics
EPORTS
JOURNAL
IMPACT
FACTOR
¿PERO, QUE ES ESO DEL FACTOR DE IMPACTO DE UNA REVISTA CIENTÍFICA?
Es uno de los indicadores de calidad más importantes y utilizados.
Es el resultado de dividir el número total de citas que han recibido los artículos de
esa revista en los dos años anteriores, entre el número de artículos publicados en
dicha revista durante esos dos años.
Fórmula:
Número de citas en el año de referencia a artículos publicados en los últimos dos años
Factor de Impacto =
Número total de artículos publicados en esos dos años
Por ejemplo, si en 2023 una revista recibió 500 citas a artículos publicados en 2021 y 2022, y publicó
100 artículos en esos dos años, el FI sería:
FI =
500
100
=5.0
Esto significa que, en promedio, cada artículo de la revista fue citado 5 veces.

CAMBIO RECIENTE EN LOS CRITERIOS DE EVALUACIÓN

La evaluación del profesorado universitario por parte de ANECA ha sufrido cambios importantes con la entrada en
vigor de la nueva normativa. La normativa anterior se centraba en criterios más cuantitativos y objetivos, con
énfasis en el número de publicaciones científicas ("al peso"), el índice de impacto de las revistas, cuartil.
..
En este modelo, los candidatos sabían cuántos artículos necesitaban y qué posiciones en el ranking de impacto se
valoraban más, lo que daba lugar a una evaluación clara y predecible basada en métricas numéricas.
La nueva normativa, sin embargo, introduce una evaluación más cualitativa y subjetiva. Si bien, se sigue valorando el
índice de impacto de una revista, hay un mayor enfoque en la calidad y relevancia del trabajo académico más allá de
los indicadores numéricos. Este enfoque más subjetivo da lugar a una evaluación menos predecible y más abierta a la
interpretación de los comités evaluadores, quienes tienen un mayor margen de decisión en función de la relevancia
global del perfil del solicitante.

ACTIVIDAD 1. DEBATE EN FORO (EVALUABLE)

Vas a leer los cuatro artículos que se exponen en las siguientes
diapositivas, en los cuales se argumentan distintas posturas sobre la
evaluación de la calidad de las publicaciones científicas en España.
Comenta en el Foro "Debate sobre la evaluación de la calidad
científica en España".

• ¿ Crees que publicar en una revista de alto impacto ya significa
  que ese artículo es una contribución científica de calidad?
• ¿ Te parece más adecuado el uso de indicadores bibliométricos
  objetivos que una evaluación más cualitativa y subjetiva?
• ¿ Piensas que la calidad es complicada de medir?
• ¿ Cómo te posicionarías en este debate? ¿ Qué propuestas harías?
• Tienes que contestar mínimo a un compañero/a en el foro.

ARTÍCULOS PARA ACTIVIDAD 1

MIGVEL DE VNĄMVNO Y JVGO
"NO PROCLAMÉIS
LA LIBERTAD DE VOLAR,
SINO DAD ALAS"
DOCTOR HONORIS CAUSA MMXXIV
Contra la perversión del sistema de evaluación de la
ciencia | Tribuna
Publicar un artículo en una revista de alto impacto no significa en
absoluto que sea una contribución científica de alta calidad
Ediciones FL DAS CI_/May/ 2
El Gobierno cambia la acreditación del profesorado
universitario: mas simple y menos dependiente de los ...
Se modifica el proceso para aspirar a ser Personal Docente Investigador
en la Universidad: se elimina burocracia y se diversifican los méritos que
se piden actualmente, muy ligados a la publicación de artículos ...
elDiario.es / Jul 18, 2023
Pincha aquí
Pincha aquí
ARTÍCULOS PARA ACTIVIDAD
1
DIANECA
Pilar Paneque: "La exigencia de publicar constantemente
lleva a un sistema científico de cantidad, no de calidad"
La responsable de la acreditación y evaluación del profesorado
universitario promete darle la vuelta a lo que tienen que hacer los
científicos para hacer carrera y lograr así un cambio en el sistema: "El ...
elDiario.es / Oct 3, 2023
Pincha aquí
Calidad frente a calidad. La revolución DORA llega a la
ANECA - ES de ES: Aprendemos entre todos
ANECA está avanzando hacia un modelo de evaluación científica que
valora la calidad frente a la cantidad siguiendo los principios de DORA
ES de ES/Jan 7
Pincha aquí
ARTÍCULOS PARA ACTIVIDAD
1
DITe dejo algunos extractos de los
artículos
NEXT

MENOS CANTIDAD, MÁS CALIDAD: EVOLUCIÓN HACIA UN MODELO DE EVALUACIÓN CUALITATIVO

Se trata de "prevenir los incentivos indeseados de un mal uso de los
indicadores bibliométricos que conducen a la sobreproducción. Premiar la
calidad de las aportaciones científicas por encima de la cantidad.
Acabar con un sistema que premiaba la cantidad por encima de la calidad.
El sistema de producción de artículos basado en la cantidad estaba
dañando la ciencia.
"El factor de impacto no sirve para nada, no indica
necesariamente la mejor ciencia. Dice algo sobre el
medio en el que se publica, pero no sobre la calidad de la
investigación"
Hay un gran debate, porque muchos piensan que la
calidad es complicada de medir. ¿ Cómo quieren hacerlo?
¿Cómo se mide el impacto social de una investigación?

EVALUACIÓN BASADA EN MÉTRICAS VS. EVALUACIÓN CUALITATIVA

La evaluación basada en las métricas (factor de
impacto, cuartil ... ),tiene la virtud de la objetividad.
Permite al evaluado calibrar y esperar un determinado
resultado en función del peso de lo que aporta.
Esta propuesta suena muy bien, pero cuando un
evaluador tenga que valorar, pongamos 10 CVs, ¿cómo
valorará a calidad de los traba jos sin utilizar la métrica?
¿Y si en vez de 10 son 30 CVs?
De la esperanza de acabar con las estrictas métricas y
la llamada "dictadura de los papers", a la inquietud que
produce la gran cantidad de incertidumbre que ofrece
el nuevo sistema.
Si ya se cometen arbitrariedades con una evaluación
basada en métricas, no me quiero ni imaginar lo que
puede pasar cuando la calidad de un trabajo dependa
del criterio sub jetivo de un evaluado
¿Saldremos de una dictadura para entrar en un régimen
de libertina je y arbitrariedad?