Fiabilidad de las Puntuaciones en Psicometría, Universidad Internacional de la Rioja

Índice

Esquema Ideas clave 5.1. Introducción y objetivos 5.2. Conceptualización de la fiabilidad 5.3. Aproximaciones a la fiabilidad 5.4. Error típico de medida: cálculo y aplicaciones 5.5. Consideraciones finales sobre la fiabilidad 5.6. Estimación de la fiabilidad con Jamovi 5.7. Referencias bibliográficas

A fondo

Versión corta de la adaptación española para adolescentes del NEO-PI-R (JS NEO-S) Un viaje alrededor de alfa y omega para estimar la fiabilidad de consistencia interna Test@ Universidad Internacional de La Rioja (UNIR)

Esquema de Fiabilidad de las Puntuaciones

Concepto de Fiabilidad

Aproximaciones Error típico de medida Consideraciones

• Correlación entre formas paralelas.
• Cálculo del intervalo de confianza para una puntuación verdadera.
• Factores que afectan a la fiabilidad.
• Estabilidad temporal.
• Contraste de puntuaciones verdaderas.
• Interpretación.
• Consistencia interna.

Esquema 3Ideas clave

Introducción y Objetivos

Como ya se vio, las puntuaciones empíricas obtenidas en un test están afectadas por el error de medida que se comete al administrar el instrumento, el cual se debe a factores aleatorios que son difícilmente controlables. Al igual que se hace desde otros enfoques psicométricos, la teoría clásica de los test propone un marco desde el cual poder estimar el error de medida con el fin de poder tener una idea sobre la precisión de las puntuaciones en el test. De esta forma, emerge el concepto clásico de fiabilidad, que hace referencia a la proporción de varianza de las puntuaciones empíricas que se debe a la varianza de las puntuaciones verdaderas (es decir, que no se debe a la varianza de los errores cometido al medir). De esta forma, las mediciones que se realizan con un test serán fiables si cada vez que se aplica a las mismas personas proporciona resultados estables (esto es, que las puntuaciones sean básicamente las mismas, pudiendo haber ligeras variaciones atribuibles a los errores aleatorios cometidos al medir; Abad et al., 2011; Martínez- Arias et al., 2006; Muñiz, 2018).

Nótese que al hablar de estabilidad se debe tener en cuenta que no haya ninguna razón teórica o empírica por la cual se esperase que la variable a medir pudiera cambiar para las personas de una aplicación del test a otra (Martínez-Arias et al., 2006; Muñiz, 2018). No obstante, el concepto de fiabilidad es más complejo y hay distintas formas de comprender y estudiar esta propiedad en la práctica.

Por ello, en primer lugar, en este tema se estudiarán las distintas formas de calcular la fiabilidad. Posteriormente, se va a abordar un concepto muy útil relacionado con la precisión de las puntuaciones de un test que va a permitir una serie de aplicaciones interesantes en la práctica: el error típico de medida. Finalmente, se van a abordar algunas cuestiones que se deben tener en cuenta a la hora de interpretar la fiabilidad de las puntuaciones en un test.

@ Universidad Internacional de La Rioja (UNIR) Psicometría Tema 5. Ideas clave 4Ideas clave

De esta forma, se pretende que el estudiantado alcance los siguientes objetivos de aprendizaje:

• Que conozca las distintas formas de estimar la fiabilidad y sepa cuándo aplicar cada una de ellas en la práctica.
• Que comprenda el concepto de error típico de medida y algunas de sus aplicaciones más útiles en la práctica.
• Que sepa interpretar el valor del coeficiente de fiabilidad y discernir cuándo un test presenta una fiabilidad adecuada para su aplicación.

@ Universidad Internacional de La Rioja (UNIR) Psicometría Tema 5. Ideas clave 5Ideas clave

Conceptualización de la Fiabilidad

Como se ha dicho previamente, se puede considerar que las mediciones que se realizan con un test serán fiables si cada vez que se aplica a las mismas personas se obtienen resultados estables. Esto quiere decir que las puntuaciones que se obtengan para las mismas personas en las distintas aplicaciones del test deben tener cierta consistencia, aunque se puedan producir ligeras variaciones debido al error de medida (Abad et al., 2011; Martínez-Arias et al., 2006; Muñiz, 2018).

Hablar de esta estabilidad cuando se miden variables psicológicas es complejo, ya que se pueden producir variaciones en las puntuaciones debido a los errores cometidos al medir, los cuales son aleatorios, pero también a errores sistemáticos que son predecibles. Algunos errores sistemáticos se pueden explicar, por ejemplo, por el propio proceso madurativo de la persona, por un proceso de aprendizaje o por el cambio en las condiciones de aplicación del test (por ej., la hora del día afectará al tiempo de reacción en un test; Muñiz, 2018). De esta forma, cuando se habla de estabilidad entre mediciones se hace referencia a aquellas variaciones que no se producen por alguna razón teórica o empírica a partir de la cual se esperen dichos cambios. En otras palabras, cuando se habla de fiabilidad de las puntuaciones, se debe tener en cuenta que solo se contemplan aquellas variaciones que se producen debido a los errores aleatorios cometidos en el proceso de medición.

Esta conceptualización de la fiabilidad se ha mantenido a lo largo del tiempo, si bien ha ido matizándose y se han propuesto distintas formas de estudiarla desde distintos enfoques psicométricos (por ej., teoría clásica de los test, teoría de respuesta al ítem; Abad et al., 2011).

@ Universidad Internacional de La Rioja (UNIR) Psicometría Tema 5. Ideas clave 6Ideas clave

Un aspecto a fundamental para tener en cuenta al hacer referencia a la fiabilidad es que se habla de la fiabilidad de las puntuaciones de un test, no del test en sí.

@ Universidad Internacional de La Rioja (UNIR) Psicometría Tema 5. Ideas clave 7Ideas clave

Aproximaciones a la Fiabilidad

Lo cierto es que el concepto de fiabilidad es más complejo y hay distintas formas de estudiarlo en la práctica:

• Fiabilidad como correlación entre formas paralelas. Una primera forma de calcular el coeficiente de estabilidad es obteniendo la correlación entre las puntuaciones obtenidas por las mismas personas en dos formas paralelas de un mismo test. En este caso, se estaría estudiando el grado de equivalencia entre las puntuaciones obtenidas en dos test equivalentes con las mismas especificaciones, pero distintos ítems.
• Fiabilidad como estabilidad temporal. Otra forma de estudiar la fiabilidad es mediante la estabilidad temporal entre las puntuaciones obtenidas con el mismo test en momentos distintos.
• Fiabilidad como consistencia interna. Por último, la fiabilidad se puede estudiar como la consistencia entre las respuestas dadas en distintas partes del test.

A continuación, se describen estas distintas formas de obtener la fiabilidad siguiendo la información recogida en los manuales de Abad et al. (2011), Martínez-Arias et al. (2006) y Muñiz (2018).

Fiabilidad como correlación entre formas paralelas

En ocasiones, se construyen un test y una segunda versión del mismo, ambos con las mismas características, pero distintos ítems, para evaluar el mismo constructo. Por ejemplo, se puede construir un test para evaluar los conocimientos de la asignatura de Psicometría en convocatoria ordinaria y un segundo test para medir lo mismo que tenga ítems distintos pero las mismas especificaciones que el primero (mismos contenidos, mismo número de ítems, misma dificultad media, etc.). En este caso, se puede calcular el coeficiente de fiabilidad mediante la correlación entre las @ Universidad Internacional de La Rioja (UNIR) Psicometría Tema 5. Ideas clave 8Ideas clave puntuaciones obtenidas en ambas formas para una misma muestra de personas.

El procedimiento que se debe seguir para calcular la fiabilidad por este medio es el siguiente:

1. Construir dos formas paralelas (X1, X2) de un mismo test para medir el mismo constructo.
2. Aplicar las dos formas paralelas a la misma muestra.
3. Calcular la correlación entre las puntuaciones obtenidas en ambas formas paralelas.

En cuanto a la interpretación, la correlación entre las puntuaciones obtenidas en ambas formas sería el coeficiente de fiabilidad para cualquiera de las formas o, lo que es lo mismo, el grado en que pueden considerarse equivalentes. Por ello, también se denomina a este coeficiente de fiabilidad como coeficiente de equivalencia. También se interpretaría como la proporción de varianza de las puntuaciones empíricas que se debe a la varianza de las puntuaciones verdaderas en cualquiera de las formas.

Coeficiente de equivalencia

En la Figura 1 se muestran las puntuaciones obtenidas por diez personas en dos formas paralelas (X1, X2) de un mismo test. El coeficiente de fiabilidad para cualquiera de las formas sería rxx = TX1X2 = 0,68, que, a su vez, indica que el 68 % de la varianza empírica se debe a varianza de las puntuaciones verdaderas en cualquiera de las formas.

Universidad Internacional de La Rioja (UNIR) Psicometría Tema 5. Ideas clave 9Ideas clave

Persona X1 Persona X2 1 6 1 5 2 3 2 5 3 5 3 3 4 4 4 6 5 8 5 7 6 8 6 8 7 7 7 5 8 6 8 5 9 2 9 1 10 4 10 6 Tx = rx1x2 = 0,68 Figura 1. Cálculo del coeficiente de equivalencia a partir de las puntuaciones de diez participantes en dos formas paralelas de un mismo test. Fuente: elaboración propia.

Nótese que anteriormente se habían descrito los supuestos del modelo lineal clásico y los estadísticos en términos paramétricos, es decir, haciendo referencia a la población, utilizando letras griegas (por ej., "x, Pxx , etc.). Sin embargo, en la práctica, se van a calcular los estadísticos a partir de las puntuaciones empíricas obtenidas en un test para una muestra, por lo que en estos casos se utilizarán letras latinas (por ej., S&, rxx, etc.)

Una consideración que se debe tener en cuenta al aplicar este método es que en la práctica es muy difícil construir dos formas paralelas de un test. Por ello, se suele utilizar formas que son equivalentes pero que no cumplen del todo las condiciones descritas para considerarse paralelas (Martínez-Arias et al., 2006).

@ Universidad Internacional de La Rioja (UNIR) Psicometría Tema 5. Ideas clave 10