Garantías científicas y éticas en la evaluación psicológica

TEMA 5

GARANTÍAS CIENTÍFICAS Y ÉTICAS

Material extraído de: Fernández Ballesteros (2013)

1. INTRODUCCIÓN

• La evaluación psicológica tiene por objeto el estudio científico del comportamiento de un sujeto, o grupo de sujetos, a través de un proceso de toma de decisiones que trata de responder a una demanda.
• Durante este proceso se formulan hipótesis que deben ser operacionalizadas:
  • mediante procedimientos científicos de recogida de información,
  • a través de los cuales se pretende la indagación y cuantificación de los comportamientos, características o propiedades de los sujetos en estudio y de su contexto.
• Esos procedimientos deben presentar un conjunto de garantías científicas tanto en su construcción como en su uso.

CÓLOGO

• Además, el proceso de evaluación supone un procedimiento científico sujeto a ciertas reglas del que emanan resultados procedentes de las personas evaluadas.
• Todo ello ha estado regulado mediante normas, guías, estándares o directrices.

. Cualquier actividad humana está sometida a una regulación dictada por los agentes sociales y por la propia profesión que, de alguna manera, condiciona la actuación del psicólogo en su tarea evaluativa.

2. GARANTÍAS PSICOMÉTRICAS

• Tanto el proceso de evaluación como las técnicas que se emplean deben cumplir garantías de calidad.
• Fiabilidad y validez: requisitos que deberían cumplir todos los instrumentos de evaluación.

2.1. Fiabilidad

• Fiabilidad: probabilidad del buen funcionamiento de una cosa (RAE).
• Spearman (1927): "coeficiente de correlación entre una forma experimental de un test y una forma hipotéticamente equivalente".
• TCT: detrás de la puntuación observada que obtiene una persona en un test hay una puntuación verdadera.
• Versión actual de la teoría: la puntuación verdadera es el valor promedio de las puntuaciones observadas obtenidas en n administraciones "equivalentes" del test. De forma lógica, las diferencias entre las puntuaciones observadas y la puntuación verdadera se consideran "errores de medida".

1

• 3 tipos de evidencias de fiabilidad:
  1. Estabilidad de la medida: posibilidad de que medidas hechas en momentos distintos sean iguales.
  2. Objetividad del registro: no diferencias entre los datos obtenidos por diferentes evaluadores.
  3. Homogeneidad de la prueba: en tests que se componen de un agregado de elementos, que todos los items sean equivalentes.

2.2. Validez

• El concepto ha ido evolucionando:
  • Hasta 1954: concepto unitario como correlación de un test con un criterio. A quien elaboraba o proponía un uso determinado de un test ra a quien interesaba probar que era realmente útil para dicho objetivo.
  • A partir de 1954: por influencia de Cronbach y Meelh aparece el concepto de validez de constructo y la validez se fragmenta en cuatro tipos: de contenido, predictiva, concurrente y de constructo.
• La información sobre la validez indica al usuario el grado en el que el test es capaz de alcanzar criterios objetivos.
  • Validez de contenido: para los tests que describen el desempeño de las personas sobre un universo definido de tareas.
  • Validez predictiva: el test predice el desempeño futuro
  • Validez concurrente: concurrencia con medidas simultáneas
  • Validez de constructo: cuando se pretende hacer inferencias sobre constructos no observables.

Estas definiciones de validez han ido evolucionando hacia la unificación del concepto y la proposición de considerar otros aspectos relevantes a las puntuaciones y a los tests en sí.

3. GARANTÍAS DEL PROCESO DE EVALUACIÓN

El proceso de evaluación, espina dorsal de la evaluación. Vías mejor establecidas para garantizar su calidad:

1. Guías del proceso de evaluación (GAP): suponen normas que la comunidad científica ha elaborado.
2. Garantizar los propios datos mediante el heurístico que provee la ta de la generalizabilidad y, también, cuando se trata de una demanda de tratamiento y cambio.

3.1. Las Guías del Proceso de Evaluación (GAP).

10 / Sociedad Europea de Evaluación Psicológica: desarrollo de las GAP, para:

1. Asistir a los evaluadores en su esfuerzo por optimizar la calidad de su trabajo
2. Asistir al cliente de una evaluación para que pueda enjuiciar el trabajo evaluativo
3. Facilitar el entrenamiento en evaluación

3.2. Garantías de los datos recogidos

Cuanto mejores instrumentos empleemos en la evaluación, tantas más adecuadas garantías presentarán nuestros datos. ¿Es posible establecer algún tipo de garantía de nuestros propios datos procedentes de las distintas técnicas utilizadas?

• Teoría de la Generalizabilidad (TG): una medida procedente de un test o técnica de evaluación psicológica es entendida como una muestra de la total colección de observaciones posibles; interesa obtener una puntuación porque es representativa de alguna de las facetas o universos a los cuales se pretende generalizar.
• Se habla de puntuación universo, en lugar de puntuación verdadera (como se plantea desde la teoría de tests), enfatizándose que lo que hace el evaluador es una inferencia desde una muestra de datos observados a un conjunto de datos de interés.

TG: existen distintos universos a través de los cuales los datos obtenidos podrían ser generalizables. Es decir, lo observado sobre un sujeto mediante los tests y técnicas durante el proceso evaluador, ¿hasta qué punto se puede generalizar? Muestreo: procedimiento mediante el cual obtenemos una parte representativa de una población (muestra). Medidas conductuales obtenidas de un sujeto: muestra de las muchas que podrían obtenerse. Cone (1977): propone 6 universos a través de los cuales deben ser generalizados los datos procedentes de una evaluación conductual:

De las puntuaciones De las dimensiones De los elementos Generalizabilidad Del método Temporal De las situaciones

1. Generalizabilidad de las puntuaciones

¿En qué medida los datos procedentes de un evaluador son generalizables a los obtenidos por otros evaluadores? (fiabilidad interjueces) Se pretende constatar la medida en la cual los datos obtenidos no dependen de la persona que los obtiene, es decir, que tenemos evidencia de objetividad.

2. Generalizabilidad de los elementos

¿Hasta qué punto los elementos de un test son representativos del amplio universo de elementos implicados en el mismo ámbito de contenido y/o de unos elementos del test se puede generalizar a otros? (validez de contenido, consistencia interna) En definitiva, los elementos de los cuales se derivarán nuestros datos deben ser representativos del ámbito total sobre el que vamos a generalizar éstos.

3. Generalizabilidad temporal

• ¿ Hasta qué punto los datos obtenidos en un determinado momento son extensibles a otros momentos de la vida del sujeto?
• Si los datos que recogemos en un momento concreto se repiten en otros períodos, podríamos hablar de estabilidad de nuestras mediciones o que hemos obtenido una adecuada fiabilidad test-retest.
• A la hora de tomar como fiables datos obtenidos mediante observación será necesario comprobar la estabilidad de las medidas.

. Además hay que tener en cuenta una importante fuente de error: la reactividad. Esta puede hacer que el sujeto responda en un primer momento de forma no habitual y que, por tanto, los datos registrados hoy puedan no contrastarse en otros momentos.

• Dos procedimientos para garantizarla:
  • Establecimiento de períodos de habituación en la recogida de información
  • Obtención de estabilización de la medida previa al inicio de la observación.

Resumen Antes de tomar como aptos los datos, hay que cerciorarse de que la conducta observada, o la atribución realizada, no se ha dado de forma aleatoria o casual, sino que, se da de forma estable en nuestro sujeto.

4. Universo de generalizabilidad de las situaciones

• ¿ Hasta qué punto los datos de un test recogidos en una situación son generalizables a otras situaciones?
• Se hace referencia a distintos criterios de bondad de la medida:
  • Si el comportamiento es consistente intersituacionalmente (generalidad del comportamiento)
  • Validez ecológica en cuanto a la posibilidad de que los datos recogidos en situaciones artificiales de laboratorio, sean generalizables a la vida real del sujeto.
• La validez ecológica de la evaluación puede comprobarse a través de:
  • Concordancia que las medidas procedentes del laboratorio / clínica tengan con las medidas obtenidas en situaciones naturales
  • Utilización de estas últimas de modo prioritario en evaluación.

5. Universo de generalizabilidad de los métodos

• ¿ En qué medida los datos procedentes de un método de evaluación son generalizables a otros que evalúen el mismo contenido?
• El evaluador debe emplear diferentes procedimientos de recogida de información a la hora de realizar una evaluación.
• Todo han de llevarnos a establecer las covariaciones entre las técnicas empleadas siempre y cuando evalúen un mismo conjunto de comportamientos (validez convergente y concurrente).
• Interesa conocer hasta qué punto los datos obtenidos a través de diferentes procedimientos son convergentes entre sí en el sujeto evaluado.

6. Universo de generalizabilidad de las dimensiones

¿En qué medida las propiedades o estimaciones de una variable son generalizables a otras? (Validez de constructo) Se pretende conocer en qué medida una serie de conductas que teóricamente saturan una misma variable, se dan con esta asociación en nuestro caso concreto, o,también si distintas modalidades de respuesta, que teóricamente han de verse asociadas, covarían entre sí.

En resumen: la TG provee de un heurístico que permite examinar y valorar la calidad de los datos procedentes de un caso concreto en la evaluación psicológica, lo cual, junto a la aplicación de las GAP, optimizará la calidad del trabajo del evaluador.

4. DIRECTRICES Y GUÍAS QUE AFECTAN A LA EVALUACIÓN PSICOLÓGICA

• A partir de 1991: distintas organizaciones (nacionales e internacionales) han producido guías, directrices, normas o estándares que favorecen evaluaciones de calidad.
• Más relevantes:
  • Los criterios sobre la revisión de tests (2000)
  • Las directrices para la traducción y adaptación de tests (1996)
  • Las directrices internacionales para el uso de los tests (2000)
  • Las directrices internacionales para la evaluación informatizada y tests aplicados por internet (en proceso de revisión) (2003).