Sistema Interactivo Multimedia
para el Aprendizaje del Proceso de Evaluación
4.3.1.1. GUÍAS DEL PROCESO DE EVALUACIÓN (GAP). European Association of Psychological Assessment Fernández-Ballesteros, R., DeBruyn, E.E.J., Godoy, A., Hornke, L., Ter Laak, J. Vizcarro, C., Westhoff, K., Westmeyer H. & Zacagnini, J.L. (2001):Guidelines for the Assessment Process (GAP): A proposal for Discussion. European J. Of Psychological Assessment, 17,187-200.
Comienzo del proceso.
El proceso comienza cuando una persona o institución (cliente) plantea a un evaluador que responda a una cuestión o que dé un consejo profesional referente a un sujeto o caso.
Condiciones previas.
El evaluador debe examinar si está cualificado para satisfacer la demanda y si la demanda se ajusta a criterios profesionales. El evaluador debe observar, además, los principios éticos y los requisitos legales que rijan en el país.
0. Principios generales.
- 1. El evaluador debe asumir la responsabilidad del proceso de evaluación.
- 2. El evaluador debe tomar en cuenta los posibles conflictos de intereses que puedan existir entre el sistema de valores del sujeto o cliente y el suyo propio.
- 3. La evaluación se lleva a cabo en una situación interpersonal. El evaluador debe tratar al cliente con imparcialidad y con respeto.
- 4. El evaluador debe identificar y discutir los asuntos importantes sólo con las personas participantes en el proceso de evaluación.
- 5. Durante todo el proceso, el evaluador debe valorar las posibles consecuencias positivas y negativas, así como los efectos colaterales de la evaluación para el sujeto o cliente y para su entorno social.
- 6. Al solucionar las demandas planteadas, el evaluador debe seguir, en principio, una aproximación científica.
- 7. El proceso de evaluación debe ser lo suficientemente explícito como para que pueda ser reproducido y valorado, así como para que pueda quedar constancia del mismo.
- 8. El evaluador debe optimizar la justificación, utilidad y calidad del proceso, así como vigilar las condiciones que puedan distorsionarlo.
1. Análisis del caso (evaluación descriptiva).
1.1. Análisis de las demandas, quejas y metas.
1.1.1. Investigación y evaluación de las demandas del cliente o sujeto.
- 9. El evaluador debe lograr un adecuado nivel de comprensión de las quejas, demandas y metas del cliente o sujeto.
- 10. El evaluador debe considerar el alcance y el nivel de detalle con los que se deben tratar las quejas, demandas y metas del cliente o sujeto.
- 11. El evaluador debe averiguar cuál es la percepción del cliente o sujeto sobre la urgencia o severidad del caso.
- 12. El evaluador debe explorar tanto los aspectos débiles como los aspectos fuertes del sujeto.
- 13. El evaluador debe limitar su exploración a lo que sea pertinente para el caso.
- 14. El evaluador debe comprobar la suficiencia y precisión de la información básica.
1.1.2 Síntesis de las demandas del cliente y de los aspectos de la situación problemática general.
- 15. El evaluador debe comprobar si la información recogida resulta suficiente para responder a las demandas planteadas.
- 16. El evaluador debe averiguar cómo interactúan la persona y el contexto en el que vive.
1.1.3. Acuerdo formal.
- 17. El evaluador debe informar al cliente o sujeto de las cuestiones que se van a explorar a lo largo de la evaluación.
- 18. El evaluador debe obtener el consentimiento informado del cliente o sujeto sobre las demandas y metas que van a guiar la evaluación.
1.2. Formulación de hipótesis de evaluación contrastables: conversión de las demandas, quejas y metas en formulaciones de evaluación.
1.2.1. A partir de la información recogida, formulación de las demandas en términos técnicos.
- 19. El evaluador debe establecer los constructos psicológicos más idóneos para formular las hipótesis de evaluación sobre el caso.
- 20. El evaluador debe asegurarse de que las hipótesis de evaluación formuladas cubren todas las características del problema.
- 21. El evaluador debe distinguir entre hipótesis descriptivas, clasificatorias, explicativas y predictivas.
- 22. Cada una de las hipótesis debe formularse con solidez lógica y teórica, y con referencias empíricas claras.
- 23. Para cada una de las hipótesis formuladas, el evaluador debe generar al menos una hipótesis alternativa rival.
- 24. El evaluador debe jerarquizar las hipótesis de evaluación formuladas de acuerdo con criterios explícitos y apropiados para el caso.
1.2.2. Operativización de las hipótesis mediante instrumentos y procedimientos de evaluación.
- 25. El evaluador debe revisar los instrumentos de evaluación adecuados para cada constructo y elegir el más apropiado.
- 26. El evaluador debe vigilar que la información a buscar sea pertinente, discriminativa y suficiente con respecto a las hipótesis formuladas.
1.3. Recogida de información: recopilación de la información pertinente.
1.3.1. Planificación de la administración de los procedimientos de evaluación.
- 27. El evaluador debe tener en cuenta los factores distorsionantes, reactivos y molestos de los procedimientos de evaluación.
- 28. El evaluador debe obtener el consentimiento del sujeto para el plan de evaluación y para los procedimientos de evaluación implicados.
- 29. El evaluador debe preparar la situación de evaluación, así como dar las instrucciones a los sujetos y demás participantes de acuerdo con estándares técnicos y profesionales.
1.3.2. Aplicación de los procedimientos de evaluación.
- 30. El evaluador debe aplicar los procedimientos de evaluación de acuerdo con estándares técnicos y profesionales.
- 31. El evaluador debe tener en cuenta los factores que puedan interferir con la adecuada aplicación de los procedimientos de evaluación.
- 32. El evaluador debe si la recogida de datos se ha efectuado de acuerdo con el plan establecido.
- 33. El evaluador debe comprobar si algún factor ha podido interferir con la apropiada administración de los procedimientos de evaluación.
1.4. Procesamiento de la información: relación de los datos con las hipótesis planteadas.
1.4.1. Análisis de los datos.
- 34. El evaluador debe revisar si todos los datos son sólidos y están libres de sesgos y errores de codificación.
- 35. El evaluador debe valorar la calidad de los datos en relación con las hipótesis planteadas.
- 36. El evaluador debe analizar e interpretar los datos de las pruebas y demás procedimientos de evaluación de acuerdo con las últimas normas, estándares y conocimientos disponibles.
1.4.2. Formulación de conclusiones.
- 37. El evaluador debe comprobar si las conclusiones responden a las hipótesis planteadas.
- 38. El evaluador debe valorar la información de acuerdo con su importancia para el caso.
- 39. El evaluador debe justificar la relación existente entre las conclusiones y los datos.
- 40. El evaluador debe especificar el nivel de confianza que deposita en cada una de las conclusiones.
2. Organización e información de los resultados: elaboración técnica de los resultados e información al cliente o sujeto.
2.1. Integración de los resultados: respuesta a las cuestiones planteadas por el cliente o sujeto de la forma más completa posible.
2.1.1. Combinación de los resultados en una formulación global del caso.
- 41. El evaluador debe comprobar cada una de las hipótesis utilizando datos de las fuentes de información apropiadas.
- 42. El evaluador debe realizar una integración de los datos que resulte adecuada, suficiente y de utilidad para responder a las demandas del cliente.
- 43. El evaluador debe tener en cuenta la información contradictoria. 2.1.2. Formulación de conclusiones en relación con las demandas del cliente o sujeto.
- 44. El evaluador debe formular conclusiones que respondan a las demandas del cliente o sujeto.
2.2. Informe: presentación oral o escrita del informe.
2.2.1. Requisitos para la generación del informe.
- 45. La forma de presentar el informe (oral, escrita, o ambas) debe ser la apropiada.
- 46. El informe debe incluir un resumen con las conclusiones más importantes.
- 47. El informe debe señalar quién es el autor, el cliente y el sujeto, así como a quién se presentará o enviará.
- 48. Los datos deben presentarse de acuerdo con las fuentes de información, instrumentos y procedimientos utilizados.
- 49. Los datos deben estructurarse siguiendo criterios psicológicos y colocarse en la parte de resultados que habrá en el informe.
- 50. Los asuntos que sobrepasen las demandas iniciales no deben ignorarse, aunque sí considerarse aparte.
- 51. El informe debe responder a las demandas del cliente con recomendaciones apropiadas.
2.2.2. Inclusión en el informe de información importante.
- 52. Las demandas del cliente nunca pueden quedar sin abordarse.
- 53. Las fuentes de información, los instrumentos y tests utilizados deben quedar reflejados con el suficiente detalle.
- 54. El informe debe detallar los pasos y procedimientos utilizados para responder a las demandas del cliente.
- 55. La sección del informe destinada a exponer los resultados debe reflejar el peso dado a la información obtenida y la forma en que se la ha integrado.
- 56. En la sección del informe sobre los resultados, cada afirmación psicológica que se haga debe estar expresamente basada en los datos recogidos y valorada en función de su importancia con respecto a las demandas del cliente.
- 57. Las inconsistencias encontradas entre los datos deben discutirse en la sección sobre resultados.
2.2.3. Generación de un informe fácil de entender.
- 58. Cada una de las frases empleadas debe ser clara y comprensible para el cliente.
- 59. El apoyo científico de un enunciado debe explicitarse siempre que exista la posibilidad de que se malinterprete.
- 60. La terminología técnica utilizada debe clarificarse de la forma apropiada.
- 61. Los elementos descriptivos, comparativos e interpretativos deben distinguirse entre sí.
- 62. La interpretación de los datos nunca debe dejarse en manos del lector.
- 63. Las conclusiones deben exponerse con claridad; y las inferencias tentativas, señalarse como tales.
2.3. Discusión y toma de decisiones.
2.3.1. Discusión del informe con el cliente, sujeto u otros participantes.
- 64. El evaluador debe discutir las secciones del informe con el cliente o sujeto.
- 65. El evaluador debe tratar con el cliente, sujeto u otras personas participantes las posibles recomendaciones, asegurándose de que las entienden.
- 66. El evaluador debe reflejar los datos surgidos durante la discusión del informe y de las recomendaciones en la versión final del mismo.
2.3.2. Analizar si las circunstancias generales aconsejan volver a empezar, finalizar, o pasar a intervenir.
- 67. Si se requiere intervención y el evaluador no está cualificado para llevarla a cabo, el sujeto debe ser enviado al profesional adecuado.
- 68. Cuando sea pertinente, el evaluador debe enviar un informe a los profesionales oportunos. 3. Planificación de la intervención: si el evaluador considera que es necesario intervenir, hay que llevar a cabo varios actos de evaluación antes de la administración del tratamiento.
- 69. El evaluador debe establecer los criterios y las metas de una intervención provechosa.
3.1. Elección de hipótesis específicas para la intervención.
3.1.1. Elección y operativización de la intervención y de las variables para evaluar los resultados.
- 70. El evaluador debe formular las hipótesis de intervención basándose en los resultados de las evaluaciones previas.
- 71. En la medida de lo posible, el evaluador debe jerarquizar las hipótesis de intervención siguiendo criterios explícitos y útiles para el caso.
- 72. El evaluador debe definir operativamente las variables relacionadas con las hipótesis de intervención.
3.1.2. Revisión y elección de los procedimientos de intervención que mejor se ajusten al caso.
- 73. El evaluador debe inventariar y sopesar los tratamientos posibles y, finalmente, diseñar la intervención.
- 74. El evaluador debe identificar y evaluar las posibles condiciones facilitadoras e inhibidoras que puedan afectar la intervención.
- 75. El evaluador debe tratar con el cliente o sujeto las alternativas de intervención y sus posibles consecuencias.
3.1.3. Elección y evaluación de las variables apropiadas para la supervisión de la intervención.
- 76. Siempre que sea posible, el evaluador debe disponer de los medios con los que comprobar la marcha de la intervención.
- 77. Si resulta necesario, el evaluador debe vigilar la intervención. Realización del tratamiento. Dado que la intervención no es una actividad específica de evaluación, no se analizará. Aun así, en algunos casos puede que sea necesario realizar una valoración formativa durante la intervención.
- 78. Si es necesario, el evaluador debe vigilar la intervención o tratamiento para evitar desviaciones. Si las desviaciones son inevitables, deben registrarse cuidadosamente.
4. Valoración y seguimiento: si se ha intervenido, deben llevarse a cabo nuevos actos de evaluación.
- 79. El evaluador debe determinar en qué medida se puede valorar la intervención y su puesta en práctica (evaluación valorativa).
- 80. El evaluador debe informar a los interesados sobre la importancia de realizar una valoración de la misma.
4.1. Recogida de datos sobre los efectos de la intervención.
4.1.1. Inspección de los datos ya existentes.
- 81. El evaluador debe revisar los datos previos obtenidos en las fases 2 y 3, decidir cuáles son útiles para la valoración y elegir de entre ellos las mejores medidas de resultados.
- 82. El evaluador debe comprobar si la intervención se ha llevado a cabo tal como se había planificado.
- 83. El evaluador debe planificar la valoración con esmero, atendiendo tanto a los datos previamente recogidos ya disponibles, como a los datos adicionales que se deben recoger.
4.1.2. Recogida de datos posteriores a la intervención.
- 84. El evaluador debe administrar las medidas elegidas siguiendo lo establecido en 1.3.
- 85. El evaluador debe recoger, según se establece en 1.3, cualquier otra información sobre cambios positivos o negativos que puedan considerarse resultados de la intervención.
- 86. El evaluador debe recoger información empleando distintos indicadores y de diferentes fuentes.
4.2. Análisis de los resultados de la intervención.
4.2.1. Sobre los datos recogidos y siguiendo lo establecido en 1.4, extracción de conclusiones acerca de los efectos de la intervención.
- 87. El evaluador debe comparar los resultados con las demandas del cliente y con las metas de la intervención.
- 88. Antes de interpretar los efectos de la intervención, el evaluador debe comprobar si dichos efectos realmente se pueden atribuir a la intervención.
- 89. El evaluador debe comprobar si se han producido efectos colaterales.
- 90. El evaluador debe considerar las posibles explicaciones alternativas de los efectos de la intervención.
4.2.2. Informe de los resultados al cliente, sujeto u otros participantes.
- 91. El evaluador debe tratar los resultados de la valoración con el cliente, sujeto u otras personas participantes.
- 92. El evaluador debe justificar las conclusiones en relación con las demandas del cliente, las metas de la intervención y los efectos colaterales, de tal forma que los interesados puedan valorarlas.
4.2.3. Si es necesario, informe escrito al cliente, al sujeto o a las otras personas participantes. En la medida en que resultan aplicables, las mismas guías que en 2.2.
4.3. Seguimiento.
4.3.1. Planificación del seguimiento de acuerdo con el cliente y el sujeto.
- 93. El evaluador debe planificar el seguimiento, eligiendo objetivos pertinentes y realistas.
- 94. El evaluador debe discutir y llegar a un acuerdo sobre el plan de seguimiento con el cliente, el sujeto y demás interesados.
4.3.2. Evaluación del sujeto de acuerdo con el plan establecido.
- 95. El evaluador debe recoger los datos sobre el sujeto y demás participantes de acuerdo con lo planificado.
- 96. El evaluador debe recabar información del sujeto y demás participantes sobre posibles consecuencias positivas o negativas no previstas.
4.3.3. Análisis de resultados.
En la medida en que resultan aplicables, las mismas guías que en 4.2.1.
4.3.4. Discusión de los resultados con el cliente, el sujeto y los otros participantes.
En la medida en que resultan aplicables, las mismas guías que en 4.2.2.
4.3.5. Si es necesario, informar por escrito al cliente, al sujeto, o al resto de los participantes.
En la medida en que resultan aplicables, las mismas guías que en 2.2.1.
Fin del proceso de evaluación.
El proceso de evaluación finaliza cuando el evaluador termina su relación profesional, en lo que a tareas de evaluación se refiere, con la persona o institución (cliente) y con el sujeto o caso.
GLOSARIO DEL PROCESO DE EVALUACIÓN.
- Acuerdo formal: Contrato oral o escrito sobre las tareas de evaluación.
- Calidad (de los datos): Medida en que los datos cumplen los mejores estándares disponibles.
- Caso: El sujeto o situación que se toma como unidad de evaluación (ver también "Sujeto").
- Cliente: La persona o consumidor que contrata los servicios expertos de un evaluador (Scriven, 1991).
- Conocimiento profesional: Conjunto de teorías, métodos, procedimientos y destrezas utilizados o apreciados por el profesional del campo de la evaluación.
- Consentimiento (informado): Conformidad del sujeto con las actividades de evaluación o intervención tras haber sido detenidamente informado.
- Constructo: Una variable conceptual inferida o conjeturada que no es directamente observable.
- Coste-efectividad: Medida en que un procedimiento de evaluación produce iguales o mejores resultados que otro procedimiento rival (adaptado para este texto del Joint Committee, 1994).
- Criterios éticos: Normas profesionales establecidas por organizaciones profesionales de psicólogos.
- Datos: Material recogido en el curso de una evaluación que sirve para extraer información, discutir y establecer conclusiones (Joint Committee, 1994).
- Efectos colaterales: Consecuencias de la evaluación o la intervención distintas de los efectos que se pretendían producir.
- Estándar: Un principio, sobre el que existe acuerdo entre expertos, acerca de la utilización y las cualidades de los instrumentos y procedimientos de evaluación.
- Evaluación (psicológica): Por una parte, la actividad científica y profesional de recoger, valorar e integrar información sobre un sujeto (caso), utilizando en la medida de lo posible diferentes fuentes y de acuerdo con un plan previamente establecido, con el objetivo de responder a las demandas de un cliente; por otra parte, el desarrollo, construcción y valoración de los medios idóneos para recabar y procesar información sobre un caso.
- Evaluación de la Evaluabilidad: Establecer la medida en que un programa se presta a ser valorado (Fernández-Ballesteros, 1996, p.138).
- Evaluador: Una persona cualificada para llevar a cabo una evaluación.
- Formulación del caso: La descripción y análisis de la pregunta, demanda o problema del sujeto.
- Guía: Regla de actuación recomendada por expertos para mejorar u optimizar el proceso de evaluación.
- Hipótesis: Conjetura sobre algo que parece probable
a la luz de hechos previamente establecidos. Se pueden diferenciar varios
tipos de hipótesis:
- Descriptiva: La presunción de que una unidad de evaluación (un sujeto) posee determinadas características, cualidades, propiedades o rasgos (en una cierta medida o cantidad).
- Clasificatoria: La suposición de que una unidad de evaluación (un sujeto) es miembro de una clase particular especificada por un conjunto de indicadores.
- Predictiva: La estimación del estado futuro de las características de una unidad.
- Explicativa: La conjetura acerca de la causa o conjunto de causas de las características de una unidad.
- Informe: Comunicación oral o escrita de los resultados de la evaluación.
- Implicados: Individuos o grupos que pueden influir o ser influidos por una valoración (Joint Committee, 1994).
- Intervención: Conjunto de acciones realizadas por un profesional sobre un sujeto con un propósito dado.
- Norma(s): El valor, o distribución de valores, que representa el nivel de ejecución típico de un individuo o grupo.
- Otros participantes: Todas las personas -aparte del cliente, el evaluador y el sujeto- que de alguna forma colaboran en la evaluación.
- Procedimientos de evaluación: Instrumentos, tests, técnicas y otros dispositivos de medida, incluyendo métodos cualitativos de recogida de datos.
- Proceso de evaluación: La secuencia de pasos que el evaluador debe seguir para responder a las demandas del cliente.
- Profesional (en Evaluación Psicológica): Psicólogo con capacitación en el campo de la Evaluación Psicológica .
- Relación profesional: Vínculos interpersonales entre un profesional y su cliente o sujeto.
- Resultados: Efectos finales o definitivos, consecuencias de un tratamiento, o cambios producidos por una determinada acción.
- Seguimiento: Evaluación de los efectos a largo plazo de una intervención.
- Sesgo: Error sistemático o tendencia a errar que hace probable que se distorsione el proceso de evaluación.
- Sujeto: Persona, grupo u organización que se somete a evaluación (ver también "Caso").
- Supervisión: Seguimiento y comprobación de una intervención con el propósito de fiscalizarla y controlarla.
- Test: Un dispositivo o procedimiento de evaluación mediante el que se obtiene una muestra de la conducta del examinado en un determinado dominio, muestra que posteriormente se puntúa y valora de modo normalizado (APA, 1999).
- Valoración: Recogida e interpretación de evidencia sobre el funcionamiento y las consecuencias de una intervención (adaptado de Cronbach, 1990, p. 703).
Referencias:
- American Psychological Association (1999): Standards for educational and psychological testing. Washington, DC: American Psychological Association.
- Cronbach, L. J. (1990). Essentials of psychological testing (5 ed.). Nueva York: Harper & Row.
- Fernández-Ballesteros, R. (1996): "Evaluability Assessment and Policy Cycle: Measuring evaluability Assessment". CEDEFOP, Berlin.
- Fernández-Ballesteros, R., DeBruyn, E.E.J., Godoy, A., Hornke, L., Ter Laak, J. Vizcarro, C., Westhoff, K., Westmeyer H. & Zacagnini, J.L. (2001): Guidelines for the Assessment Process (GAP): A proposal for Discussion. European J. Of Psychological Assessment,17,187-200.
- Joint Committee on Standards for Educational Evaluation (1994): The program evaluation standards. Thousand Oaks, California: Sage Publications.
- Scriven, M. (1991): Evaluation thesaurus (4 ed.). Thousand Oaks, California: Sage Publications.