This is an Eval Central archive copy, find the original at triplead.blog.
Siguiendo con nuestra sección “Evaluación durante el desarrollo“, ya comentamos en el post “Control de calidad de las evaluaciones durante el desarrollo (o adaptativas)” que la Oficina de Evaluación de UNFPA ha desarrollado un nuevo y relevante “Marco de Garantía de calidad y valoración de las evaluaciones durante el desarrollo (o adaptativas) en UNFPA” para ayudar a la Oficina de evaluación y a terceros a valorar la calidad de las evaluaciones durante el desarrollo (o evaluaciones adaptativas) ejecutadas por/para esta agencia.
En este informe se indica que el enfoque para valorar la calidad de las evaluaciones durante el desarrollo (o adaptativas) se organiza en torno a seis características clave:
1. Una combinación de principios de evaluación durante el desarrollo y normas de evaluación del UNEG
2. Énfasis tanto en (a) informes de evaluación (productos) como (b) proceso de evaluación
3. Calificar la adherencia de la evaluación a las prácticas mínimas para cada principio / estándar.
4. Tres fuentes de datos y métodos
5. Un proceso de cinco pasos
6. Opciones para la escalada, replicación o ampliación
Cada una de estas características clave se describe a continuación:
1 Principios y estándares de evaluación del desarrollo
La manifestación de los principios / estándares de calidad para la evaluación durante el desarrollo es muy sensible al contexto: la eficacia con que los evaluadores y l@s implicad@s, los apliquen depende de una variedad de factores contextuales, incluida la capacidad institucional, la duración de la iniciativa, la naturaleza de la iniciativa que se evalúa, y dinámica de las partes interesadas, entre otros factores.
La valoración de la calidad de las evaluaciones durante el desarrollo se centrará en la medida en que el proceso de evaluación y los productos pudieron emplear características o prácticas mínimas para cada uno de los once principios y estándares de calidad: uno compartido (centrado en la utilidad / utilización), siete que son específicos de la evaluación durante el desarrollo y dos específicos del UNEG.
Principio compartido
1. Evaluación centrada en la utilidad / utilización
Principios de evaluación durante el desarrollo
2. Propósito de desarrollo
3. Rigor de la evaluación
4. Nicho de innovación
5. Perspectivas de la complejidad
6. Pensamiento sistémico
7. Co-creación
8. Comentarios oportunos
Normas UNEG
9. Independencia e imparcialidad
10. Credibilidad
11. Igualdad de género y derechos humanos
2 Productos y procesos de evaluación del desarrollo
En las evaluaciones de desarrollo, la calidad de la evaluación se expresa a través de:
• Productos de evaluación de calidad (por ejemplo, informes formales, resúmenes de aprendizaje en tiempo real, presentaciones de PowerPoint, memorandos de evaluación del desarrollo, notas de retroalimentación) y
• Procesos de evaluación de la calidad (por ejemplo, relaciones, discusiones evaluativas, revisión conjunta de la retroalimentación de la evaluación, toma de decisiones basada en datos).
Un enfoque convencional del control de calidad en las evaluaciones durante el desarrollo que se base completamente en valorar la calidad de los informes finales tradicionales tendría dos consecuencias perversas:
1. Examinaría solo un elemento, a veces muy modesto, de la experiencia de evaluación del desarrollo (es decir, un informe formal). Por lo tanto, perdería importantes interacciones de evaluación del día a día y múltiples formas de proporcionar retroalimentación en tiempo real que comprenden el mínimo de evaluación del desarrollo.
2. Con el tiempo, incentivaría a los evaluadores durante el desarrollo a realizar un esfuerzo desproporcionado en el desarrollo de un “control de calidad” para los evaluadores , mientras que disminuiría drásticamente el valor práctico de la evaluación durante el desarrollo para sus usuarios principales.
Para asegurar una valoración completa y más precisa de la calidad de las evaluaciones durante el desarrollo, el Marco de Calidad de la Oficina de Evaluación de la Organización debería cubrir tanto el producto como el proceso de las evaluaciones durante el desarrollo que se examinan.
3 Calificación de la adherencia a las prácticas mínimas
La valoración de las evaluaciones durante el desarrollo se realiza calificando el grado en que los productos y procesos de evaluación exhiben estándares de calidad para cada uno de los once principios / estándares de calidad. El sistema de calificación podría incluir calificaciones de bueno a débil.
4.Fuentes y métodos de datos
El proceso de evaluación de la calidad de las evaluaciones del desarrollo debe ser realizado por un evaluador externo independiente utilizando tres métodos.
Métodos para evaluar la calidad de las evaluaciones del desarrollo:
1. Evaluación realizada sobre la base de una revisión de productos o informes de evaluación de desarrollo finales y en tiempo real (p. Ej., Memorandos, mazos de presentación, etc.)
2. Evaluación realizada sobre la base de entrevistas con informantes clave con un número selecto de usuarios, evaluadores y comisionados principales previstos
3.Evaluación realizada sobre la base de entrevistas con el personal y los directores de evaluación
5 Los pasos para evaluar la calidad de las evaluaciones durante el desarrollo
La evaluación de la calidad de las evaluaciones de desarrollo de la organización es un proceso que consta de tres pasos principales.
Paso 1: determinación del alcance
Confirmar y finalizar la evaluación de desarrollo que se va a evaluar, las fuentes de datos clave y los contactos (por ejemplo, productos de evaluación, lista de usuarios de evaluación primarios, equipo de evaluación y personal), entregables, hitos clave y presupuesto.
Paso 2: implementación: Completando las siguientes cinco tareas:
Tarea 1: Revisar y calificar los productos de evaluación del desarrollo (por ejemplo, informes, presentaciones)
Tarea 2: Entrevistar y / o administrar encuestas de usuarios
Tarea 3: Entrevistar al evaluador durante el desarrollo y a los gestores de evaluación de la organización
Tarea 4: Elaborar el informe de evaluación de la calidad: Recopilando calificaciones de las tres fuentes y resumiendo el fundamento de cada calificación.
Tarea 5: Presentar el informe de valoración de la calidad
Paso 3: Revisión y aprobación de la Oficina de Evaluación de la Organización
El tiempo requerido para completar los pasos variará para cada evaluación, pero generalmente debe completarse en un mes.
6 Opciones para ampliar la valoración de la calidad
El enfoque para valorar la calidad de las evaluaciones durante el desarrollo describe un nivel mínimo de esfuerzo requerido para obtener una evaluación completa y de alto nivel de la evaluación.
Hay (al menos) dos razones para decidir ampliar, como las siguientes:
1 Para dar cabida a una iniciativa que es inusual por su tamaño, complejidad o duración, y / o un gran número de usuarios y evaluadores de la evaluación.
2 Para abordar los grandes riesgos que implica la evaluación, lo que requiere una revisión más detallada de la calidad de la evaluación durante el desarrollo.
Hay (al menos) cinco formas de ampliar este enfoque:
1. Ampliar la cantidad de usuarios, evaluadores y gerentes de evaluación de organizaciones entrevistados / encuestados.
2. Incluir entrevistas de seguimiento con participantes adicionales seleccionados de la encuesta para explorar temas clave con mayor profundidad.
3. Introducir nuevas fuentes de datos y métodos (por ejemplo, revisiones por pares).
4. Explorar aspectos particulares de la evaluación durante el desarrollo con mayor profundidad (por ejemplo, un incidente crítico, un conjunto de decisiones, un resultado específico).
5. Emprender un proceso de toma de sentido compartido entre las partes interesadas en la evaluación del desarrollo, en lugar de llevarlo a cabo únicamente por el evaluador de la calidad de la evaluación del desarrollo.
L@s gestor@s de evaluación determinarán si la garantía de calidad puede ampliarse y cómo se puede ampliar en consulta con las partes interesadas de la evaluación durante el desarrollo, y reflejarán este compromiso en un presupuesto de evaluación más grande, un cronograma más largo y una persona o empresa para completar la valoración de calidad.