Evalúe y mejore su sistema de M&E en 6 pasos
A los profesionales de MyE en organizaciones de todos los tamaños se les pide que creen sistemas de Monitoreo y Evaluación que respalden el aprendizaje y la rendición de cuentas hacia las personas a las que sirven y hacia quienes les proporcionan los recursos que permiten su trabajo. Debido a su importancia, el sistema de M&E debe evaluarse y, si es necesario, mejorarse para apoyar los objetivos de la organización de manera eficiente.
La evaluación le ayuda a garantizar que los componentes que son invaluables para su éxito existan y se implementen correctamente. Puede comprender si la implementación del sistema de M&E está logrando los resultados esperados en términos de recopilación, análisis y uso de información. Y, por último, a través de una evaluación se pueden identificar formas de fortalecer el sistema de M&E y mejorarlo para lograr mejores resultados en el futuro.
En esta guía rápida, analizamos seis pasos clave para ayudarle a realizar una evaluación del sistema de M&E y luego actuar en función de sus hallazgos clave:
- Determinar la escala y el alcance del sistema de M&E
- Identificar las partes interesadas
- Establecer un cronograma considerando el ciclo presupuestario
- Realizar la evaluación
- Informe sobre los hallazgos
- Actuar sobre los hallazgos
Finalmente, compartimos recursos que pueden ayudarlo a comenzar con la evaluación. Para más información, puede ver la grabación del Webinar ”Evaluación de su sistema de seguimiento y evaluación”.
Paso 1: Determinar la escala y el alcance del sistema de M&E
El primer paso es determinar para qué nivel evaluará el sistema de M&E. En función del enfoque de sus actividades, la escala del sistema de SyE puede ser de diferentes niveles:
- Proyecto: Mide los resultados del proyecto y los indicadores en torno a las actividades del proyecto.
- Programa: Múltiples proyectos que contribuyen a los objetivos del programa.
- Organizativo: Múltiples programas en múltiples sectores bajo un marco organizacional/de impacto con el cual se mide el desempeño de la organización en su conjunto.
- Nacional: Sistema integral de M&E que recopila datos entre diferentes actores o responsables de diferentes elementos de un programa nacional.
Cuanto mayor sea el nivel, mayor puede ser la complejidad, así que considere las particularidades de cada nivel. Por ejemplo, a nivel organizacional, es necesario tener en cuenta la estructura organizacional y cómo se toman las decisiones, ya que los resultados de la evaluación deberán estar vinculados a la estrategia organizacional. A nivel nacional, factores ambientales como la situación política, la cultura o la legislación vigente pueden afectar la realización de sus actividades y, como resultado, el acceso a la información y a las partes interesadas.
Alcance se refiere a los elementos específicos del sistema de M&E que desea evaluar. FHI360 comparte 12 dominios de un sistema de M&E funcional que incluye:
- Procesos: Planes y SOP, Seguridad de datos, Presupuesto, Sistemas de datos, Recopilación y gestión de datos.
- Gente: Capacidad y gestión de RR.HH., liderazgo en M&E, evaluación de sistemas de M&E, aprendizaje y evaluación.
- Herramientas: Aseguramiento de la calidad de los datos, análisis, uso y retroalimentación de los datos.
Para una evaluación integral, incluye todos los componentes. Pero en caso de recursos limitados, seleccione los componentes en los que se centrará su evaluación.
Paso 2: Identificar las partes interesadas
Luego, seleccione quiénes formarán el equipo de evaluación:
- Equipo central: Liderar la realización de la evaluación deben ser las personas responsables en última instancia de la implementación del sistema de M&E para su organización (por ejemplo, gerente de M&E, gerente de IM, administrador de datos o especialista en bases de datos).
- Colaboradores: Personal del proyecto o de implementación involucrado en la implementación de actividades de M&E que pueda proporcionar insumos para la evaluación (por ejemplo, documentación de respaldo, evidencia para respaldar los hallazgos, retroalimentación cualitativa para el contexto, etc.)
Si una evaluación independiente se requiere debido a los requisitos de los donantes o la escala, entonces se debe involucrar a un consultor o empresa externa para liderar o facilitar las actividades.
Paso 3: Establecer un cronograma considerando el ciclo presupuestario
- Inicio del proyecto: Establezca una línea de base realizando una evaluación al comienzo del proyecto para poder regresar más tarde para revisar los cambios a lo largo del tiempo y también descubrir elementos críticos que faltan con suficiente antelación.
- Re-valoración: En proyectos o programas de varios años, es útil hacer esto anualmente, pero sí identificó muchas brechas importantes, es posible que prefiera hacerlo con más frecuencia, cada seis meses.
- Ciclo presupuestario: El cronograma debe estar vinculado a él porque se podrían descubrir brechas que requerirían inversión financiera, por lo que es bueno tener los hallazgos y recomendaciones listos para construir un caso que asegure un presupuesto para el próximo ciclo.
¿Se unió al proyecto u organización en un momento posterior? Sigue siendo útil realizar una evaluación de referencia lo antes posible para recopilar medidas que le ayudarán a comprender y fortalecer el sistema de seguimiento y evaluación.
Paso 4: Realizar la evaluación
Recopile ideas de todas las partes interesadas involucradas en el sistema de M&E, combinando estos métodos de recopilación de datos:
- Revisión de documentos: Examinar los documentos existentes que explican cómo se espera que funcione el sistema de M&E, incluidos documentos como la ToC, el marco MEAL, el marco de resultados, la lista de indicadores, las herramientas de presentación de informes, etc.
- Entrevistas: Capture información cualitativa para obtener más explicaciones y matices sobre las cosas que funcionan o no.
- Encuestas: Útil para que equipos u organizaciones de programas más grandes recopilen evidencia más sólida para respaldar los hallazgos recopilados.
Luego, alcance una Calificación de Desempeño para indicar qué tan bien se está desempeñando el sistema de M&E según el alcance y los componentes seleccionados. Puede utilizar una escala de calificación para otorgar una puntuación cuantitativa a cada componente e incluir un componente cualitativo para explicar cómo se logró la puntuación.
Existen varias herramientas que pueden ayudarle a realizar la evaluación y obtener la calificación para cada componente basándose, por ejemplo, en preguntas de sí o no, como la Guía de evaluación de sistemas de M&E de FHI 360.
Paso 5: Informe sobre los hallazgos
Después de la evaluación, es hora de presentar un informe sobre los hallazgos. Un informe de evaluación debe contener:
- Metodología: Explique la escala y el alcance, los métodos de recopilación de datos utilizados, quiénes participaron y las preguntas incluidas.
- Recomendaciones: Explique la calificación final del desempeño que se le dio al sistema de M&E, proporcione el fundamento o justificación, identifique las fortalezas, brechas y debilidades que deben abordarse.
- Plan de acción: Esta es una lista de recomendaciones basadas en las fortalezas y debilidades identificadas; asegúrese de especificar las intervenciones a implementar, incluido cómo, quién y cuándo.
Paso 6: actuar sobre los hallazgos
Una vez que tenga una lista de recomendaciones, puede crear un curso de acción. A continuación se muestran algunos ejemplos de acciones basadas en posibles hallazgos de la evaluación:
- Personas clave o conocimientos faltantes: Reclutar personal clave o brindar capacitación.
- Ambigüedad en los procesos: Cree documentación para mejorar los procesos existentes o los SOP para cristalizar lo que debe suceder.
- Herramientas obsoletas o faltantes: Actualizar sistemas antiguos, desarrollar nuevas herramientas, crear productos de información para difundir conocimientos.
- Brechas en la pila de tecnología: Invertir en tecnología para hacer más eficiente el sistema de M&E. El equipo de ActivityInfo puede ayudarle en esto.
Especifique las personas responsables, los plazos y el presupuesto para que el plan sea lo más concreto y viable posible. Determine cómo se medirá el progreso y cómo garantizará que el enfoque siga siendo participativo.
¿Terminaste con una evaluación que muestra que tu sistema de M&E no necesita ninguna mejora? Aún puede beneficiarse del ejercicio, ya que ahora puede intentar replicarlo en más equipos o proyectos o incluso a mayor escala (por ejemplo, desde un nivel de proyecto hasta un nivel de programa).
Para obtener más información sobre las evaluaciones de sistemas de M&E, puede ver la grabación del Webinar Evaluación de su sistema de seguimiento y evaluación.
¿Identificó una brecha en su pila tecnológica? Siempre puede contactarnos para analizar cómo ActivityInfo puede ayudarle a implementar un sistema sólido de gestión de la información para respaldar todos los componentes de su sistema de M&E.