Évaluez et améliorez votre système de S&E en 6 étapes
Les professionnels du S&E dans les organisations de toutes tailles sont invités à créer des systèmes de suivi et d'évaluation qui soutiennent l'apprentissage et la responsabilité envers les personnes qu'ils servent et celles qui fournissent les ressources permettant leur travail. En raison de son importance, le système de S&E doit être évalué et, si nécessaire, amélioré pour soutenir efficacement les objectifs de l’organisation.
L'évaluation vous aide à garantir que les éléments indispensables à sa réussite existent et sont correctement mis en œuvre. Vous pouvez comprendre si la mise en œuvre du système de S&E permet d’obtenir les résultats escomptés en termes de collecte, d’analyse et d’utilisation des informations. Et enfin, via une évaluation, vous pouvez identifier les moyens de renforcer le système de S&E et de l'améliorer pour obtenir de meilleurs résultats à l'avenir.
Dans ce guide rapide, nous examinons six étapes clés pour vous aider à réaliser une évaluation du système de S&E, puis à agir en fonction de vos principales conclusions :
- Déterminer l’échelle et la portée du système de S&E
- Identifier les parties prenantes
- Fixer un calendrier en tenant compte du cycle budgétaire
- Effectuer l'évaluation
- Rapport sur les résultats 6 Agir sur les résultats
Enfin, nous partageons des ressources qui peuvent vous aider à démarrer l’évaluation. Pour plus d’informations, vous pouvez regarder l’enregistrement du Webinaire «Évaluation de votre système de suivi et d'évaluation».
Étape 1 : Déterminer l’échelle et la portée du système de S&E
La première étape consiste à déterminer à quel niveau vous évaluerez le système de S&E. Sur la base de l'orientation de ses activités, l' échelle du système de S&E peut être de différents niveaux :
- Projet: Mesure les résultats du projet et les indicateurs autour des activités du projet.
- Programme: Plusieurs projets contribuant aux objectifs du programme.
- Organisationnel: Plusieurs programmes dans plusieurs secteurs dans un cadre organisationnel d'impact par rapport auquel vous mesurez la performance de l'organisation dans son ensemble.
- National: Système complet de S&E collectant des données auprès de différents acteurs ou responsables de différents éléments d’un programme national.
Plus le niveau est élevé, plus la complexité peut être grande, il faut donc considérer les particularités de chaque niveau. Par exemple, au niveau organisationnel, vous devez prendre en compte la structure organisationnelle et la manière dont les décisions sont prises, car les résultats de l'évaluation devront être liés à la stratégie organisationnelle. Au niveau national, des facteurs environnementaux tels que la situation politique, la culture ou la législation en vigueur peuvent affecter la réalisation de vos activités et, par conséquent, l'accès à l'information et aux parties prenantes.
Portée fait référence aux éléments spécifiques du système de S&E que vous souhaitez évaluer. FHI360 partage 12 domaines d'un système de S&E fonctionnel, notamment :
- Processus : Plans et SOP, sécurité des données, budgétisation, systèmes de données, collecte et gestion des données.
- Personnes: Capacité et gestion des ressources humaines, leadership en S&E, évaluation du système de S&E, apprentissage et évaluation.
- Outils: Assurance qualité des données, analyse des données, utilisation et feedback.
Pour une évaluation complète, incluez tous les composants. Mais en cas de ressources limitées, sélectionnez les éléments sur lesquels votre évaluation se concentrera.
Étape 2 : identifier les parties prenantes
Ensuite, sélectionnez qui compose l’équipe d’évaluation :
- Équipe de base : Les personnes responsables en fin de compte de la mise en œuvre du système de S&E pour votre organisation doivent diriger la réalisation de l'évaluation (par exemple, le responsable du S&E, le responsable de la GI, le gestionnaire de données ou le spécialiste de la base de données).
- Contributeurs : Personnel de projet ou de mise en œuvre impliqué dans la mise en œuvre des activités de S&E et pouvant fournir des contributions à l'évaluation (par exemple, documentation à l'appui, preuves à l'appui des conclusions, retours qualitatifs pour le contexte, etc.)
Si une évaluation indépendante est nécessaire en raison des exigences ou de l’ampleur des donateurs, un consultant ou une entreprise tierce doit alors être impliqué pour diriger ou faciliter les activités.
Étape 3 : Établir un calendrier en tenant compte du cycle budgétaire
- Début du projet : Établissez une base de référence en effectuant une évaluation au début du projet pour pouvoir revenir plus tard pour examiner les changements au fil du temps et également découvrir les éléments critiques manquants suffisamment tôt.
- Réévaluation : Dans les projets ou programmes pluriannuels, il est utile de le faire sur une base annuelle, mais si vous avez identifié de nombreuses lacunes importantes, vous préférez peut-être le faire plus fréquemment, tous les six mois.
- Cycle budgétaire : Le calendrier doit y être lié, car vous pourriez découvrir des lacunes qui nécessitent un investissement financier. Il est donc bon d'avoir les conclusions et les recommandations prêtes pour monter un dossier afin d'assurer un budget pour le prochain cycle.
Avez-vous rejoint le projet ou l'organisation ultérieurement ? Il est toujours utile de réaliser une évaluation de base le plus tôt possible pour collecter des mesures qui vous aideront à comprendre et à renforcer le système de suivi et d’évaluation.
Étape 4 : Réaliser l'évaluation
Recueillez des informations auprès de toutes les parties prenantes impliquées dans le système de S&E, en combinant ces méthodes de collecte de données :
- Examen des documents : Examiner les documents existants qui expliquent comment le système de S&E devrait fonctionner, y compris des documents tels que la ToC, le cadre MEAL, le cadre de résultats, la liste des indicateurs, les outils de reporting, etc.
- Entretiens : Capturez des informations qualitatives afin d’obtenir plus d’explications et de nuances sur les choses qui fonctionnent ou ne fonctionnent pas.
- Enquêtes : Utile pour les équipes de programme ou les organisations plus importantes afin de collecter des preuves plus solides pour étayer les résultats recueillis.
Ensuite, atteignez une note de performance pour indiquer les performances du système de S&E en fonction de la portée et des composants sélectionnés. Vous pouvez utiliser une échelle de notation pour attribuer une note quantitative à chaque composante et inclure une composante qualitative pour expliquer comment la note a été obtenue.
Il existe divers outils qui peuvent vous aider à mener l'évaluation et à obtenir la note pour chaque composante basée par exemple sur des questions oui ou non, comme le Guide d'évaluation des systèmes de S&E de FHI 360.
Étape 5 : Rapport sur les résultats
Après l’évaluation, il est temps de rédiger un rapport sur les résultats. Un rapport d'évaluation doit contenir :
- Méthodologie: Expliquez l'ampleur et la portée, les méthodes de collecte de données utilisées, les personnes impliquées et les questions incluses.
- Résultats: Expliquez la note de performance finale attribuée au système de S&E, fournissez la justification ou la justification, identifiez les forces, les lacunes et les faiblesses à combler.
- Plan d'action : Il s'agit d'une liste de recommandations basées sur les forces et les faiblesses identifiées. Assurez-vous de préciser les interventions à mettre en œuvre, notamment comment, qui et quand.
Étape 6 : Agir sur les résultats
Une fois que vous avez une liste de recommandations, vous pouvez créer un plan d’action. Voici quelques exemples d’actions basées sur les résultats potentiels de l’évaluation :
- Personnes clés ou connaissances manquantes : Recruter le personnel clé ou offrez une formation.
- Ambiguïté sur les processus : Créez une documentation pour améliorer les processus existants ou les SOP afin de cristalliser ce qui doit se produire.
- Outils obsolètes ou manquants: Mettre à jour les anciens systèmes, développer de nouveaux outils, créer des produits d'information pour diffuser les connaissances.
- Lacunes dans la pile technologique: Investir dans la technologie pour rendre le système de S&E plus efficace. L’équipe ActivityInfo peut vous accompagner dans cette démarche.
Précisez les personnes responsables, les délais et le budget pour rendre le plan aussi concret et réalisable que possible. Déterminez comment les progrès seront mesurés et comment vous garantissez que l’approche reste participative.
Avez-vous abouti à une évaluation qui montre que votre système de S&E n’a besoin d’aucune amélioration ? Vous pouvez toujours bénéficier de l’exercice car vous pouvez désormais essayer de le reproduire dans davantage d’équipes ou de projets ou même à une plus grande échelle (par exemple, d’un projet à un programme).
Pour plus d'informations sur les évaluations des systèmes de S&E, vous pouvez regarder l'enregistrement du webinaire «Évaluation de votre système de suivi et d'évaluation».
Avez-vous identifié une lacune dans votre stack technologique ? Vous pouvez toujours nous contacter pour discuter de la manière dont ActivityInfo peut vous aider à mettre en œuvre un système de gestion de l'information robuste pour prendre en charge tous les composants de votre système de S&E.