Etape 1 : Définir une ambition et des partis-pris d’évaluation
- A quoi cette évaluation doit-elle nous servir ? Quels objectifs viser ?
- Combien de temps-homme peut-on y consacrer dans le temps imparti ?
- Quelles sont les données/ressources/informations dont je dispose déjà ?
- A première vue, souhaite-t-on (ou peut-on) faire appel à un prestataire extérieur ?
- Parmi l’ensemble des domaines couverts par ma stratégie d’inclusion numérique, quels sont ceux qui sont les plus importants à cibler ? Pour moi ? Pour mes élus ?
- Souhaite t-on approfondir ce qui a fonctionné, ou au contraire ce qui a moins bien fonctionné ?
- Quelle place souhaite-t-on donner aux bénéficiaires finaux dans l’évaluation ? Où placer le curseur ?
- Est-ce que je dispose des moyens (temps, compétences) pour réaliser une étude d’impact ou d’impact social ?
Étape 2 : Formuler des questions évaluatives
- Point de départ de l’évaluation : quelles sont les questions à poser sur les actions mises en œuvre ?
- Cadrer la réflexion
- Traduire les préoccupations des acteurs
- Elles peuvent être de trois types :
- Descriptives : observer les phénomènes, mesurer les évolutions
- Normatives : porter un jugement sur les résultats des actions
- Instrumentales : chercher à améliorer l’action future
Points de vigilance :
- Pas trop de questions
- Questions pas trop larges
- Des formulations qui permettent d’y répondre
Etape 3 : Identifier des critères et des indicateurs
- Pour chaque question évaluative, on détermine un ou plusieurs critères d’évaluation : le critère d’évaluation est l’objet que l’on va observer pour répondre à la question.
- Puis, on assigne à chaque critère, un ou plusieurs indicateurs : un indicateur est un élément mesurable ou appréciable qui permet d’objectiver un phénomène ou une évolution
Exemple :
Quels partenariats la stratégie d’inclusion numérique a t-elle permis de mettre en place sur le territoire ?
Critère à mesurer : l’évolution des modalités de travail en commun
Indicateur de mesure : Nombre de réunions des différentes instances / Existence d’outils partagés
Remarques :
- Les indicateurs peuvent être de différentes natures : de réalisation, de résultats ou d’impact. Ces derniers sont les plus délicats à manier.
- Point de vigilance : s’assurer de la disponibilité des données avant de retenir un indicateur
Etape 4 : Choisir les méthodes et outils
- La méthode de l’évaluation découle directement des étapes précédentes : les champs de contraintes (ressources humaines, temps, accessibilité des données, etc.), les partis-pris de l’évaluation et le choix de questions évaluatives.
- Une grande diversité de méthodes, qualitatives et quantitatives, existent et que l’on peut combiner.
- Il faut choisir les outils méthodologiques qui correspondent aux indicateurs retenus.
Exemples d’outils : analyses budgétaires ou financières, monographies/études de cas, analyses sociologiques des systèmes d’acteurs, analyses statistiques, enquêtes par questionnaires, focus groups, ateliers de prospective, etc.
Etape 5 : Construire un plan d’action
- De manière classique, il s’agit de se doter d’un outil de gestion du “projet évaluation” et de fixer la répartition des rôles, les ressources et outils mobilisables par chacun, un calendrier réaliste, et les livrables attendus.
- Une attention particulière peut être accordée à la question des livrables : définir en amont leur utilisation souhaitée (modalités de diffusion) pour gagner en efficacité en fin d’évaluation.
L’aval de l’évaluation : un temps à ne pas oublier
- Définir les publics cibles de la restitution
- Organiser un ou plusieurs temps forts de restitution
- Utiliser la restitution comme un prétexte à la valorisation des dispositifs (faire connaître)
Pour en savoir plus, consultez la présentation réalisée par PQN-A et Hubik.
Connexion
