Cycle d'accompagnement FNE / Retour sur le GT#4 : évaluer qualitativement sa feuille de route

Ce GT intervient alors que des territoires démarrent la mise en oeuvre de leur plan d'actions et que d'autres finalisent la co-écriture de leur feuille de route France Numérique Ensemble et ce dans un contexte particulier d'arbitrage et de priorisation des ressources . Il apparaissait donc opportun de revenir de façon opérationnelle sur une étape importante du guide méthodologique proposé par Hubikoop et PQN-A : l'évaluation qualitative.

• Appréhender une méthode réaliste pour mener une évaluation qualitative de vos actions d’IN.
• Travailler en intelligence collective pour s’inspirer du partage d’expériences de chacun.
• Aboutir à des pistes concrètes de travail pour rendre compte de l’impact de votre feuille de route.
   

Ce GT #4 a réuni 14 personnes, toutes parties prenantes du pilotage et de l'animation des feuilles de route France Numérique Ensemble sur leur territoire : 

• agents de préfectures, 
• agents de conseils départementaux ou autres collectivités locales, 
• associations ou opérateurs publics de services numériques mandatés, 
• coordinateurs conseillers numériques,
•  conseillers numériques.
   

• Se rappeler les grands principes méthodologiques de l'évaluation
• Souligner les bénéfices et spécificités de l'évaluation qualitative
• S'approprier les approches et les étapes clés de l'évaluation qualitative à travers les situations et les besoins des participants
• Faire réagir un expert sur le travail des sous-groupes

Intervention de Thomas MACALUSO, PhD, Etudes, évaluations, plaidoyer pour le Programme Société Numérique, Agence Nationale de la Cohésion des Territoires (ANCT) :

# Bénéfice 1/4

Par opposition à l’évaluation quantitative, l’intention est ici d’interroger le ressenti, l’intime, l’expérience vécue des personnes ciblées.

On s’appuie sur des variables subjectives dans la mesure d’impact.

# Bénéfice 2/4

L’approche qualitative semble plus conforme à la nature des actions de médiation numérique.

On s’éloigne du scolaire avec une démarche plus humaine.

# Bénéfice 3/4

L’évaluation qualitative permet de repartir du sens des usages (tirer profit au mieux de ses outils), en tenant compte des contextes de chaque personne accompagnée.

La médiation numérique c’est un chemin personnel vers l'appropriation des outils numériques.

# Bénéfice 4/4

L’évaluation qualitative permet de s’affranchir de l’évolution permanente des usages et des outils.

Cette séquence a pris la forme d'une activité ludique : le jeu des 5 familles d'une démarche d'évaluation.

Les 5 principes d'une démarche d'évaluation sont :

1. Définir une ambition et des partis-pris
2. Formuler des questions évaluatives
3. Identifier des critères et des indicateurs
4. Choisir les méthodes et outils
5. Construire un plan d’action

Pour voir les éléments constitutifs et les points de vigilance de chaque étape : télécharger le jeu des 5 familles d'une démarche d'évaluation (.ppt) 

Une démarche d'évaluation qualitative peut être mise en oeuvre selon trois modalités distinctes :

1. Enquête / entretien individuel
2. Groupe de paroles / focus groupe
3. Observation (aveugle complet, semi-aveugle, ouvert)

Chacun de ces trois modes de faire à fait l'objet d'un travail en sous-groupe pour définir collectivement :

• Objectifs
• Questions évaluatives
• Critères
• Indicateurs

Réactions à chaud de T.Macaluso (ANCT) au travail du sous-groupe “Enquête / entretien individuel" :

• “Cette modalité demande d’avoir du temps : coté enquêteurs mais aussi coté personnes interrogées. Il est nécessaire de mesurer leur disponibilité alors que ces personnes ont déjà accordées du temps pour la médiation en elle-même.”
• “Questions ouvertes ou fermées ? Le choix des questions va dépendre de la taille de l’échantillon et de la capacité de traitement. Questions ouvertes : potentiellement très riches mais chronophages à traiter”.
• Il est important d’avoir toujours à l’esprit le contexte personnel des personnes accompagnées quand on cherche à mesurer l’impact d’un accompagnement..

Réactions à chaud de T.Macaluso (ANCT) au travail du sous-groupe “Groupe de paroles / focus groupe” :

• “Faire parler et écouter attentivement les publics afin d’appréhender leur compréhension des enjeux dans leurs rapports au numérique est finalement plus important que de chercher à mesurer leur niveau de compétences ou leur maîtrise des méthodes”.
• “Cette recherche de la mesure de la prise de conscience correspond au cœur de métier de la médiation numérique. C’est l’esprit de l’éducation populaire.”

Réactions à chaud de T.Macaluso (ANCT) au travail du sous-groupe “Observation” :

“La préparation est essentielle pour concevoir un bon questionnaire et faire les bons choix (je l’administre quand, comment, par quel canal...) ; pour ce faire, l’observation préalable du public cible en situation de médiation peut être très pertinente afin de comprendre le rapport émotionnel qui se joue et adapter le ‘ton’ juste dans les questions posées.”