Les points à retenir du groupe de travail #6 sur l’évaluation de la démarche d’inclusion numérique

Pourquoi et comment évaluer une démarche d’inclusion numérique ? Telle était la problématique abordée lors de ce sixième et dernier groupe de travail du cycle de qualification organisé par PQN-A et Hubik, le 07 avril 2022. Après une présentation générale des fondements de l’évaluation, nous nous sommes exercés en ateliers de co-développement autour de deux études de cas. Retour sur les éléments travaillés.

 

Quelques fondamentaux de l’évaluation

 

Pourquoi évaluer ?

 

  • Rendre compte de l’action : la rendre visible et la justifier/légitimer auprès d’élus, d’instances, de partenaires
  • Améliorer l’efficience de l’action : analyser la mise en œuvre pour comprendre les effets
  • Mobiliser les acteurs, se projeter sur la période d’après

 

Et pour la démarche d’inclusion numérique ?

  • Éclairer la décision politique sur la poursuite de la démarche
  • Répondre à un enjeu de pérennisation des actions et des moyens dédiés

 

 

Quel type d’évaluation choisir ?

 

Il existe trois grands types d’évaluation :

  • Ex ante : avant la mise en œuvre > simulation d’évaluation
  • Ex post : à la fin de la période de mise en œuvre > bilan
  • In itinere : au fil de l’eau pendant la mise en œuvre > suivi continu

 

Le “nec plus ultra” de l’évaluation dans le domaine de l’action publique ?

  • Mesure de l’impact/l’impact social
  • Recours à une expertise externe (garant de la méthode)
  • Construction d’un cadre évaluatif en amont (au stade d’élaboration de la stratégie d’inclusion numérique)

 

 

L’évaluation en cinq étapes

 

Etape 1 : Définir une ambition et des partis-pris d’évaluation

 

  • A quoi cette évaluation doit-elle nous servir ? Quels objectifs viser ?
  • Combien de temps-homme peut-on y consacrer dans le temps imparti ?
  • Quelles sont les données/ressources/informations dont je dispose déjà ?
  • A première vue, souhaite-t-on (ou peut-on) faire appel à un prestataire extérieur ?
  • Parmi l’ensemble des domaines couverts par ma stratégie d’inclusion numérique, quels sont ceux qui sont les plus importants à cibler ? Pour moi ? Pour mes élus ?
  • Souhaite t-on approfondir ce qui a fonctionné, ou au contraire ce qui a moins bien fonctionné ?
  • Quelle place souhaite-t-on donner aux bénéficiaires finaux dans l’évaluation ? Où placer le curseur ?
  • Est-ce que je dispose des moyens (temps, compétences) pour réaliser une étude d’impact ou d’impact social ?

 

Étape 2 : Formuler des questions évaluatives

 

  • Point de départ de l’évaluation : quelles sont les questions à poser sur les actions mises en œuvre ?
  • Cadrer la réflexion
  • Traduire les préoccupations des acteurs
  • Elles peuvent être de trois types :
    • Descriptives : observer les phénomènes, mesurer les évolutions
    • Normatives : porter un jugement sur les résultats des actions
    • Instrumentales : chercher à améliorer l’action future

 

Points de vigilance :

  • Pas trop de questions
  • Questions pas trop larges
  • Des formulations qui permettent d’y répondre

 

Etape 3 : Identifier des critères et des indicateurs

 

  • Pour chaque question évaluative, on détermine un ou plusieurs critères d’évaluation : le critère d’évaluation est l’objet que l’on va observer pour répondre à la question.
  • Puis, on assigne à chaque critère, un ou plusieurs indicateurs : un indicateur est un élément mesurable ou appréciable qui permet d’objectiver un phénomène ou une évolution

 

Exemple : 

Quels partenariats la stratégie d’inclusion numérique a t-elle permis de mettre en place sur le territoire ?

Critère à mesurer : l’évolution des modalités de travail en commun

Indicateur de mesure : Nombre de réunions des différentes instances / Existence d’outils partagés

 

Remarques :

  • Les indicateurs peuvent être de différentes natures : de réalisation, de résultats ou d’impact. Ces derniers sont les plus délicats à manier.
  • Point de vigilance : s’assurer de la disponibilité des données avant de retenir un indicateur

 

 

Etape 4 : Choisir les méthodes et outils

 

  • La méthode de l’évaluation découle directement des étapes précédentes : les champs de contraintes (ressources humaines, temps, accessibilité des données, etc.), les partis-pris de l’évaluation et le choix de questions évaluatives.
  • Une grande diversité de méthodes, qualitatives et quantitatives, existent et que l’on peut combiner.
  • Il faut choisir les outils méthodologiques qui correspondent aux indicateurs retenus.

 

Exemples d’outils : analyses budgétaires ou financières, monographies/études de cas, analyses sociologiques des systèmes d’acteurs, analyses statistiques, enquêtes par questionnaires, focus groups, ateliers de prospective, etc.

 

Etape 5 : Construire un plan d’action

 

  • De manière classique, il s’agit de se doter d’un outil de gestion du “projet évaluation” et de fixer la répartition des rôles, les ressources et outils mobilisables par chacun, un calendrier réaliste, et les livrables attendus.
  • Une attention particulière peut être accordée à la question des livrables : définir en amont leur utilisation souhaitée (modalités de diffusion) pour gagner en efficacité en fin d’évaluation.

 

L’aval de l’évaluation : un temps à ne pas oublier

  • Définir les publics cibles de la restitution
  • Organiser un ou plusieurs temps forts de restitution
  • Utiliser la restitution comme un prétexte à la valorisation des dispositifs (faire connaître)

 

Pour en savoir plus, consultez la présentation réalisée par PQN-A et Hubik.

 

 

L’étude de cas de l’évaluation de l’action des conseillers numériques France Services, à la communauté de communes de Vals de Saintonge (17)

 

 

Atelier réalisé à Saint Hilaire de Ville Franche - Vals de Saintonge

Le territoire de la communauté de communes de Vals de Saintonge, situé en Charente-Maritime (17), est composé de 110 communes, soit 53 574 habitants. Ce territoire est caractérisé par une population vieillissante et décroissante. Le niveau de revenu est assez faible et peu évolutif. C’est un territoire classé en zone de revitalisation rurale. Confronté à de fortes problématiques d’accès au numérique, ils ont recruté deux conseillers numériques France Services. Afin de les intégrer à la stratégie du territoire sur l’inclusion numérique, ils ont formalisé une feuille de route. Ainsi, ils ont par exemple pu mettre en place une médiation numérique itinérante à la demande sur dix communes. Cependant, l’évaluation de l’action de ces conseillers est une réelle préoccupation pour le territoire. C’est pourquoi, deux questions principales se sont posées, que l’on a travaillé en atelier de co-développement :

 

  • En quoi les conseillers numériques ont-ils contribué à l’insertion de leurs bénéficiaires ? 
  • Comment le dispositif conseiller numérique existe t-il dans l’écosystème local ?

 

 

 

 

L’étude de cas du Département de Charente-Maritime (17) : comment entamer une évaluation collective avec l’ensemble des signataires de la convention partenariale d’inclusion numérique du Département ? 

 

Eléments de contexte

 

Le Département a entrepris une démarche d’inclusion numérique sur son territoire. Un plan d’action a été adopté en mars 2019 avec cinq axes prioritaires : 

  1. renseigner sur l’offre numérique
  2. permettre l’accès à Internet
  3. faciliter les démarches pour les services en ligne du Département
  4. accompagner aux usages des outils numériques 
  5. coordonner les actions à l’échelle départementale

 

Le Département souhaite signer des conventions partenariales (sur deux ans) avec les acteurs du territoire et faire un bilan annuel de la démarche. Les partenaires de la démarche flèchent les axes dans lesquels ils souhaitent s’investir. 

 

Typologie des parties prenantes : 

  • opérateurs de service public
  • Etablissements Publics de Coopération Intercommunale (EPCI) / communes
  • acteurs de l’inclusion numérique (centres sociaux, associations, hub, ..) 

 

Propositions pour répondre à la problématique initiale

 

En amont de l’évaluation il faut prendre en compte : 

 

  • les objectifs de chaque partenaire (notoriété, visibilité…) : que mesure-t-on ? l’efficacité pour chacun des partenaires ? pour le Département ?
  • la diversité des publics des différents partenaires

 

Les différentes étapes proposées pour mener l’évaluation : 

 

  • constituer une grille évaluative des actions menées 
    • l’entrée par public semble être la meilleure façon de monter en généralité
    • insérer ce cadre dans la convention 
  • avoir une évaluation simple et rapide pour faciliter les retours terrain 
  • prévoir des temps de parole avec les acteurs de terrain qui sont les premiers concernés 
  • pour les différentes cibles/différents publics : préciser comment on va les chercher
  • penser la manière dont on récupère les données : idée d’une fiche de liaison comme outil 

 

 

Vous souhaitez en savoir plus ? Contactez-nous !

 

Pays et Quartiers de Nouvelle-Aquitaine

Laurine Brun, référente Inclusion numérique et territoires

Tél : 07 72 55 06 99

Mail : laurine.brun@pqn-a.fr

 

Hubik

Hub de Nouvelle-Aquitaine pour un numérique inclusif

Mail : contact@hubik.fr

Partager