L’évaluation des démarches d’inclusion numérique : focus sur la mesure d’impact

 

La mesure d’impact, on en parle beaucoup. Pourtant, ce type de démarche peut paraître compliqué à mettre en œuvre, lourde à piloter, voire inutile dans l’exploitation des données obtenues. Si elle n’est pas pensée de manière stratégique et opérationnelle, elle peut en effet relever du chemin de croix pour des professionnels du service public déjà occupés par la mise en œuvre de leurs activités au quotidien. Alice Ledret, consultante et chercheuse associée au cabinet Ellyx, nous explique. 

L’impact social est l’ensemble des changements positifs ou négatifs, attendus ou inattendus, et durables engendrés par les activités mises en place et attribuables à ces activités (Avise). Si la mesure de l’impact social est traditionnellement mobilisée par des acteurs privés (associations, entreprises sociales) évoluant dans le secteur de l’économie sociale et solidaire, ses principes et ses méthodes peuvent être adaptés pour répondre aux besoins d’acteurs publics et de collectivités locales pour appuyer leur politique publique.

 

Article rédigé par Alice Ledret

 

La mesure d’impact social :  approche stratégique et politique

 

« Que la stratégie soit belle est un fait mais n’oubliez pas de regarder le résultat »

 (citation attribuée à W. Churchill)

 

Les démarches de mesure d’impact sont historiquement liées aux pratiques de valorisation des résultats d’un projet ou de retour sur investissement, mais elles peuvent également constituer une boussole pour développer un projet et s’assurer de sa pertinence en termes de réponse au besoin social. C’est cette deuxième optique qui nous semble pertinente dans le cadre du développement d’une politique d’inclusion numérique. 

 

Dans le cadre d’une collectivité territoriale menant une politique d’inclusion numérique, on pourrait par exemple s’intéresser aux transformations sociales opérées par la distribution de chèques #Aptic, d’ateliers de formation de la population, d’équipement du territoire et des ménages, etc.  Cet article fait suite à un webinaire organisé le 30 juin dernier sur cette thématique. Ce dernier visait à éclairer, à l’aide des principaux enjeux et de quelques outils pratiques, ceux et celles qui souhaiteraient lancer leur propre démarche, et partager leurs réflexions avec leurs partenaires internes et externes.

 

Pourquoi mettre en place une démarche de mesure d’impact dans le cadre des démarches d’inclusion numérique ? 

 

Pour justifier l’intérêt de son action

 

Une mesure d’impact peut permettre de rendre compte de son action et de ses résultats vis-à-vis d’un public externe. Cette démarche peut être mobilisée pour se distinguer par rapport à d’autres initiatives, dans le cadre de projets de plaidoyer ou pour rendre compte d’un retour sur investissement. 

 

Pour s’améliorer

 

La mesure d’impact peut également permettre d’apporter en interne des informations stratégiques sur la capacité de l’action à générer les effets escomptés. Il s’agira de pouvoir observer si certains résultats sont décevants au regard des objectifs fixés initialement, et de venir s’interroger sur les causes et les améliorations à apporter. Nous recommandons également de partager ces résultats avec les partenaires de la mise en œuvre du projet (autres collectivités, État, opérateurs publics, associations, etc) afin de mieux répondre aux besoins d’ajustement du projet si cela est nécessaire. Ce cadre apparaît comme le plus pertinent ici et c’est sur cette base que nous nous proposons de développer cet article. 

 

De la mesure d’impact au pilotage par l’impact

 

Le pilotage de la stratégie par l’impact implique des outils similaires à ceux de la mesure d’impact mais une mise en œuvre différente. En effet, il apparaît que les effets d’un projet ou d’une politique publique peuvent parfois apparaître dans la durée. Par exemple, le renforcement de l’intégration sociale d’une personne ayant eu accès à des outils numériques et formée pour les utiliser n’apparaît pas directement à la suite de l’action. Les effets positifs d’une activité prennent parfois du temps à émerger voire à maturer. Le risque d’appliquer une mesure d’impact à trop court terme peut générer des résultats décevants et qui ne disent rien, au final, de l’utilité sociale des actions mises en œuvre

 

Le pilotage par l’impact implique ainsi de raisonner en termes de « trajectoires d’impact » des actions.  Très concrètement, cela implique d’un point de vue méthodologique de constituer des indicateurs et un processus de collecte de données dès l’élaboration de son action, en intégrant une temporalité dans les éléments observés. Ainsi, on pourra venir formaliser des indicateurs à atteindre à court terme, à moyen et à long terme. On se laissera également la possibilité de rajouter de nouveaux indicateurs et d’adapter la méthodologie en fonction des résultats observés au fur et à mesure.

 

Démarches d’inclusion numérique : que peut-on mesurer et comment ? Les étapes pas à pas

 

Etape 0 – Au préalable, savoir où on va pour mieux le mesurer : l’outil de la théorie du changement

 

Pour réaliser l’ensemble de ces étapes, nous vous conseillons de réunir une équipe projet, qui pourra suivre la démarche dans le temps long. Les membres de cette équipe doivent à la fois porter un regard stratégique sur le dispositif public mené, mais connaître également les éléments opérationnels des activités menées dans ce cadre.

 

La théorie du changement est un outil régulièrement utilisé dans les démarches de mesure d’impact social. C’est aussi un processus courant dans les méthodes de gestion de projets ou de gestion du changement : peut-être y êtes-vous déjà familiers ! Si ce premier cadre peut paraître intuitif et rapide à formaliser, il est au cœur de la démarche. En effet, il permet de se mettre d’accord sur le sens de l’action à mettre en œuvre. Par « sens », on entend ici la capacité du projet à répondre au besoin social initial, à résoudre la problématique sociétale initialement identifiée.  La théorie du changement va permettre de dérouler un cadre logique : du besoin social auquel on souhaite répondre, aux activités que l’on met en œuvre pour y répondre et aux indicateurs à construire pour illustrer les effets que l’on cherche à générer. 

 

 

Etape 1 – Le besoin social : expliciter les problématiques sociétales auxquelles le projet propose de répondre

 

Prenons par exemple la situation d’un territoire sur lequel il existe peu de solutions en faveur de l’inclusion numérique des habitants, et dans lequel les acteurs qui œuvrent dans ce sens sont peu connus.  Ce territoire souffre en parallèle d’un chômage important des jeunes peu qualifiés, qui maîtrisent mal les outils numériques, ce qui freine leur recherche d’emploi.

 

Etape 2 – La vision : expliciter quelle est la vision, le regard « politique porté sur la problématique sociale observée

 

On peut en effet répondre à des problèmes sociaux de différentes manières : on ne va pas, en conséquence, apporter les mêmes solutions. Dans le cadre d’un projet porté par une collectivité, la dimension politique est d’autant plus prégnante. 

Dans cette situation, la collectivité fait le choix de travailler sur le renforcement des compétences des personnes, la capacité des jeunes formés à pouvoir s’approprier les outils numériques et « s’empowerer ». Par ailleurs, l’inclusion numérique est perçue, au-delà de la maitrise d’outils techniques, comme une fenêtre d’ouverture et d’intégration sociale plus large. 

 

Ces deux premières catégories peuvent être comprises comme les objectifs du projet. Vous pouvez les fixer avec l’équipe projet !

 

Etape 3 – Les activités : les grandes actions, l’« offre de services » pour mettre en œuvre les projets

 

Quelles sont les solutions opérationnelles mobilisées ? Par exemple : Charte inclusion, Ateliers formation, Déploiement CNFS, Chèque APTIC, Alliance territoriale.

 

Etape 4 – Les réalisations : ce que l’on doit mettre en œuvre pour mettre en place les activités

 

Les réalisations explicitent ce qui est concrètement mis en œuvre pour faire vivre une action : par quoi cela se traduit-il dans les faits ? Si les réalisations ne constituent pas des indicateurs d’impact, elles illustrent néanmoins les efforts réalisés.

 

Par exemple, le nombre de : 

  • signataires de la charte inclusion
  • ateliers de formations organisés
  • Conseillers Numériques France Services recrutés
  • membres de l’Alliance Territoriale
  • Chéquiers #Aptic distribués

 

Ces deux dernières étapes correspondent aux moyens mobilisés pour mettre en œuvre le projet.

 

Etape 5 – Les résultats :  ce qui est produit directement par les activités

 

Qu’est ce qui est obtenu au moment de la réalisation de l’activité ? Si les résultats ne nous renseignent pas directement sur les transformations sociales générées par une activité, ils sont souvent intégrés dans les indicateurs d’impact.

 

Par exemple : 

  • Nombre de personnes formées lors des ateliers
  • Montée en compétences des participants sur les outils numériques 
  • Chèques #Aptic utilisés par les bénéficiaires
  • Personnes qui ont utilisé les chéquiers
  • Utilité perçue des formations  par les bénéficiaires

 

Ces éléments ne sont pas suffisants pour appréhender l’impact social d’une activité.  Par exemple, qu’est ce que les chèques apportent aux utilisateurs ? En quoi est ce utile de monter en compétence sur les outils numériques ? En quoi cela contribue-t-il à répondre au besoin social initial ? Ce sont ces transformations qui constituent les indicateurs d’impact. Mais pas de panique, les rapports de mesure d’impact intègrent généralement des indicateurs de résultats et d’impact ! 

 

Etape 6 – Les impacts : Quels sont les effets induits par ces activités ? Qu’est-ce que cela change pour la société ?

 

Il est important que les effets générés dans cette dernière catégorie répondent bien au besoin social identifié dans la première case ! C’est ce qui assurera la pertinence de la démarche au global. Si ces deux cases ne correspondent pas, c’est peut-être que les activités développées ne sont pas plus pertinentes pour répondre au besoin social. Dans ce cas, il s’agira de les faire évoluer !

 

La théorie du changement est en effet un outil dynamique qui doit vous servir de boussole.

 

Voici quelques exemples d’indicateurs en fonction des activités que vous pouvez développer : 

  • Sur les activités de réseaux entre les partenaires de l’inclusion numérique 
  • Amélioration de l’interconnaissance entre les acteurs 
  • Confiance accrue entre les acteurs
  • Développement de nouveaux projets entre les acteurs suite au programme 
  • Amélioration de l’insertion sociale ou professionnelle des personnes réorientées entre acteurs 


Sur les ateliers de formation :

  • Montée en compétences des personnes formées 
  • Sentiment de confiance accru des personnes
  • Amélioration de la vie sociale des bénéficiaires
  • Développement des liens intergénérationnels 
  • Meilleure utilisation des outils numériques dans le cadre de la recherche de travail
  • Amélioration du Taux d’insertion professionnelle des jeunes
  • Diminution du sentiment d’isolement  social des jeunes 

 

Ces deux dernières catégories correspondent aux effets générés par vos actions et constituent les indicateurs d’impact !

 

Mettre en œuvre la mesure d’impact : les principales étapes

 

Une fois la théorie du changement formalisée, la démarche de mesure d’impact peut être lancée. Voici ses trois grandes étapes de mise en œuvre : 

 

Etape 1 – En amont de la mise en œuvre des activités 

 

  1. Le cadrage stratégique : Il doit être établi avec les décisionnaires du projet et doit venir définir les attentes de la mesure d’impact : s’agit-il principalement de valoriser votre action ? De l’améliorer ? A qui vont être présentés les résultats ? Il doit également permettre d’identifier les ressources dont vous disposez pour réaliser cette mesure d’impact : qui va suivre le projet en interne ? Existe-t-il un budget dédié ? Faites-vous appel à un prestataire externe pour la réaliser ?
  2. La question évaluative : Tout simplement la question centrale de votre démarche. Qu’est-ce que vous cherchez à savoir avec cette démarche de mesure d’impact ? Ne cherchez pas à avoir une question trop large et priorisez en fonction de vos besoins.  Qu’est ce qui compte vraiment pour vous ? La question évaluative peut ainsi prendre différente forme. En suivant l’exemple cité plus haut, elle pourrait par exemple porter sur la politique publique en général : “Dans quelle mesure le programme d’inclusion  numérique contribue t’il à améliorer l’accès aux droits des habitants du territoire ?”. Elle peut au contraire être centrée sur une activité particulière : “ Dans quelle mesure l’outillage numérique des jeunes demandeurs d’emplois, via les chèques #Aptic et les ateliers de formations, permettent t’ils d’améliorer leur insertion professionnelle?”
  3. Les indicateurs d’impact : Comment allez-vous répondre à cette question ? Quelles sont les informations que vous cherchez à obtenir (voir étapes 5 et 6 de la théorie du changement)
  4. La construction des outils de collecte : plusieurs outils sont à votre disposition. Généralement, un mix entre des démarches quantitatives (questionnaires, données internes) et qualitatives (entretiens individuels ou collectifs) est préconisé. Les démarches quantitatives vous permettront de faire remonter des éléments chiffrés et statistiques, comme par exemple l’amélioration du taux d’insertion professionnelle des personnes en recherche d’emploi, ou un taux de satisfaction suite à la participation à une activité.

 

Les démarches qualitatives vous permettront de comprendre les processus, les parcours de vie des bénéficiaires, ce qui a fait qu’un dispositif fonctionne ou ne fonctionne pas.  Par exemple, un témoignage d’un habitant expliquant ses difficultés à maîtriser les outils numériques et ce que  les ateliers de formation ont changé pour lui. Un bon verbatim est aussi pertinent qu’un chiffre !

 

Etape 2 – Durant le déroulé des actions

 

Quelques points transversaux à garder en tête !

  • C’est impossible de tout mesurer : concentrez-vous sur ce qui compte vraiment pour votre collectivité !
  • Adaptez vos ambitions à vos moyens et aux enjeux de la mesure d’impact 
  • Inscrivez cette démarche dans le temps long pour mesurer la portée de vos actions 
  • Constituez-vous une équipe dédiée (avec des agents en interne voir d’un prestataire externe) qui suivra cette démarche sur le long terme et assurera sa cohérence

 

La collecte des données. Pour cela plusieurs outils gratuits sont disponibles, tels que google forms ou surveymonkey (pour formaliser un questionnaire, le diffuser et collecter les données). Si certaines mesure d’impact sont réalisées sur des activités déjà réalisées, cela peut poser beaucoup de problématiques opérationnelles (comment avoir accès aux bénéficiaires une fois qu’ils sont sortis du dispositif ?). C’est pourquoi nous vous recommandons de collecter les données durant la mise en œuvre des actions, quand cela est possible.

 

Etape 3 – Après la mise en œuvre de vos actions 

 

L’analyse et enfin le partage des résultats : Là aussi, des outils gratuits sont à votre disposition pour vous appuyer dans les analyses des résultats, tels que ExcelStat (pour analyser de manière statistique des réponses à des questionnaires). Certaines applications de logiciel en ligne comme Microsoft Forms ou Google Forms proposent des résumés d’analyse des résultats. 

Afin d’appuyer votre travail d’analyse, nous vous conseillons de reprendre votre liste d’indicateurs et de consolider les données que vous avez pu recueillir pour chacun d’entre eux. 

Pour le partage des résultats, plusieurs formats sont envisageables : rapport écrit, formats courts et visuels (plaquette, infographie, vidéos), qui sont plus facilement diffusables. Nous vous conseillons en tous les cas de partager votre démarche et vos résultats avec vos partenaires, pour œuvrer collectivement en faveur des effets que vous cherchez à opérer !

 

Pour aller plus loin …

 

 

Vous souhaitez en savoir plus ? Contactez-nous !

 

Pays et Quartiers de Nouvelle-Aquitaine

Laurine Brun, référente Inclusion numérique et territoires

Tél : 07 72 55 06 99

Mail : laurine.brun@pqn-a.fr

 

Hubik

Hub de Nouvelle-Aquitaine pour un numérique inclusif

Mail : contact@hubik.fr

 

Partager