Les notions d’évaluation d’impact et de reporting sont souvent employées pour décrire un même processus visant à prouver l’impact d’une organisation. Pourtant, ces deux notions ne servent pas les mêmes objectifs.
Cet article revient sur notre propre définition de l’impact et par déduction sur celle de l’évaluation d’impact faisant l’objet de méthodes spécifiques – nous permettant ainsi de mettre en lumière les différences entre évaluation d’impact et reporting.

L’importance des définitions
En évaluation, la notion d’impact ne connaît pas de consensus autour d’une définition unique. En tant qu’évaluateur, nous définissons l’impact comme « un ensemble de changements durables, positifs ou négatifs, attendus ou inattendus – engendrés par les activités d’une organisation et attribuables aux activités étudiées – de nature environnementale, économique ou sociale ».

Pour l’illustrer, reprenons le schéma de la chaîne de valeur de l’impact.

Ce dernier permet de différencier les impacts, définis comme les « conséquences imputables aux actions », des réalisations (« produits obtenus ») et des résultats (« effets immédiats ») (Avise, Impact social, de quoi parle-t-on ?, juin 2020).

Sur la base de ces définitions, la démarche d’évaluation d’impact repose donc sur deux objectifs clés :

L’importance des méthodes en évaluation d’impact
En évaluation d’impact, un indicateur en tant que tel n’est pas nécessairement preuve d’impact. Il peut s’agir d’indicateurs de caractérisation (typologies des publics bénéficiaires par exemple), d’indicateurs de performance (nombre de personnes touchées…) ou d’indicateurs de résultat (évolution de la situation des bénéficiaires…).

Concernant les indicateurs visant à démontrer l’impact d’une action, ce sont bien les notions de changement et d’attribution, évaluées par le biais de méthodes issues des sciences sociales, qui permettent de qualifier un indicateur d’impact. Par exemple, la méthode amont/aval rend possible l’évaluation objective du changement tandis que la méthode contrefactuelle permet d’attribuer des changements à une action (Improve, Méthodes et outils en évaluation d’impact : parlons-en !, janvier 2023).
A contrario, le reporting ne requiert pas l’emploi de méthodes de ce type. Il consiste en une remontée d’informations quantitatives à un ou des instant(s) donné(s), dont il est possible d’observer l’évolution dans le temps (accroissement d’activités ou du nombre de personne touchées par exemple).

Une autre différenciation clé de l’évaluation d’impact réside dans la nature des changements à évaluer, souvent de type psychosociaux. Si les méthodes et outils spécifiques évoqués ci-dessus permettent bien d’évaluer ce type de changements en évaluation d’impact, il est très difficile – voire impossible – de le faire dans le cadre du reporting.

Enfin, les données (si quantitatives) en évaluation d’impact nécessitent une analyse via des statistiques inférentielles, permettant de comprendre les mécanismes à l’œuvre et de généraliser les résultats obtenus à l’ensemble d’un public cible. Quant au reporting, les statistiques descriptives suffisent pour valoriser des chiffres clés et/ou les mettre au regard de données de références.

« Méthodes », « méthodologies », « outils » sont des mots récurrents en évaluation d’impact, et souvent associés à différents sens dans la démarche évaluative. Force est de constater que leur emploi diffère selon la définition qui leur est donnée et qu’une certaine confusion règne à ce sujet. Alors, qu’est-ce que les évaluateurs mettent derrière ces mots ? Comment appréhender les différentes méthodologies existantes ? Quels sont les typologies d’outils qui existent en évaluation ?

« Méthodes », « méthodologies », « principes méthodologiques » : plusieurs mots pour – le plus souvent – un même sens

Le jargon évaluatif regorge de mots dérivés de « méthode » dont les sens sont pourtant proches. Ici, nous proposons une présentation succincte des « méthodes » en évaluation d’impact.

Méthodes d’évaluation dites « quantitative » ou « qualitative »

Le plus souvent, la méthode quantitative s’appuie sur une enquête « fermée » qui revêt la forme d’un questionnaire (papier, téléphonique, en ligne ou en face à face). Sur la base d’un échantillon représentatif de la population ciblée, il est possible d’obtenir des chiffres clés généralisables à l’ensemble de cette population. La méthode qualitative se base sur une enquête ouverte afin d’approfondir les questionnements relatifs au parcours des bénéficiaires directs et indirects d’une action. Cette dernière peut prendre la forme d’entretiens semi-directifs, de focus group ou encore d’observation participante. Les deux méthodes ne s’excluent pas, au contraire, elles peuvent se compléter dans une logique de « triangulation des résultats*» (*consiste à employer deux ou plusieurs moyens différents pour vérifier un résultat).

Parallèlement à ces deux méthodes, les méthodes de valorisation économique telles que l’ACB (Analyse Coûts-Bénéfices) ou le SROI (Social Return On Investment) démontrent l’impact tout en le valorisant économiquement. La méthode de l’analyse coûts-bénéfices (Guide de l’ACB, Fondation Rexel et Improve) ou dite analyse des coûts évités mesure et valorise les économies qu’une intervention permet de réaliser à la société ou à une autre partie prenante, en résolvant une problématique sociale. Elle permet de comparer l’impact d’une solution en terme d’économie à une situation de référence (via des données de référence). La méthode SROI mesure et valorise des impacts en valeur monétaire. Dans les deux cas, le résultat attendu s’exprime monétairement. Cependant, l’ACB se base sur des indicateurs naturellement économiques et par définition transposables monétairement, c’est-à-dire traduisibles en termes de « valeur » au sens économique du terme. À la différence du SROI qui s’appuie sur des estimations en apposant une valeur monétaire à des impacts/indicateurs qui ne sont pas forcément de nature monétaire (par exemple le bien-être), traduisant ainsi la « valeur sociale » d’un programme ou d’une action.

« Protocoles d’évaluation » ou « méthodologies d’évaluation »

Le « protocole » ou la « méthodologie » d’évaluation est l’ensemble des choix opérationnels établis pour répondre aux questions évaluatives (quoi mesurer, quand mesurer, comment mesurer). Le choix d’une méthodologie d’évaluation est guidé par les enjeux et contraintes de l’organisation mais également par la rigueur souhaitée dans la mesure du changement et de l’attribution de l’impact aux actions de l’organisation.

Mesurer le changement
La mesure du changement, c’est-à-dire l’observation des évolutions dues aux actions de l’organisation chez les parties prenantes, requiert souvent une méthodologie amont/aval également dénommée ex-ante/ex-post. Celle-ci permet de réaliser une mesure avant l’intervention et après l’intervention. Lorsque la mesure du changement n’est pas réalisable en amont, elle se fait alors « a posteriori » et se base sur les perceptions des parties prenantes. La mesure du changement ne se limite pas toujours à deux temps de mesures (avant et après) et peut s’étaler dans le temps. La méthode longitudinale collecte et compare des données de manière régulière sur une période définie. La méthode continue s’appuie sur le même principe mais n’a pas de durée définie dans le temps.

Mesurer l’attribution
La mesure de l’attribution a pour objectif de définir dans quelle mesure les changements perçus par les parties prenantes sont dus aux actions mises en place par l’organisation (versus évolutions naturelles ou changements dus à des facteurs externes à l’organisation). La méthodologie dite contrefactuelle compare une situation « sans intervention » (groupe témoin) avec une situation « avec intervention » (groupe cible) auprès de deux échantillons de population jugés identiques. Cela permet d’identifier les impacts attribuables à l’intervention d’une organisation. Dans le cas où la formation de deux groupes d’échantillons n’est pas réalisable, la mesure se fait par « auto-attribution ».

Dans une logique de croisement des données, il est possible de coupler les méthodologies entre elles. La double différence est le résultat de la superposition entre les deux méthodologies amont/aval et contrefactuelle. Cette méthodologie est considérée comme très robuste et peut s’avérer très pertinente lorsque les conditions permettent sa réalisation (échantillons de population importants, intervention pas encore déployée, budget à consacrer à la collecte et l’analyse des données suffisant, etc.).

Méthodologies de travail

Plus rarement, le terme de « méthodologie » peut s’apparenter aux méthodologies de travail. Par exemple, l’évaluation participative consiste à intégrer dans la conception et la mise en œuvre de la démarche d’évaluation au moins une partie prenante. L’externalisation ou l’internalisation peuvent également être considérées comme des méthodologies de travail et peuvent se combiner l’une et l’autre (Improve, Internaliser ou externaliser une évaluation, comment choisir ?, octobre 2022).

2. Les « outils » en évaluation : un mot pour plusieurs typologies d’outils

En évaluation d’impact, le terme « outil » est fréquemment employé et revêt parfois plusieurs significations. Communément, il est question d’un instrument de mesure qui permet de mener à un résultat, mais il peut s’agir également d’outils facilitant le travail de cadrage ou encore de logiciels informatiques permettant la collecte et l’analyse des données.

Outils de cadrage

L’étape de cadrage est la première étape de toute démarche d’évaluation et permet de préparer celles à suivre. La Théorie du Changement (ToC) est l’outil de cadrage le plus systématique (bien qu’il en existe d’autres, comme le cadre logique). Il s’agit d’une cartographie visuelle qui permet de modéliser la manière dont le(s) changement(s) va/vont se produire. Nous le définissons comme un outil permettant de formaliser une stratégie d’impact par la modélisation d’hypothèses de liens de causes à effet entre actions portées et impacts pressentis sur les parties prenantes cibles.

D’autres outils de cadrage renvoient à une notion de facilité d’utilisation de l’outil et d’une caractéristique « clé en main ». Certaines plateformes en ligne (comme VALOR’ESS notamment) ont développé des référentiels d’indicateurs de gestion et d’impact, pour permettre aux structures d’identifier plus facilement les indicateurs pertinents nécessaires pour évaluer leurs actions et savoir comment collecter l’information.

Outils de collecte

Le terme « d’outil » en évaluation d’impact définit très souvent les outils de collecte, qu’il est possible de synthétiser comme suit : le questionnaire (ouvert ou fermé) prend la forme d’un formulaire (papier, en ligne, téléphonique, en face à face) et est un mode de collecte et de recueil de données qualitatives ou quantitatives. L’entretien semi-directif (téléphonique, en face à face ou en visioconférence) est individuel, il permet de récolter des données principalement qualitatives, via un guide composé de questions ouvertes. L’entretien groupé (atelier collectif ou focus group) recueille des données qualitatives où chaque membre du groupe a connaissance des réponses des autres participants et peut y réagir. L’analyse documentaire via des données publiques (par exemple l’INSEE) est une revue de littérature qui permet d’identifier des données utiles pour l’étude. L’observation se base sur une grille d’analyse afin de guider les éléments qui font l’objet de l’analyse. Enfin, les outils de reporting ou de suivi (comme le tableau de bord) récoltent de la donnée via des outils déjà existants au sein d’une organisation. Ces données peuvent être complétées ou analysées avec de nouvelles données (par exemple avec un logiciel CRM).

Outils de sondage en ligne

Les outils de sondage en ligne comme Survey Monkey, Google Form ou Kobotoolbox permettent de diffuser des questionnaires et de récupérer les réponses des participants. La diffusion en ligne ne peut se faire que lorsque les étapes de cadrage, de définition des indicateurs et de formulation des questions adaptées aux parties prenantes ont été réalisées.

Outils d’analyse

Les outils d’analyse sont nombreux concernant les données quantitatives, ce sont le plus souvent des logiciels d’analyses de données statistiques comme SPSS, R Studio, Stata, etc. Ils sont conçus pour analyser et traiter des données. Les logiciels d’analyse de données qualitatives sont moins répandus mais il en existe pour l’analyse de données textuelles, pour des retranscriptions mot à mot par exemple.

Avec l’expansion du numérique, nous sommes de plus en plus amené·es à répondre à tous types d’enquêtes (satisfaction, opinion, etc.). Si certaines incluent des questions demandant le nom, prénom ou encore l’adresse mail, d’autres n’en font pas mention. Et parfois figure cette note : « vos réponses sont anonymes », à laquelle nous prêtons plus ou moins attention. Alors, pourquoi est-il important de garantir l’anonymat dans une démarche d’évaluation d’impact ? Quand et comment l’employer dans le cadre de démarches d’évaluation ?

L’anonymat : une condition de fiabilité des résultats

Il se trouve que les enquêté·es sont naturellement poussé·es par un désir – inconscient – de se présenter de manière positive, souhaitant montrer une « bonne image » d’eux·elles-mêmes (i.e. le biais de désirabilité sociale). De plus, il se peut que les enquêté·e·s appréhendent la façon dont leurs réponses seront reçues par la structure, et qu’il leur soit difficile de répondre honnêtement. Par exemple dans le cadre d’une formation, ce peut être la crainte de générer des relations conflictuelles en remettant en question les contenus, les formateurs, etc. Ainsi, l’anonymat permet de récolter des réponses proches de la réalité, garantissant une meilleure fiabilité dans les résultats.

Préservation de l’anonymat, quelles difficultés ?

L’anonymat est plus facilement garanti lors d’enquêtes par questionnaire, le répondant étant en parfaite autonomie. En revanche, il existe des situations dans lesquelles la préservation de l’anonymat peut être compromise. Ce peut être lorsque la présence d’un·e enquêteur·rice est nécessaire : au cours d’entretiens semi-directifs ou lors d’une démarche par questionnaire nécessitant l’aide d’un tiers (répondants ayant des freins langagiers, cognitifs, etc.).

Garantir la confidentialité des réponses en présence d’un enquêteur

L’anonymat ne pouvant être toujours total, il en va de la responsabilité de l’enquêteur·rice de garantir la confidentialité des données récoltées vis-à-vis de toute autre personne ou entité externe à l’enquêteur·rice lui·elle-même. Par exemple, dans le cadre d’échantillons restreints, l’identité des enquêté·es peut se trouver facilement dévoilée. Ainsi, l’usage de moyens mnémotechniques (renommer l’enquêtée Madame Raton en Madame R) ou la désignation des enquêté·es par une caractéristique qui leur est propre (« Les deux familles monoparentales s’accordent à dire que… ») sont déconseillés.

Lorsqu’une structure souhaite entreprendre une démarche d’évaluation d’impact, la question du choix de l’internalisation ou de l’externalisation se pose. Voici quelques éléments d’éclairage pour mieux guider vos choix.

De quoi parle-t-on ?

A contrario, l’internalisation consiste à mener l’évaluation en autonomie en confiant chaque étape à un ou plusieurs membres de la structure : responsable mesure impact, responsable M&E (monitoring & évaluation), etc.

L’internalisation s’avère être un véritable levier pour la montée en compétences des salariés d’une structure. Si une démarche d’évaluation a vocation à être pérennisée via le suivi d’indicateurs, le recrutement et la formation des salariés peuvent être coûteux mais se révèlent être un choix financier stratégique sur le long terme. L’externalisation, quant à elle, s’apparente davantage à un gain de temps lorsque la structure ne dispose pas des compétences nécessaires. Côté coûts, elle peut être moins onéreuse dans le cadre d’évaluations ponctuelles.

Quelques questions essentielles pour faciliter la prise de décision :

De quel délai disposez-vous pour obtenir des résultats ? Si votre structure est contrainte par le temps pour la remise des résultats, il est conseillé de faire appel à un cabinet externe.

Quelle nécessité ou quel besoin d’avoir un regard externe ? Ce peut être pour répondre à une exigence externe, par exemple la demande d’une évaluation indépendante par vos partenaires financiers. Votre équipe peut également estimer qu’un regard externe/nouveau est bénéfique dans le cadre de la démarche d’évaluation.

Quelle(s) méthodologie(s) requiert la démarche d’évaluation ? Au cours d’une collecte de données qualitatives par exemple, le recours à l’externalisation par l’intervention d’un tiers externe est primordial, pour garantir l’anonymat des réponses d’une part et favoriser l’objectivité des conclusions d’autre part.

Les ressources internes de votre structure sont-elles suffisantes et/ou adaptées (compétences méthodologiques, disponibilités, etc.) ? Si votre structure dispose de compétences exploitables, elle peut combiner internalisation et externalisation. Vous pouvez par exemple choisir d’internaliser la création des outils de collecte (questionnaire, guide d’entretien, …) et externaliser l’analyse des données.

Quelle pérennisation pour son évaluation ? Si l’enjeu de pérennité est fort, il est plus intéressant qu’une personne de votre structure soit formée pour ne pas dépendre systématiquement d’un cabinet.

Pour citer cet article : Improve, Internaliser ou externaliser une évaluation, comment choisir, octobre 2022

« Formaliser un cahier des charges, c’est long… », « Je ne me vois pas rédiger un cahier des charges alors que je ne sais même pas quelle méthodologie utiliser », « J’ai un petit budget, rédiger un cahier des charges n’est pas nécessaire »… Autant d’idées reçues nous ont donné envie de fournir quelques recommandations quant à la rédaction d’un cahier des charges aux structures qui souhaitent s’engager dans une démarche d’évaluation d’impact.

Le cahier des charges : un indispensable ?

C’est un élément majeur dans la bonne compréhension par les cabinets d’évaluation des problématiques sous-jacentes à l’évaluation d’impact, qui leur permet d’apporter une réponse la plus adaptée possible.
De plus, en tant que structure, si vous souhaitez obtenir des financements externes pour mener à bien votre démarche d’évaluation d’impact, le cahier des charges peut s’avérer un excellent allié : il valorise votre projet en apportant précision et clarté sur vos intentions.

Les essentiels du cahier des charges

Afin de mieux retranscrire votre projet et vos intentions, le cahier des charges doit contenir un certain nombre d’informations.

1/ Une présentation générale de la structure et du projet à évaluer
Il est recommandé de débuter votre cahier des charges par une présentation générale de la structure – les membres de l’équipe, la mission sociale et les objectifs en matière d’impact. Si le projet à évaluer diffère des actions principales de la structure – s’il s’agit par exemple d’une innovation sociale ou d’une nouvelle action récemment mise en œuvre – il est important d’en faire une description précise. Notamment, un historique des évaluations internes et/ou externes menées auparavant, les parties prenantes ciblées et/ou impliquées pour la future démarche d’évaluation, etc. Cette introduction apportera des éléments de contexte et structurants pour la démarche.

2/ Les enjeux auxquels doit répondre la démarche d’évaluation
Afin de bien comprendre les enjeux qui vous poussent à conduire une évaluation d’impact pour votre structure, il est essentiel de se poser les bonnes questions : Pourquoi réaliser une évaluation d’impact ? Qu’est-ce que ma structure veut savoir et/ou obtenir ? Pour quelles raisons ? La définition de vos enjeux permet d’orienter le cabinet d’évaluation dans la construction de sa proposition d’accompagnement. A titre d’exemple, selon que la structure souhaite ou non pérenniser son évaluation sur le long terme, la proposition du cabinet peut s’avérer différente.

3/ Le périmètre souhaité pour l’évaluation
Il en va de même pour déterminer le périmètre de votre évaluation. En tenant compte de vos besoins et de vos contraintes, questionnez-vous sur les cibles de votre étude : Quelles parties prenantes sont concernées par mon action versus impliquées par l’étude ? Quelle(s) zone(s) géographique(s) sont à prioriser pour la collecte des données ? Etc. Ces informations sont un gain de temps pour la suite du projet et primordiales lors du cadrage de l’évaluation.

4/ La formulation des questions évaluatives
La formulation des questions évaluatives auxquelles l’évaluation devra répondre est une étape importante que nous vous conseillons de réaliser. Elles recentrent la démarche sur les éléments essentiels de l’action à évaluer, et garantissent une certaine cohérence avec les objectifs fixés.

5/ Les informations pratiques à transmettre
Certaines informations pratiques constituent un gain de temps considérable pour le projet, et doivent être inclues au cahier des charges : les deadlines souhaitées pour la transmission des livrables ou encore l’enveloppe budgétaire. Il faut savoir que les coûts d’une évaluation peuvent varier notamment en fonction du degré d’implication de l’évaluateur dans la démarche (par exemple selon la durée de la phase de collecte de données).

Concernant la formalisation des résultats de votre évaluation plusieurs options de format sont possibles : présentation visuelle ou rapport rédigé par exemple. Si le support de communication est essentiel pour votre structure, il s’avère pertinent de transmettre au cabinet prestataire vos souhaits en matière de format de livrable.

Quand faire parvenir le cahier des charges aux cabinets prestataires ?
L’idéal est de laisser 3 semaines au cabinet prestataire après envoi du cahier des charges pour obtenir une proposition d’accompagnement en adéquation avec les besoins de la structure. Il est important de considérer ce délai et de l’inclure dans son calendrier avant la date de début souhaitée pour l’évaluation.

Pour citer cet article : Improve, Le cahier des charges en évaluation d’impact : pour bien faire il faut bien commencer, octobre 2022