Méthodes et outils en évaluation d’impact : parlons-en !

« Méthodes », « méthodologies », « outils » sont des mots récurrents en évaluation d’impact, et souvent associés à différents sens dans la démarche évaluative. Force est de constater que leur emploi diffère selon la définition qui leur est donnée et qu’une certaine confusion règne à ce sujet. Alors, qu’est-ce que les évaluateurs mettent derrière ces mots ? Comment appréhender les différentes méthodologies existantes ? Quels sont les typologies d’outils qui existent en évaluation ?

« Méthodes », « méthodologies », « principes méthodologiques » : plusieurs mots pour – le plus souvent – un même sens

Le jargon évaluatif regorge de mots dérivés de « méthode » dont les sens sont pourtant proches. Ici, nous proposons une présentation succincte des « méthodes » en évaluation d’impact.

Méthodes d’évaluation dites « quantitative » ou « qualitative »

Le plus souvent, la méthode quantitative s’appuie sur une enquête « fermée » qui revêt la forme d’un questionnaire (papier, téléphonique, en ligne ou en face à face). Sur la base d’un échantillon représentatif de la population ciblée, il est possible d’obtenir des chiffres clés généralisables à l’ensemble de cette population. La méthode qualitative se base sur une enquête ouverte afin d’approfondir les questionnements relatifs au parcours des bénéficiaires directs et indirects d’une action. Cette dernière peut prendre la forme d’entretiens semi-directifs, de focus group ou encore d’observation participante. Les deux méthodes ne s’excluent pas, au contraire, elles peuvent se compléter dans une logique de « triangulation des résultats*» (*consiste à employer deux ou plusieurs moyens différents pour vérifier un résultat).

Parallèlement à ces deux méthodes, les méthodes de valorisation économique telles que l’ACB (Analyse Coûts-Bénéfices) ou le SROI (Social Return On Investment) démontrent l’impact tout en le valorisant économiquement. La méthode de l’analyse coûts-bénéfices (Guide de l’ACB, Fondation Rexel et Improve) ou dite analyse des coûts évités mesure et valorise les économies qu’une intervention permet de réaliser à la société ou à une autre partie prenante, en résolvant une problématique sociale. Elle permet de comparer l’impact d’une solution en terme d’économie à une situation de référence (via des données de référence). La méthode SROI mesure et valorise des impacts en valeur monétaire. Dans les deux cas, le résultat attendu s’exprime monétairement. Cependant, l’ACB se base sur des indicateurs naturellement économiques et par définition transposables monétairement, c’est-à-dire traduisibles en termes de « valeur » au sens économique du terme. À la différence du SROI qui s’appuie sur des estimations en apposant une valeur monétaire à des impacts/indicateurs qui ne sont pas forcément de nature monétaire (par exemple le bien-être), traduisant ainsi la « valeur sociale » d’un programme ou d’une action.

« Protocoles d’évaluation » ou « méthodologies d’évaluation »

Le « protocole » ou la « méthodologie » d’évaluation est l’ensemble des choix opérationnels établis pour répondre aux questions évaluatives (quoi mesurer, quand mesurer, comment mesurer). Le choix d’une méthodologie d’évaluation est guidé par les enjeux et contraintes de l’organisation mais également par la rigueur souhaitée dans la mesure du changement et de l’attribution de l’impact aux actions de l’organisation.

Mesurer le changement
La mesure du changement, c’est-à-dire l’observation des évolutions dues aux actions de l’organisation chez les parties prenantes, requiert souvent une méthodologie amont/aval également dénommée ex-ante/ex-post. Celle-ci permet de réaliser une mesure avant l’intervention et après l’intervention. Lorsque la mesure du changement n’est pas réalisable en amont, elle se fait alors « a posteriori » et se base sur les perceptions des parties prenantes. La mesure du changement ne se limite pas toujours à deux temps de mesures (avant et après) et peut s’étaler dans le temps. La méthode longitudinale collecte et compare des données de manière régulière sur une période définie. La méthode continue s’appuie sur le même principe mais n’a pas de durée définie dans le temps.

Mesurer l’attribution
La mesure de l’attribution a pour objectif de définir dans quelle mesure les changements perçus par les parties prenantes sont dus aux actions mises en place par l’organisation (versus évolutions naturelles ou changements dus à des facteurs externes à l’organisation). La méthodologie dite contrefactuelle compare une situation « sans intervention » (groupe témoin) avec une situation « avec intervention » (groupe cible) auprès de deux échantillons de population jugés identiques. Cela permet d’identifier les impacts attribuables à l’intervention d’une organisation. Dans le cas où la formation de deux groupes d’échantillons n’est pas réalisable, la mesure se fait par « auto-attribution ».

Dans une logique de croisement des données, il est possible de coupler les méthodologies entre elles. La double différence est le résultat de la superposition entre les deux méthodologies amont/aval et contrefactuelle. Cette méthodologie est considérée comme très robuste et peut s’avérer très pertinente lorsque les conditions permettent sa réalisation (échantillons de population importants, intervention pas encore déployée, budget à consacrer à la collecte et l’analyse des données suffisant, etc.).

Méthodologies de travail

Plus rarement, le terme de « méthodologie » peut s’apparenter aux méthodologies de travail. Par exemple, l’évaluation participative consiste à intégrer dans la conception et la mise en œuvre de la démarche d’évaluation au moins une partie prenante. L’externalisation ou l’internalisation peuvent également être considérées comme des méthodologies de travail et peuvent se combiner l’une et l’autre (Improve, Internaliser ou externaliser une évaluation, comment choisir ?, octobre 2022).

2. Les « outils » en évaluation : un mot pour plusieurs typologies d’outils

En évaluation d’impact, le terme « outil » est fréquemment employé et revêt parfois plusieurs significations. Communément, il est question d’un instrument de mesure qui permet de mener à un résultat, mais il peut s’agir également d’outils facilitant le travail de cadrage ou encore de logiciels informatiques permettant la collecte et l’analyse des données.

Outils de cadrage

L’étape de cadrage est la première étape de toute démarche d’évaluation et permet de préparer celles à suivre. La Théorie du Changement (ToC) est l’outil de cadrage le plus systématique (bien qu’il en existe d’autres, comme le cadre logique). Il s’agit d’une cartographie visuelle qui permet de modéliser la manière dont le(s) changement(s) va/vont se produire. Nous le définissons comme un outil permettant de formaliser une stratégie d’impact par la modélisation d’hypothèses de liens de causes à effet entre actions portées et impacts pressentis sur les parties prenantes cibles.

D’autres outils de cadrage renvoient à une notion de facilité d’utilisation de l’outil et d’une caractéristique « clé en main ». Certaines plateformes en ligne (comme VALOR’ESS notamment) ont développé des référentiels d’indicateurs de gestion et d’impact, pour permettre aux structures d’identifier plus facilement les indicateurs pertinents nécessaires pour évaluer leurs actions et savoir comment collecter l’information.

Outils de collecte

Le terme « d’outil » en évaluation d’impact définit très souvent les outils de collecte, qu’il est possible de synthétiser comme suit : le questionnaire (ouvert ou fermé) prend la forme d’un formulaire (papier, en ligne, téléphonique, en face à face) et est un mode de collecte et de recueil de données qualitatives ou quantitatives. L’entretien semi-directif (téléphonique, en face à face ou en visioconférence) est individuel, il permet de récolter des données principalement qualitatives, via un guide composé de questions ouvertes. L’entretien groupé (atelier collectif ou focus group) recueille des données qualitatives où chaque membre du groupe a connaissance des réponses des autres participants et peut y réagir. L’analyse documentaire via des données publiques (par exemple l’INSEE) est une revue de littérature qui permet d’identifier des données utiles pour l’étude. L’observation se base sur une grille d’analyse afin de guider les éléments qui font l’objet de l’analyse. Enfin, les outils de reporting ou de suivi (comme le tableau de bord) récoltent de la donnée via des outils déjà existants au sein d’une organisation. Ces données peuvent être complétées ou analysées avec de nouvelles données (par exemple avec un logiciel CRM).

Outils de sondage en ligne

Les outils de sondage en ligne comme Survey Monkey, Google Form ou Kobotoolbox permettent de diffuser des questionnaires et de récupérer les réponses des participants. La diffusion en ligne ne peut se faire que lorsque les étapes de cadrage, de définition des indicateurs et de formulation des questions adaptées aux parties prenantes ont été réalisées.

Outils d’analyse

Les outils d’analyse sont nombreux concernant les données quantitatives, ce sont le plus souvent des logiciels d’analyses de données statistiques comme SPSS, R Studio, Stata, etc. Ils sont conçus pour analyser et traiter des données. Les logiciels d’analyse de données qualitatives sont moins répandus mais il en existe pour l’analyse de données textuelles, pour des retranscriptions mot à mot par exemple.