La Théorie du Changement tire son origine et acronyme de l’anglais Theory of Change (ToC). C’est un outil connu de l’évaluation d’impact qui permet de définir le processus de changement social attendu d’une action/d’un programme d’action. Le plus souvent formalisée grâce à un outil de mind mapping*, la théorie du changement présente visuellement le processus de changement : d’un côté (à gauche) les actions portées auprès de la partie prenante préalablement identifiée et de l’autre (à droite) la mission sociale. L’ensemble des changements attendus – directs, indirects, court terme, long terme… – se déclinent entre ces deux axes.

1. La réalisation de sa théorie du changement implique nécessairement de (re)définir la mission sociale de son organisation.
Cette dernière étant l’objectif final visé par l’ensemble des actions portées par une organisation, elle va se trouver à droite de la ToC visuellement – comme la finalité de tout processus de changement. Souvent, la formalisation de la mission sociale se résume en une phrase clé qui permet à l’ensemble des parties prenantes de s’aligner ou de se réaligner sur une vision commune. Ce qui représente déjà en soi une réelle valeur ajoutée dans la vie d’une organisation.

2. La théorie du changement permet de formaliser des hypothèses théoriques sous-jacentes à un projet.
Ces dernières constituent l’ensemble des mécanismes permettant d’obtenir l’impact recherché. Il s’agit de formuler des hypothèses selon lesquelles nous estimons que les changements sociétaux vont survenir dans le temps. (Pour en savoir plus sur l’objectivation du changement : Improve, Evaluation d’impact et reporting : quelles différences ?, février 2023). Si nous parlons d’hypothèses théoriques c’est parce qu’elles n’ont pas encore été soumises à évaluation.

En parallèle, identifier les facteurs clés de succès est important pour comprendre à quelles conditions les changements s’opèrent et « garantir » leur réalisation. La représentation visuelle permet de prendre connaissance de l’ensemble de ces éléments – hypothèses et facteurs clés de succès – plus facilement et plus rapidement.

3. Construire sa ToC est l’opportunité d’identifier ou de mieux connaître les liens de cause à effet entre une action et un (des) changement(s).
Dans le processus de changement, il est possible d’observer des « boucles de rétroaction » : une influence mutuelle entre deux variables. Par exemple, l’atteinte de l’impact « Développer son réseau professionnel » peut à son tour amplifier ou ralentir l’impact « Acquérir de nouvelles connaissances sur un secteur d’activité ».

4. Enfin, une fois la théorie du changement finalisée, on dispose d’une visualisation exhaustive et détaillée de l’ensemble des changements à l’œuvre. Il est ainsi plus facile de prioriser les impacts clés à évaluer (puisqu’on ne peut jamais tout évaluer…!).
Il convient de  tenir compte des enjeux et contraintes de l’organisation pour effectuer au mieux cette tâche de priorisation. Afin de faciliter la prise de décision, il est intéressant de se poser les bonnes questions. Par exemple : « Cet impact est-il facilement mesurable ? », « Cet impact est-il essentiellement attribuable à mon action ? ». Ou encore « Est-ce un impact (in)direct, (in)désirable, (in)attendu ? », etc.

La priorisation des impacts est une étape importante pour ensuite pouvoir traduire ces impacts priorisés en termes d’indicateurs. La/les nature(s) de ces derniers conduisent à des choix de méthodes et d’outils de collecte adaptés pour la suite de l’évaluation (Improve, Méthodes et outils en évaluation d’impact : parlons-en !, février 2023).

*Comme Xmind ou Miro par exemple.

Les notions d’évaluation d’impact et de reporting sont souvent employées pour décrire un même processus visant à prouver l’impact d’une organisation. Pourtant, ces deux notions ne servent pas les mêmes objectifs.
Cet article revient sur notre propre définition de l’impact et par déduction sur celle de l’évaluation d’impact faisant l’objet de méthodes spécifiques – nous permettant ainsi de mettre en lumière les différences entre évaluation d’impact et reporting.

L’importance des définitions
En évaluation, la notion d’impact ne connaît pas de consensus autour d’une définition unique. En tant qu’évaluateur, nous définissons l’impact comme « un ensemble de changements durables, positifs ou négatifs, attendus ou inattendus – engendrés par les activités d’une organisation et attribuables aux activités étudiées – de nature environnementale, économique ou sociale ».

Pour l’illustrer, reprenons le schéma de la chaîne de valeur de l’impact.

Ce dernier permet de différencier les impacts, définis comme les « conséquences imputables aux actions », des réalisations (« produits obtenus ») et des résultats (« effets immédiats ») (Avise, Impact social, de quoi parle-t-on ?, juin 2020).

Sur la base de ces définitions, la démarche d’évaluation d’impact repose donc sur deux objectifs clés :

L’importance des méthodes en évaluation d’impact
En évaluation d’impact, un indicateur en tant que tel n’est pas nécessairement preuve d’impact. Il peut s’agir d’indicateurs de caractérisation (typologies des publics bénéficiaires par exemple), d’indicateurs de performance (nombre de personnes touchées…) ou d’indicateurs de résultat (évolution de la situation des bénéficiaires…).

Concernant les indicateurs visant à démontrer l’impact d’une action, ce sont bien les notions de changement et d’attribution, évaluées par le biais de méthodes issues des sciences sociales, qui permettent de qualifier un indicateur d’impact. Par exemple, la méthode amont/aval rend possible l’évaluation objective du changement tandis que la méthode contrefactuelle permet d’attribuer des changements à une action (Improve, Méthodes et outils en évaluation d’impact : parlons-en !, janvier 2023).
A contrario, le reporting ne requiert pas l’emploi de méthodes de ce type. Il consiste en une remontée d’informations quantitatives à un ou des instant(s) donné(s), dont il est possible d’observer l’évolution dans le temps (accroissement d’activités ou du nombre de personne touchées par exemple).

Une autre différenciation clé de l’évaluation d’impact réside dans la nature des changements à évaluer, souvent de type psychosociaux. Si les méthodes et outils spécifiques évoqués ci-dessus permettent bien d’évaluer ce type de changements en évaluation d’impact, il est très difficile – voire impossible – de le faire dans le cadre du reporting.

Enfin, les données (si quantitatives) en évaluation d’impact nécessitent une analyse via des statistiques inférentielles, permettant de comprendre les mécanismes à l’œuvre et de généraliser les résultats obtenus à l’ensemble d’un public cible. Quant au reporting, les statistiques descriptives suffisent pour valoriser des chiffres clés et/ou les mettre au regard de données de références.

« Méthodes », « méthodologies », « outils » sont des mots récurrents en évaluation d’impact, et souvent associés à différents sens dans la démarche évaluative. Force est de constater que leur emploi diffère selon la définition qui leur est donnée et qu’une certaine confusion règne à ce sujet. Alors, qu’est-ce que les évaluateurs mettent derrière ces mots ? Comment appréhender les différentes méthodologies existantes ? Quels sont les typologies d’outils qui existent en évaluation ?

« Méthodes », « méthodologies », « principes méthodologiques » : plusieurs mots pour – le plus souvent – un même sens

Le jargon évaluatif regorge de mots dérivés de « méthode » dont les sens sont pourtant proches. Ici, nous proposons une présentation succincte des « méthodes » en évaluation d’impact.

Méthodes d’évaluation dites « quantitative » ou « qualitative »

Le plus souvent, la méthode quantitative s’appuie sur une enquête « fermée » qui revêt la forme d’un questionnaire (papier, téléphonique, en ligne ou en face à face). Sur la base d’un échantillon représentatif de la population ciblée, il est possible d’obtenir des chiffres clés généralisables à l’ensemble de cette population. La méthode qualitative se base sur une enquête ouverte afin d’approfondir les questionnements relatifs au parcours des bénéficiaires directs et indirects d’une action. Cette dernière peut prendre la forme d’entretiens semi-directifs, de focus group ou encore d’observation participante. Les deux méthodes ne s’excluent pas, au contraire, elles peuvent se compléter dans une logique de « triangulation des résultats*» (*consiste à employer deux ou plusieurs moyens différents pour vérifier un résultat).

Parallèlement à ces deux méthodes, les méthodes de valorisation économique telles que l’ACB (Analyse Coûts-Bénéfices) ou le SROI (Social Return On Investment) démontrent l’impact tout en le valorisant économiquement. La méthode de l’analyse coûts-bénéfices (Guide de l’ACB, Fondation Rexel et Improve) ou dite analyse des coûts évités mesure et valorise les économies qu’une intervention permet de réaliser à la société ou à une autre partie prenante, en résolvant une problématique sociale. Elle permet de comparer l’impact d’une solution en terme d’économie à une situation de référence (via des données de référence). La méthode SROI mesure et valorise des impacts en valeur monétaire. Dans les deux cas, le résultat attendu s’exprime monétairement. Cependant, l’ACB se base sur des indicateurs naturellement économiques et par définition transposables monétairement, c’est-à-dire traduisibles en termes de « valeur » au sens économique du terme. À la différence du SROI qui s’appuie sur des estimations en apposant une valeur monétaire à des impacts/indicateurs qui ne sont pas forcément de nature monétaire (par exemple le bien-être), traduisant ainsi la « valeur sociale » d’un programme ou d’une action.

« Protocoles d’évaluation » ou « méthodologies d’évaluation »

Le « protocole » ou la « méthodologie » d’évaluation est l’ensemble des choix opérationnels établis pour répondre aux questions évaluatives (quoi mesurer, quand mesurer, comment mesurer). Le choix d’une méthodologie d’évaluation est guidé par les enjeux et contraintes de l’organisation mais également par la rigueur souhaitée dans la mesure du changement et de l’attribution de l’impact aux actions de l’organisation.

Mesurer le changement
La mesure du changement, c’est-à-dire l’observation des évolutions dues aux actions de l’organisation chez les parties prenantes, requiert souvent une méthodologie amont/aval également dénommée ex-ante/ex-post. Celle-ci permet de réaliser une mesure avant l’intervention et après l’intervention. Lorsque la mesure du changement n’est pas réalisable en amont, elle se fait alors « a posteriori » et se base sur les perceptions des parties prenantes. La mesure du changement ne se limite pas toujours à deux temps de mesures (avant et après) et peut s’étaler dans le temps. La méthode longitudinale collecte et compare des données de manière régulière sur une période définie. La méthode continue s’appuie sur le même principe mais n’a pas de durée définie dans le temps.

Mesurer l’attribution
La mesure de l’attribution a pour objectif de définir dans quelle mesure les changements perçus par les parties prenantes sont dus aux actions mises en place par l’organisation (versus évolutions naturelles ou changements dus à des facteurs externes à l’organisation). La méthodologie dite contrefactuelle compare une situation « sans intervention » (groupe témoin) avec une situation « avec intervention » (groupe cible) auprès de deux échantillons de population jugés identiques. Cela permet d’identifier les impacts attribuables à l’intervention d’une organisation. Dans le cas où la formation de deux groupes d’échantillons n’est pas réalisable, la mesure se fait par « auto-attribution ».

Dans une logique de croisement des données, il est possible de coupler les méthodologies entre elles. La double différence est le résultat de la superposition entre les deux méthodologies amont/aval et contrefactuelle. Cette méthodologie est considérée comme très robuste et peut s’avérer très pertinente lorsque les conditions permettent sa réalisation (échantillons de population importants, intervention pas encore déployée, budget à consacrer à la collecte et l’analyse des données suffisant, etc.).

Méthodologies de travail

Plus rarement, le terme de « méthodologie » peut s’apparenter aux méthodologies de travail. Par exemple, l’évaluation participative consiste à intégrer dans la conception et la mise en œuvre de la démarche d’évaluation au moins une partie prenante. L’externalisation ou l’internalisation peuvent également être considérées comme des méthodologies de travail et peuvent se combiner l’une et l’autre (Improve, Internaliser ou externaliser une évaluation, comment choisir ?, octobre 2022).

2. Les « outils » en évaluation : un mot pour plusieurs typologies d’outils

En évaluation d’impact, le terme « outil » est fréquemment employé et revêt parfois plusieurs significations. Communément, il est question d’un instrument de mesure qui permet de mener à un résultat, mais il peut s’agir également d’outils facilitant le travail de cadrage ou encore de logiciels informatiques permettant la collecte et l’analyse des données.

Outils de cadrage

L’étape de cadrage est la première étape de toute démarche d’évaluation et permet de préparer celles à suivre. La Théorie du Changement (ToC) est l’outil de cadrage le plus systématique (bien qu’il en existe d’autres, comme le cadre logique). Il s’agit d’une cartographie visuelle qui permet de modéliser la manière dont le(s) changement(s) va/vont se produire. Nous le définissons comme un outil permettant de formaliser une stratégie d’impact par la modélisation d’hypothèses de liens de causes à effet entre actions portées et impacts pressentis sur les parties prenantes cibles.

D’autres outils de cadrage renvoient à une notion de facilité d’utilisation de l’outil et d’une caractéristique « clé en main ». Certaines plateformes en ligne (comme VALOR’ESS notamment) ont développé des référentiels d’indicateurs de gestion et d’impact, pour permettre aux structures d’identifier plus facilement les indicateurs pertinents nécessaires pour évaluer leurs actions et savoir comment collecter l’information.

Outils de collecte

Le terme « d’outil » en évaluation d’impact définit très souvent les outils de collecte, qu’il est possible de synthétiser comme suit : le questionnaire (ouvert ou fermé) prend la forme d’un formulaire (papier, en ligne, téléphonique, en face à face) et est un mode de collecte et de recueil de données qualitatives ou quantitatives. L’entretien semi-directif (téléphonique, en face à face ou en visioconférence) est individuel, il permet de récolter des données principalement qualitatives, via un guide composé de questions ouvertes. L’entretien groupé (atelier collectif ou focus group) recueille des données qualitatives où chaque membre du groupe a connaissance des réponses des autres participants et peut y réagir. L’analyse documentaire via des données publiques (par exemple l’INSEE) est une revue de littérature qui permet d’identifier des données utiles pour l’étude. L’observation se base sur une grille d’analyse afin de guider les éléments qui font l’objet de l’analyse. Enfin, les outils de reporting ou de suivi (comme le tableau de bord) récoltent de la donnée via des outils déjà existants au sein d’une organisation. Ces données peuvent être complétées ou analysées avec de nouvelles données (par exemple avec un logiciel CRM).

Outils de sondage en ligne

Les outils de sondage en ligne comme Survey Monkey, Google Form ou Kobotoolbox permettent de diffuser des questionnaires et de récupérer les réponses des participants. La diffusion en ligne ne peut se faire que lorsque les étapes de cadrage, de définition des indicateurs et de formulation des questions adaptées aux parties prenantes ont été réalisées.

Outils d’analyse

Les outils d’analyse sont nombreux concernant les données quantitatives, ce sont le plus souvent des logiciels d’analyses de données statistiques comme SPSS, R Studio, Stata, etc. Ils sont conçus pour analyser et traiter des données. Les logiciels d’analyse de données qualitatives sont moins répandus mais il en existe pour l’analyse de données textuelles, pour des retranscriptions mot à mot par exemple.

Avec l’expansion du numérique, nous sommes de plus en plus amené·es à répondre à tous types d’enquêtes (satisfaction, opinion, etc.). Si certaines incluent des questions demandant le nom, prénom ou encore l’adresse mail, d’autres n’en font pas mention. Et parfois figure cette note : « vos réponses sont anonymes », à laquelle nous prêtons plus ou moins attention. Alors, pourquoi est-il important de garantir l’anonymat dans une démarche d’évaluation d’impact ? Quand et comment l’employer dans le cadre de démarches d’évaluation ?

L’anonymat : une condition de fiabilité des résultats

Il se trouve que les enquêté·es sont naturellement poussé·es par un désir – inconscient – de se présenter de manière positive, souhaitant montrer une « bonne image » d’eux·elles-mêmes (i.e. le biais de désirabilité sociale). De plus, il se peut que les enquêté·e·s appréhendent la façon dont leurs réponses seront reçues par la structure, et qu’il leur soit difficile de répondre honnêtement. Par exemple dans le cadre d’une formation, ce peut être la crainte de générer des relations conflictuelles en remettant en question les contenus, les formateurs, etc. Ainsi, l’anonymat permet de récolter des réponses proches de la réalité, garantissant une meilleure fiabilité dans les résultats.

Préservation de l’anonymat, quelles difficultés ?

L’anonymat est plus facilement garanti lors d’enquêtes par questionnaire, le répondant étant en parfaite autonomie. En revanche, il existe des situations dans lesquelles la préservation de l’anonymat peut être compromise. Ce peut être lorsque la présence d’un·e enquêteur·rice est nécessaire : au cours d’entretiens semi-directifs ou lors d’une démarche par questionnaire nécessitant l’aide d’un tiers (répondants ayant des freins langagiers, cognitifs, etc.).

Garantir la confidentialité des réponses en présence d’un enquêteur

L’anonymat ne pouvant être toujours total, il en va de la responsabilité de l’enquêteur·rice de garantir la confidentialité des données récoltées vis-à-vis de toute autre personne ou entité externe à l’enquêteur·rice lui·elle-même. Par exemple, dans le cadre d’échantillons restreints, l’identité des enquêté·es peut se trouver facilement dévoilée. Ainsi, l’usage de moyens mnémotechniques (renommer l’enquêtée Madame Raton en Madame R) ou la désignation des enquêté·es par une caractéristique qui leur est propre (« Les deux familles monoparentales s’accordent à dire que… ») sont déconseillés.

Lorsqu’une structure souhaite entreprendre une démarche d’évaluation d’impact, la question du choix de l’internalisation ou de l’externalisation se pose. Voici quelques éléments d’éclairage pour mieux guider vos choix.

De quoi parle-t-on ?

A contrario, l’internalisation consiste à mener l’évaluation en autonomie en confiant chaque étape à un ou plusieurs membres de la structure : responsable mesure impact, responsable M&E (monitoring & évaluation), etc.

L’internalisation s’avère être un véritable levier pour la montée en compétences des salariés d’une structure. Si une démarche d’évaluation a vocation à être pérennisée via le suivi d’indicateurs, le recrutement et la formation des salariés peuvent être coûteux mais se révèlent être un choix financier stratégique sur le long terme. L’externalisation, quant à elle, s’apparente davantage à un gain de temps lorsque la structure ne dispose pas des compétences nécessaires. Côté coûts, elle peut être moins onéreuse dans le cadre d’évaluations ponctuelles.

Quelques questions essentielles pour faciliter la prise de décision :

De quel délai disposez-vous pour obtenir des résultats ? Si votre structure est contrainte par le temps pour la remise des résultats, il est conseillé de faire appel à un cabinet externe.

Quelle nécessité ou quel besoin d’avoir un regard externe ? Ce peut être pour répondre à une exigence externe, par exemple la demande d’une évaluation indépendante par vos partenaires financiers. Votre équipe peut également estimer qu’un regard externe/nouveau est bénéfique dans le cadre de la démarche d’évaluation.

Quelle(s) méthodologie(s) requiert la démarche d’évaluation ? Au cours d’une collecte de données qualitatives par exemple, le recours à l’externalisation par l’intervention d’un tiers externe est primordial, pour garantir l’anonymat des réponses d’une part et favoriser l’objectivité des conclusions d’autre part.

Les ressources internes de votre structure sont-elles suffisantes et/ou adaptées (compétences méthodologiques, disponibilités, etc.) ? Si votre structure dispose de compétences exploitables, elle peut combiner internalisation et externalisation. Vous pouvez par exemple choisir d’internaliser la création des outils de collecte (questionnaire, guide d’entretien, …) et externaliser l’analyse des données.

Quelle pérennisation pour son évaluation ? Si l’enjeu de pérennité est fort, il est plus intéressant qu’une personne de votre structure soit formée pour ne pas dépendre systématiquement d’un cabinet.

Pour citer cet article : Improve, Internaliser ou externaliser une évaluation, comment choisir, octobre 2022