Articles

Je lance ma structure à impact : pourquoi anticiper mon évaluation d’impact social ?

Chaque année, de plus en plus de structures à impact se créent avec la volonté forte d’exercer un impact positif sur la société, tant sur le volet social qu’environnemental. Pour autant, peu de structures anticipent leur démarche d’évaluation d’impact. Certaines peuvent considérer que leur projet n’est pas assez mature ou qu’il est trop tôt pour y penser. Cet article présente un tour d’horizon des avantages à anticiper votre mesure d’impact si vous venez de créer votre structure à impact.

Premier avantage : prendre du recul sur sa stratégie d’impact

Pour les acteurs sociaux, la démarche d’évaluation d’impact est un outil de pilotage, une boussole vers l’impact. En effet, la réalisation des premières étapes de l’évaluation est l’occasion pour une structure à impact de :

1. (Re)définir sa mission sociale.

Collectivement, les membres de la structure s’accordent sur la formulation de leur mission sociale. Cela permet de s’assurer que chacun partage la même vision (ce qui n’est pas toujours le cas).

2. Identifier et prioriser les impacts qu’elle souhaite avoir.

En identifiant les impacts prioritaires qu’une structure souhaite avoir, elle se questionne sur : « quels types de résultats souhaités selon ma mission sociale ? », « pourquoi cet impact plutôt qu’un autre ? », etc.

Deuxième avantage : sécuriser sa collecte de données 

Se projeter dans sa collecte de données et la valorisation de ses résultats permet de ne pas se retrouver dépourvu au moment de lancer son évaluation. Aussi, nous suggérons à une structure d’anticiper ces deux étapes :

1. La prise de contact des bénéficiaires

L’évaluation nécessite de collecter des données auprès des bénéficiaires et donc d’avoir un moyen de les contacter : mail, téléphone, réseau social, listing, etc. Ainsi, dès le début, la structure peut s’interroger sur la manière dont récolter ces informations de contact.

2. Les potentiels croisements de données

En fonction des résultats attendus, la structure peut anticiper les potentiels croisements qu’elle voudra réaliser entre données d’impact et autres données (par exemple les données sociodémographiques). Pour ce faire, elle se questionne sur l’intérêt ou non de collecter des données de caractérisation et de performance sur son public cible. Par exemple, une structure à impact souhaite observer les impacts d’une action sur ses bénéficiaires mais en fonction de leur tranche d’âge. Dans ce cas, la structure devra anticiper la collecte de données portant sur l’âge des bénéficiaires.

Pour citer cet article : Improve, Je lance ma structure à impact : pourquoi anticiper mon évaluation d’impact social ? Février 2024.

Lire l'article

Quantifier son impact en évaluation : le rôle des statistiques inférentielles

Si, de manière générale, les statistiques sont bien connues du grand public, les statistiques inférentielles le sont moins. Leur rôle principal, en évaluation d’impact social, consiste à « faire parler » des données récoltées via des questionnaires de manière rigoureuse et approfondie. Alors, pourquoi est-ce intéressant d’intégrer les statistiques inférentielles dans son évaluation d’impact social ? Et comment les utiliser ?

1. Les statistiques inférentielles, un moyen de mieux comprendre ses impacts

Les statistiques inférentielles se réalisent en 3 étapes clés :

1ère étape : formuler des hypothèses : Une organisation émet une ou plusieurs hypothèses de départ qui statuent sur l’existence ou non d’un lien entre deux variables. Autrement dit, elle se demande si deux variables sont (in)dépendantes l’une de l’autre.

2ème étape : réaliser des statistiques inférentielles : L’organisation mesure les variables faisant l’objet de l’hypothèse. L’organisation peut résumer et présenter les données recueillies sous forme de tableaux ou de graphiques, il s’agit alors de statistiques descriptives. Mais pour tester l’hypothèse de départ, l’organisation doit mobiliser des statistiques inférentielles. Elles se basent sur la réalisation de tests statistiques consistant à croiser des données entre elles (régression linéaire, Chi2, test de Student…). Ces derniers sont choisis selon des critères[3] et peuvent être effectués via des logiciels de traitement statistiques comme SPSS ou encore R Studio.

3ème étape : interpréter les résultats et conclure : En fonction des résultats obtenus grâce aux tests, il est possible de valider ou de rejeter les hypothèses de départ. Cela prouve l’existence ou non d’un lien entre deux variables.

2/ Exemple pratique d’utilisation des statistiques inférentielles  

Afin d’éclaircir le rôle des statistiques inférentielles et la manière dont celles-ci peuvent aider à la prise de décision, nous proposons un exemple.

Contexte. Une université déploie un programme de cours avec des formats différents : l’un en présentiel (sur place) et l’autre à distance (en visioconférence). Elle souhaite statuer sur un format de cours identique pour tous : présentiel uniquement, à distance uniquement ou hybride.

Formulation de l’hypothèse. Elle se questionne notamment sur les effets du programme à distance concernant la prise de parole des étudiants. En effet, les enseignants craignent que les cours à distance pénalisent les étudiants dans le développement de leurs compétences en prise de parole.

L’université émet l’hypothèse que les étudiants suivant le programme en présentiel ont davantage développé leurs compétences en prise de parole que les étudiants suivant le programme à distance ; c’est-à-dire qu’il existe un lien entre la variable « développer ses compétences en prise de parole » et la variable « format de cours ».

Interprétation du test. Le test rejette l’hypothèse de départ ; il n’existe pas de lien entre les deux variables. Autrement dit, dans cette situation, le format de cours n’influence pas l’amélioration des étudiants dans l’exercice de la prise de parole.

Grâce aux statistiques inférentielles l’université peut statuer sur un format unique et décide d’opter pour un programme hybride.

Pour citer cet article : Improve, Quantifier son impact en évaluation : le rôle des statistiques inférentielles, janvier 2024

[1] Les statistiques descriptives permettent de résumer les données de manière simple. Il est possible de les définir comme « ce qui est visible à l’œil nu ». À la différence des statistiques inférentielles, elles ne permettent pas de déterminer l’existence de liens entre des variables.

[2] En statistique, une variable est une caractéristique étudiée sur l’ensemble d’une population, mais dont la valeur peut varier selon les individus.

[3] Comme la taille de l’échantillon d’une population ou encore le type de variable étudiée.

Lire l'article

Valorisation économique ou monétarisation de l’impact (ACB, SROI, évaluation socio-économique) : de quoi est-il question exactement ?

En évaluation d’impact, les trois méthodes de valorisation économique les plus connues sont l’Analyse Coûts-Bénéfices (ACB), le Retour Social Sur Investissement (Social Return On Investment en anglais, d’où l’acronyme SROI) et l’Évaluation Socio-économique (ESE). Possédant un objectif en apparence similaire – valoriser monétairement un impact social/sociétal –, les frontières entre ces trois méthodes peuvent sembler floues. À travers cet article, nous proposons de distinguer l’ACB, le SROI et l’évaluation socio-économique, notamment en reprenant les notions et terminologies présentes dans les trois guides de références suivants : le Guide de l’analyse coûts-bénéfices (Improve et Fondation Rexel, 2018[1]), le Guide du retour social sur investissement (ESSEC Business School, 2009[2]) et le Guide de l’évaluation socio-économique des investissements publics (France stratégie et Direction générale du Trésor, 2017[3]).

Pour mieux comprendre les similarités et différences de ces trois méthodes, nous aborderons les raisons poussant à la mise en œuvre d’une monétarisation, les éléments clés de chacune d’elles, et enfin les atouts et inconvénients de chacune de ces trois méthodes.

1. Pourquoi monétariser ses impacts ?

Tout porteur de projets à impact peut recourir à la valorisation économique, dans le secteur de l’économie sociale et solidaire, du public ou du privé, de l’associatif ou encore dans le cadre d’une politique publique.

Un des premiers enjeux lié à cette valorisation économique est stratégique et consiste en une action de plaidoyer à destination de financeurs publics et/ou privés afin de lever des fonds. Cela permet notamment de répondre aux difficultés de financement des projets portés par les acteurs de l’économie sociale et solidaire – dues aux baisses des subventions publiques.

Un autre enjeu auquel répond la monétarisation réside dans la démonstration de la pertinence d’une innovation sociale sur le plan économique. En effet, au-delà de prouver l’impact social effectif d’une innovation sociale auprès de ses bénéficiaires, il est intéressant d’en démontrer les économies et/ou les coûts évités que cette dernière pourrait permettre si elle était déployée à grande échelle (par exemple, s’il s’agit de déployer une innovation sociale au niveau national pour l’ensemble de la population française).

2. Les points clés des 3 méthodes

L’Analyse Coûts-Bénéfices (ACB) 

Quand ? La méthode de l’ACB [4] peut se travailler en prévisionnel du déploiement des activités, à titre indicatif, lorsque des données déjà existantes sont suffisamment nombreuses pour élaborer des hypothèses précises. Mais pour être conclusive, elle doit être réalisée en ex-post (i.e., les impacts sont mesurés une fois qu’ils sont réellement apparus), afin de faire la démonstration par la preuve de l’efficience économique de l’action. Nous conseillons de la réaliser au terme d’une première évaluation d’impact, afin de mieux connaitre les impacts valorisables économiquement [1].

Type(s) de données/collecte ? La collecte de données de terrain fait partie intégrante de la méthode de l’ACB pour démontrer des impacts économiques. Elle se réalise via une étude entre un groupe témoin et un groupe cible (pour en savoir plus sur les méthodes en évaluation d’impact : Improve, Méthodes et outils en évaluation d’impact : parlons-en !, janvier 2023).

Qui ? L’ACB permet d’évaluer la rentabilité d’un projet pour une ou plusieurs partie(s) prenante(s) identifiée(s). Le plus souvent, il s’agit du financeur principal de l’action, qu’il soit privé ou public. L’Etat est également souvent choisi même lorsqu’il n’est pas financeur principal : l’objectif de l’ACB est alors de convaincre ce dernier de la pertinence du projet, y compris d’un point de vue économique, pour en faire un partenaire privilégié.

Type(s) de valorisation des impacts ? Les impacts mesurés lors d’une ACB peuvent être de nature économique ou avoir un double caractère social et économique. En effet, seuls les impacts se traduisant en valeur monétaire (c’est-à-dire générant des économies ou des coûts) sont pris en compte dans le calcul. Prenons l’exemple du « retour à l’emploi accéléré d’un public éloigné de l’emploi » grâce à une action. Cet impact social se traduit également économiquement. D’un côté, ce retour à l’emploi va créer des économies pour l’État, en termes d’aides sociales allouées. D’un autre côté, cette action va générer des gains, notamment en termes d’impôts sur le revenu ou de dépenses effectuées par les ménages. Ici, ces indicateurs ont une valeur économique transposable monétairement. En revanche, le « gain de confiance en soi des personnes qui ont retrouvé un emploi » n’ayant pas de valeur économique existante ne peut pas être pris en compte dans le calcul de l’ACB.

 

Le retour social sur investissement (SROI)

Quand ? Tout comme l’ACB, le SROI peut se réaliser en amont du programme, de manière prévisionnelle, en anticipant la valeur sociale créée dans le cas où les activités produiraient les résultats attendus. Il peut également se faire en aval, dans ce cas il est dit « SROI d’évaluation » et se base sur des résultats déjà constatables [2] .

Type(s) de données/collecte ? Dans les cas d’un SROI prévisionnel ou d’évaluation, le recueil de données issues de sources existantes (internes ou externes) est fortement recommandé, notamment pour limiter le budget de l’étude [2] . Néanmoins, il est également possible de collecter des données de terrain en ayant recours à des entretiens qualitatifs ou des questionnaires par exemple.

Qui ? Plus globale que l’ACB, la méthode du SROI adopte le point de vue de la société dans son ensemble. Sont donc pris en compte dans le calcul final du SROI toutes les parties prenantes impliquées ou potentiellement impactées : l’état, des particuliers, des entreprises, etc.

Type(s) de valorisation des impacts ? En plus de considérer les impacts directement monétisables comme pour l’ACB, la méthode du SROI tient compte d’impacts sociaux qu’elle traduit en valeur extra-financière – souvent dit en « valeur sociale ». Cela implique de qualifier et quantifier des impacts qui ne sont pas toujours mesurables monétairement (par exemple un gain de confiance en soi). Pour ce faire, on recourt à des proxys [5]. Reprenons ici un exemple présent dans le Guide du SROI [2] : pour une personne ayant un problème physique, le résultat attendu de l’intervention est que sa santé physique s’améliore. Un des indicateurs envisagé est « la fréquence de pratique d’une activité physique ». Cet indicateur ne possède pas de valeur monétaire directe. Le fait de lui attribuer un proxy comme le « coût de l’adhésion à un club de sport » permet donc de monétariser cet impact et de l’inclure dans le calcul du SROI.

 

L’évaluation socio-économique

Quand ? Comme l’ACB et le SROI, l’évaluation socio-économique se réalise en amont comme en aval. Réalisée en amont (« évaluation ex-ante »), elle permet d’éclairer et de répondre à des enjeux d’investissements dans le secteur public. Conduite en aval (évaluation « ex-post »), l’évaluation socio-économique permet une mise à jour des informations et un remplacement des données prévisionnelles (utilisées lors de l’évaluation ex-ante) par des données collectées[3] . Notons que dans le cadre d’un investissement public dont le financement est supérieur à 20 millions d’euros, il est obligatoire de réaliser une évaluation socio-économique [6].

Type(s) de données/collecte ? L’évaluation socio-économique utilise la méthode contrefactuelle [7], qui consiste à comparer une situation avec intervention (option d’investissement) à une situation sans intervention (option de référence) [8]. Cette comparaison ne requiert pas forcément de réaliser spécifiquement une collecte de données ex-post exhaustive et peut se baser fortement sur des données issues de la littérature existante (par exemple des articles académiques ou des évaluations randomisées dans le cadre d’une évaluation).

Qui ? Tout comme la méthode du SROI, l’évaluation socio-économique ne se cantonne pas uniquement au point de vue d’une partie prenante liée à l’investissement mais prend en considération le point de vue de la collectivité dans son ensemble [3]

Type(s) de valorisation des impacts ? L’évaluation socio-économique tient compte de divers impacts, certains donnant lieu à des flux monétaires et d’autres pas, mais ayant une valeur pour la collectivité. Aussi, lors de l’évaluation, il est possible de recourir à différents types de monétarisation. S’il s’agit d’impacts économiques, ceux-ci sont directement exprimés en valeur monétaire. Pour les autres impacts, la monétarisation se fait via des valeurs de références [8] (aussi appelées « valeurs tutélaires »). Cependant, si aucune valeur de référence n’existe, il faut procéder à une étude de monétarisation des impacts via une extrapolation des résultats d’articles académiques – s’appuyant par exemple sur une étude des « préférences » des individus [3]. A titre d’exemple, la valeur du temps est devenue une valeur tutélaire issue d’études de préférence dans lesquelles sont examinées les dispositions des individus à payer plus ou moins cher un moyen de transport donné pour voyager plus rapidement [3]. En complément, afin de présenter l’intérêt financier de l’investissement, l’évaluation socio-économique peut se coupler à la réalisation d’une ACB des impacts monétarisés.

3. Atouts et inconvénients des méthodes

L’atout majeur mais aussi le principal inconvénient de l’ACB réside dans sa rigueur. En effet, cette méthode permet de rendre compte des coûts évités et/ou des économies réalisées par les parties prenantes (liées à l’investissement) grâce à une action, en se basant exclusivement sur la démonstration par la preuve de l’efficience de l’impact du programme. De fait, seuls les impacts économiques s’exprimant en valeur monétaire font foi. Or, l’accès aux données nécessaires à cette démonstration peut s’avérer difficile.

La dimension plus globale de la méthode du SROI – dans la monétarisation des impacts sociaux ou en adoptant le point de vue de la société dans son ensemble – apparaît également comme un avantage et un inconvénient. D’un côté, la méthode se révèle plus simple que l’ACB car, dans les faits, la démonstration rigoureuse par la preuve n’est pas nécessaire. Mais, en considérant un plus large panel d’impacts notamment en utilisant les techniques de « préférences révélées » des individus, les résultats peuvent se montrer moins affinés [9]. De plus, cela suppose que tout impact social peut être monétarisé et certains porteurs de projet peuvent ne pas souhaiter cette valorisation particulière de leurs impacts sociaux.

En comparaison, la méthode de l’évaluation socio-économique se révèle également plus large que celle de l’ACB. Son atout provient de sa capacité de projection, en se référant à des recherches académiques pour prédire les impacts, particulièrement utile en étape de décision d’investissement public. A contrario, le passage à la démonstration par la preuve en aval pour observer si les prédictions en amont sont correctes peut s’avérer très complexe. En effet, comme pour la méthode du SROI, la méthode de l’évaluation socio-économique transforme en valeur monétaire tous les types d’impacts : économiques et non économiques, pour toute la société.  Il est nécessairement plus délicat d’apporter la preuve de l’efficience de chacun d’entre eux de manière rigoureuse.

Au regard de ces éléments, les grandes questions à se poser pour choisir entre ces méthodes sont les suivantes : de quel niveau de rigueur a-t-on besoin dans la démonstration des impacts pour répondre à nos enjeux ? Souhaite-t-on convaincre un financeur existant ou potentiel via la démonstration d’un impact économique dont il est le principal concerné ? Ou souhaite-t-on rendre compte de la valeur globale d’un projet en monétarisant tous les impacts pour la société qu’ils soient économiques ou sociaux ?

Pour citer cet article : Improve, Valorisation économique ou monétarisation de l’impact (ACB, SROI, évaluation socio-économique) : de quoi est-il question exactement ?, octobre 2023

[1] Guide de l’analyse coûts-bénéfices (Improve et Fondation Rexel, 2018).

[2] Guide du retour social sur investissement (ESSEC Business School, 2009).

[3] Guide de l’évaluation socio-économique des investissements publics (France stratégie et Direction générale du Trésor, 2017).

[4] L’ACB (Analyse Coûts-Bénéfices) connaît une autre terminologie synonyme comme l’ACA (Analyse Coût-Avantage : tiré de la Fiche synthèse « L’analyse coût-avantage (ACA) », TIESS, 2017).

[5] « Dans le cadre du SROI, on utilise des proxys financiers pour estimer la valeur sociale des biens qui ne font pas l’objet d’un échange pour différentes parties prenantes. » tiré du Guide du retour social sur investissement (ESSEC Business School, 2009).

[6] L’article 17 de la Loi du 31 décembre 2012 de programmation des finances publiques oblige tout porteur de projet d’investissement financé par l’État ou par l’un de ses établissements à réaliser préalablement une évaluation socioéconomique (Secrétariat général pour l’investissement (SGPI), L’évaluation socio-économique (ESE), 2021).

[7] Pour en savoir plus sur la méthode contrefactuelle : Improve, Méthodes et outils en évaluation d’impact : parlons-en !, janvier 2023.

[8] Les principales valeurs de références sont par exemple : la valeur du temps (temps de transport domicile-travail), la valeur de la vie humaine (amélioration de la santé) ou encore la valeur environnementale (émission de CO2) (De Brux, J., Goldzahl, L. et Mével, A. (2018). L’aide et les soins à domicile : quelle création de valeur ?. CITIZING pour ADESSADOMICILE et l’OCIRP).

[9] Tiré de la Fiche synthèse « La méthode du social return on investment (SROI) », TIESS, 2017

Lire l'article

La Théorie du Changement (ToC) : outil indispensable de la démarche évaluative ?

La Théorie du Changement tire son origine et acronyme de l’anglais Theory of Change (ToC). C’est un outil connu de l’évaluation d’impact qui permet de définir le processus de changement social attendu d’une action/d’un programme d’action. Le plus souvent formalisée grâce à un outil de mind mapping*, la théorie du changement présente visuellement le processus de changement : d’un côté (à gauche) les actions portées auprès de la partie prenante préalablement identifiée et de l’autre (à droite) la mission sociale. L’ensemble des changements attendus – directs, indirects, court terme, long terme… – se déclinent entre ces deux axes.

1. La réalisation de sa théorie du changement implique nécessairement de (re)définir la mission sociale de son organisation.
Cette dernière étant l’objectif final visé par l’ensemble des actions portées par une organisation, elle va se trouver à droite de la ToC visuellement – comme la finalité de tout processus de changement. Souvent, la formalisation de la mission sociale se résume en une phrase clé qui permet à l’ensemble des parties prenantes de s’aligner ou de se réaligner sur une vision commune. Ce qui représente déjà en soi une réelle valeur ajoutée dans la vie d’une organisation.

2. La théorie du changement permet de formaliser des hypothèses théoriques sous-jacentes à un projet.
Ces dernières constituent l’ensemble des mécanismes permettant d’obtenir l’impact recherché. Il s’agit de formuler des hypothèses selon lesquelles nous estimons que les changements sociétaux vont survenir dans le temps. (Pour en savoir plus sur l’objectivation du changement : Improve, Evaluation d’impact et reporting : quelles différences ?, février 2023). Si nous parlons d’hypothèses théoriques c’est parce qu’elles n’ont pas encore été soumises à évaluation.

En parallèle, identifier les facteurs clés de succès est important pour comprendre à quelles conditions les changements s’opèrent et « garantir » leur réalisation. La représentation visuelle permet de prendre connaissance de l’ensemble de ces éléments – hypothèses et facteurs clés de succès – plus facilement et plus rapidement.

3. Construire sa ToC est l’opportunité d’identifier ou de mieux connaître les liens de cause à effet entre une action et un (des) changement(s).
Dans le processus de changement, il est possible d’observer des « boucles de rétroaction » : une influence mutuelle entre deux variables. Par exemple, l’atteinte de l’impact « Développer son réseau professionnel » peut à son tour amplifier ou ralentir l’impact « Acquérir de nouvelles connaissances sur un secteur d’activité ».

4. Enfin, une fois la théorie du changement finalisée, on dispose d’une visualisation exhaustive et détaillée de l’ensemble des changements à l’œuvre. Il est ainsi plus facile de prioriser les impacts clés à évaluer (puisqu’on ne peut jamais tout évaluer…!).
Il convient de  tenir compte des enjeux et contraintes de l’organisation pour effectuer au mieux cette tâche de priorisation. Afin de faciliter la prise de décision, il est intéressant de se poser les bonnes questions. Par exemple : « Cet impact est-il facilement mesurable ? », « Cet impact est-il essentiellement attribuable à mon action ? ». Ou encore « Est-ce un impact (in)direct, (in)désirable, (in)attendu ? », etc.

La priorisation des impacts est une étape importante pour ensuite pouvoir traduire ces impacts priorisés en termes d’indicateurs. La/les nature(s) de ces derniers conduisent à des choix de méthodes et d’outils de collecte adaptés pour la suite de l’évaluation (Improve, Méthodes et outils en évaluation d’impact : parlons-en !, février 2023).

*Comme Xmind ou Miro par exemple.

Lire l'article

Evaluation d’impact et reporting : quelles différences ?

Les notions d’évaluation d’impact et de reporting sont souvent employées pour décrire un même processus visant à prouver l’impact d’une organisation. Pourtant, ces deux notions ne servent pas les mêmes objectifs.
Cet article revient sur notre propre définition de l’impact et par déduction sur celle de l’évaluation d’impact faisant l’objet de méthodes spécifiques – nous permettant ainsi de mettre en lumière les différences entre évaluation d’impact et reporting.

L’importance des définitions
En évaluation, la notion d’impact ne connaît pas de consensus autour d’une définition unique. En tant qu’évaluateur, nous définissons l’impact comme « un ensemble de changements durables, positifs ou négatifs, attendus ou inattendus – engendrés par les activités d’une organisation et attribuables aux activités étudiées – de nature environnementale, économique ou sociale ».

Pour l’illustrer, reprenons le schéma de la chaîne de valeur de l’impact.

Ce dernier permet de différencier les impacts, définis comme les « conséquences imputables aux actions », des réalisations (« produits obtenus ») et des résultats (« effets immédiats ») (Avise, Impact social, de quoi parle-t-on ?, juin 2020).

Sur la base de ces définitions, la démarche d’évaluation d’impact repose donc sur deux objectifs clés :

L’importance des méthodes en évaluation d’impact
En évaluation d’impact, un indicateur en tant que tel n’est pas nécessairement preuve d’impact. Il peut s’agir d’indicateurs de caractérisation (typologies des publics bénéficiaires par exemple), d’indicateurs de performance (nombre de personnes touchées…) ou d’indicateurs de résultat (évolution de la situation des bénéficiaires…).

Concernant les indicateurs visant à démontrer l’impact d’une action, ce sont bien les notions de changement et d’attribution, évaluées par le biais de méthodes issues des sciences sociales, qui permettent de qualifier un indicateur d’impact. Par exemple, la méthode amont/aval rend possible l’évaluation objective du changement tandis que la méthode contrefactuelle permet d’attribuer des changements à une action (Improve, Méthodes et outils en évaluation d’impact : parlons-en !, janvier 2023).
A contrario, le reporting ne requiert pas l’emploi de méthodes de ce type. Il consiste en une remontée d’informations quantitatives à un ou des instant(s) donné(s), dont il est possible d’observer l’évolution dans le temps (accroissement d’activités ou du nombre de personne touchées par exemple).

Une autre différenciation clé de l’évaluation d’impact réside dans la nature des changements à évaluer, souvent de type psychosociaux. Si les méthodes et outils spécifiques évoqués ci-dessus permettent bien d’évaluer ce type de changements en évaluation d’impact, il est très difficile – voire impossible – de le faire dans le cadre du reporting.

Enfin, les données (si quantitatives) en évaluation d’impact nécessitent une analyse via des statistiques inférentielles, permettant de comprendre les mécanismes à l’œuvre et de généraliser les résultats obtenus à l’ensemble d’un public cible. Quant au reporting, les statistiques descriptives suffisent pour valoriser des chiffres clés et/ou les mettre au regard de données de références.

Lire l'article

Méthodes et outils en évaluation d’impact : parlons-en !

« Méthodes », « méthodologies », « outils » sont des mots récurrents en évaluation d’impact, et souvent associés à différents sens dans la démarche évaluative. Force est de constater que leur emploi diffère selon la définition qui leur est donnée et qu’une certaine confusion règne à ce sujet. Alors, qu’est-ce que les évaluateurs mettent derrière ces mots ? Comment appréhender les différentes méthodologies existantes ? Quels sont les typologies d’outils qui existent en évaluation ?

« Méthodes », « méthodologies », « principes méthodologiques » : plusieurs mots pour – le plus souvent – un même sens

Le jargon évaluatif regorge de mots dérivés de « méthode » dont les sens sont pourtant proches. Ici, nous proposons une présentation succincte des « méthodes » en évaluation d’impact.

Méthodes d’évaluation dites « quantitative » ou « qualitative »

Le plus souvent, la méthode quantitative s’appuie sur une enquête « fermée » qui revêt la forme d’un questionnaire (papier, téléphonique, en ligne ou en face à face). Sur la base d’un échantillon représentatif de la population ciblée, il est possible d’obtenir des chiffres clés généralisables à l’ensemble de cette population. La méthode qualitative se base sur une enquête ouverte afin d’approfondir les questionnements relatifs au parcours des bénéficiaires directs et indirects d’une action. Cette dernière peut prendre la forme d’entretiens semi-directifs, de focus group ou encore d’observation participante. Les deux méthodes ne s’excluent pas, au contraire, elles peuvent se compléter dans une logique de « triangulation des résultats*» (*consiste à employer deux ou plusieurs moyens différents pour vérifier un résultat).

Parallèlement à ces deux méthodes, les méthodes de valorisation économique telles que l’ACB (Analyse Coûts-Bénéfices) ou le SROI (Social Return On Investment) démontrent l’impact tout en le valorisant économiquement. La méthode de l’analyse coûts-bénéfices (Guide de l’ACB, Fondation Rexel et Improve) ou dite analyse des coûts évités mesure et valorise les économies qu’une intervention permet de réaliser à la société ou à une autre partie prenante, en résolvant une problématique sociale. Elle permet de comparer l’impact d’une solution en terme d’économie à une situation de référence (via des données de référence). La méthode SROI mesure et valorise des impacts en valeur monétaire. Dans les deux cas, le résultat attendu s’exprime monétairement. Cependant, l’ACB se base sur des indicateurs naturellement économiques et par définition transposables monétairement, c’est-à-dire traduisibles en termes de « valeur » au sens économique du terme. À la différence du SROI qui s’appuie sur des estimations en apposant une valeur monétaire à des impacts/indicateurs qui ne sont pas forcément de nature monétaire (par exemple le bien-être), traduisant ainsi la « valeur sociale » d’un programme ou d’une action.

« Protocoles d’évaluation » ou « méthodologies d’évaluation »

Le « protocole » ou la « méthodologie » d’évaluation est l’ensemble des choix opérationnels établis pour répondre aux questions évaluatives (quoi mesurer, quand mesurer, comment mesurer). Le choix d’une méthodologie d’évaluation est guidé par les enjeux et contraintes de l’organisation mais également par la rigueur souhaitée dans la mesure du changement et de l’attribution de l’impact aux actions de l’organisation.

Mesurer le changement
La mesure du changement, c’est-à-dire l’observation des évolutions dues aux actions de l’organisation chez les parties prenantes, requiert souvent une méthodologie amont/aval également dénommée ex-ante/ex-post. Celle-ci permet de réaliser une mesure avant l’intervention et après l’intervention. Lorsque la mesure du changement n’est pas réalisable en amont, elle se fait alors « a posteriori » et se base sur les perceptions des parties prenantes. La mesure du changement ne se limite pas toujours à deux temps de mesures (avant et après) et peut s’étaler dans le temps. La méthode longitudinale collecte et compare des données de manière régulière sur une période définie. La méthode continue s’appuie sur le même principe mais n’a pas de durée définie dans le temps.

Mesurer l’attribution
La mesure de l’attribution a pour objectif de définir dans quelle mesure les changements perçus par les parties prenantes sont dus aux actions mises en place par l’organisation (versus évolutions naturelles ou changements dus à des facteurs externes à l’organisation). La méthodologie dite contrefactuelle compare une situation « sans intervention » (groupe témoin) avec une situation « avec intervention » (groupe cible) auprès de deux échantillons de population jugés identiques. Cela permet d’identifier les impacts attribuables à l’intervention d’une organisation. Dans le cas où la formation de deux groupes d’échantillons n’est pas réalisable, la mesure se fait par « auto-attribution ».

Dans une logique de croisement des données, il est possible de coupler les méthodologies entre elles. La double différence est le résultat de la superposition entre les deux méthodologies amont/aval et contrefactuelle. Cette méthodologie est considérée comme très robuste et peut s’avérer très pertinente lorsque les conditions permettent sa réalisation (échantillons de population importants, intervention pas encore déployée, budget à consacrer à la collecte et l’analyse des données suffisant, etc.).

Méthodologies de travail

Plus rarement, le terme de « méthodologie » peut s’apparenter aux méthodologies de travail. Par exemple, l’évaluation participative consiste à intégrer dans la conception et la mise en œuvre de la démarche d’évaluation au moins une partie prenante. L’externalisation ou l’internalisation peuvent également être considérées comme des méthodologies de travail et peuvent se combiner l’une et l’autre (Improve, Internaliser ou externaliser une évaluation, comment choisir ?, octobre 2022).

2. Les « outils » en évaluation : un mot pour plusieurs typologies d’outils

En évaluation d’impact, le terme « outil » est fréquemment employé et revêt parfois plusieurs significations. Communément, il est question d’un instrument de mesure qui permet de mener à un résultat, mais il peut s’agir également d’outils facilitant le travail de cadrage ou encore de logiciels informatiques permettant la collecte et l’analyse des données.

Outils de cadrage

L’étape de cadrage est la première étape de toute démarche d’évaluation et permet de préparer celles à suivre. La Théorie du Changement (ToC) est l’outil de cadrage le plus systématique (bien qu’il en existe d’autres, comme le cadre logique). Il s’agit d’une cartographie visuelle qui permet de modéliser la manière dont le(s) changement(s) va/vont se produire. Nous le définissons comme un outil permettant de formaliser une stratégie d’impact par la modélisation d’hypothèses de liens de causes à effet entre actions portées et impacts pressentis sur les parties prenantes cibles.

D’autres outils de cadrage renvoient à une notion de facilité d’utilisation de l’outil et d’une caractéristique « clé en main ». Certaines plateformes en ligne (comme VALOR’ESS notamment) ont développé des référentiels d’indicateurs de gestion et d’impact, pour permettre aux structures d’identifier plus facilement les indicateurs pertinents nécessaires pour évaluer leurs actions et savoir comment collecter l’information.

Outils de collecte

Le terme « d’outil » en évaluation d’impact définit très souvent les outils de collecte, qu’il est possible de synthétiser comme suit : le questionnaire (ouvert ou fermé) prend la forme d’un formulaire (papier, en ligne, téléphonique, en face à face) et est un mode de collecte et de recueil de données qualitatives ou quantitatives. L’entretien semi-directif (téléphonique, en face à face ou en visioconférence) est individuel, il permet de récolter des données principalement qualitatives, via un guide composé de questions ouvertes. L’entretien groupé (atelier collectif ou focus group) recueille des données qualitatives où chaque membre du groupe a connaissance des réponses des autres participants et peut y réagir. L’analyse documentaire via des données publiques (par exemple l’INSEE) est une revue de littérature qui permet d’identifier des données utiles pour l’étude. L’observation se base sur une grille d’analyse afin de guider les éléments qui font l’objet de l’analyse. Enfin, les outils de reporting ou de suivi (comme le tableau de bord) récoltent de la donnée via des outils déjà existants au sein d’une organisation. Ces données peuvent être complétées ou analysées avec de nouvelles données (par exemple avec un logiciel CRM).

Outils de sondage en ligne

Les outils de sondage en ligne comme Survey Monkey, Google Form ou Kobotoolbox permettent de diffuser des questionnaires et de récupérer les réponses des participants. La diffusion en ligne ne peut se faire que lorsque les étapes de cadrage, de définition des indicateurs et de formulation des questions adaptées aux parties prenantes ont été réalisées.

Outils d’analyse

Les outils d’analyse sont nombreux concernant les données quantitatives, ce sont le plus souvent des logiciels d’analyses de données statistiques comme SPSS, R Studio, Stata, etc. Ils sont conçus pour analyser et traiter des données. Les logiciels d’analyse de données qualitatives sont moins répandus mais il en existe pour l’analyse de données textuelles, pour des retranscriptions mot à mot par exemple.

Lire l'article
Voir tous les articles

Publications

Notre équipe produit régulièrement des publications afin de partager à un large public notre expertise de l'évaluation d'impact et les connaissances issues de notre expérience.

Intégrer le genre, la démocratie, le territoire et la biodiversité dans son évaluation

Livrable issu du cycle 2023 des Petits déjeuners de la mesure d’impact dans le cadre du Forum Convergences.

Les membres du Groupe de travail ont souhaité poursuivre les réflexions, entamées en 2022, sur l’approche globale de la mesure d’impact.

La publication se divise en quatre fiches thématiques : intégrer à son évaluation l’impact territorial, démocratique, sur la biodiversité et sur le genre. Chaque fiche contient une boîte à outils, des définitions et les questions à se poser dans le cadre de son évaluation.

    Adopter une démarche intégrée de la mesure d’impact : retours d’expérience

    Livrable issu du cycle 2022 des Petits déjeuners de la mesure d’impact dans le cadre du Forum Convergences.

    Les membres des Petits déjeuners de la mesure d'impact ont décidé de s’interroger sur la manière de concilier les mesures d’impacts économiques, sociaux et environnementaux dans une démarche d’évaluation dite « intégrée ».

    Ce livrable issu des travaux menés durant l'année est constitué de neuf fiches témoignages. Il a pour but de documenter la diversité des méthodes existantes qui tendent vers une démarche intégrée en capitalisant sur leurs retours d’expérience afin d’inspirer d’autres acteur·rice·s pour qu’ils et elles s’emparent de ce type de démarche d’évaluation.

      Mesure d'impact, pour un regard critique

      Comment décrypter un rapport d'impact ?

      La mesure d'impact est devenue un enjeu primordial dans le champ social et environnemental : à l'heure où les acteurs et les évaluations se multiplient, il devient capital de s'attacher à la transparence et à la qualité des rapports, ainsi que des données produites.

      C'est pour répondre à cet enjeu que nous avons élaboré un outil pratique, dans le cadre des Petits déjeuners de la mesure d'impact organisés par Convergences - 3Zéro et que nous co-animons avec l'Avise depuis 2018.

      Cet outil vous donnera des clés pour analyser et décrypter des rapports d'impact.

        Comment évaluer son impact ? Principes méthodologiques

        Dans le cadre du Social Value France, avec l'Avise et Fidarec
        2021

        Initié par Fidarec et Improve, ce guide s'appuie sur une série de groupes de travail réalisés en croisant les regards de structures expertes et de structures non expertes mais intéressées par l'évaluation d'impact. L'objectif du guide est d'aiguiller le lecteur dans l'ensemble des principes méthodologiques à connaître pour mener une évaluation en accord avec ses besoins.

          S'engager dans la mesure d'impact environnemental : points de repères

          Dans le cadre du Forum Convergences, avec Convergences et l'Avise
          2021

          Publication issue des Petits déjeuners de la mesure d'impact, organisés par Convergences et co-animés avec l'Avise et Improve en 2021, ce livrable est un outil à destination des organisations ou professionnels porteurs de projets, pour mieux s'informer et se repérer au sujet de la mesure d'impact environnemental.

            Vademecum de la mesure d’impact social

            Dans le cadre du Forum Convergences, avec Convergences et l’Avise
            2019

            Publication issue des Petits déjeuners de la mesure d'impact, organisés par Convergences et co-animés avec l’Avise et Improve en 2019, ce vademecum est un outil à destination du plus grand nombre, pour mieux s’informer et se repérer parmi la littérature existante sur la mesure d’impact.

              Guide de l’analyse coûts-bénéfices

              En partenariat avec la Fondation Rexel
              2018

              Une deuxième publication en partenariat avec la Fondation Rexel pour découvrir la méthodologie de l'analyse coûts-bénéfices des initiatives à impact sociétal. Tout comme le Guide de la mesure d'impact, ce guide est open source et destiné à toutes celles et ceux qui souhaitent mieux connaître et pourquoi pas réaliser eux-mêmes l'analyse coûts-bénéfices de leur structure ou de leur projet à impact !

                Guide de la mesure d’impact social

                En partenariat avec la Fondation Rexel
                2016

                Un guide pratique et open source, créé avec le soutien de la Fondation Rexel, qui vous guidera pas à pas à travers les étapes de notre méthodologie de travail de l’évaluation d’impact.

                  Engagements et Recherche & Développement

                  Nous participons toute l’année ou ponctuellement à différents groupes de travail sur des problématiques liées à nos expertises et métiers.