Articles

Fondations, réseaux, fonds de dotation… : comment évaluer son impact en tant qu’accompagnateur ?

Delphine Santini, chargée de mission et responsable de la mesure d’impact que la Fondation AÉSIO réalise, témoigne sur les enjeux de leur évaluation d’impact. Créée en 2021 et accompagnée depuis par Improve, la Fondation AÉSIO soutient des structures d’intérêt général qui agissent en faveur de la sensibilisation au bien-être mental, de la prévention en termes de santé mentale et de l’accompagnement auprès des personnes en souffrances psychiques :

1. Mesurer son impact direct et/ou indirect : comment choisir ?

Dans le cadre d’une évaluation d’impact social, les étapes de rédaction du cahier des charges restent identiques pour un porteur de projets ou un accompagnateur de structures à impact (voir notre article Le cahier des charges en évaluation d’impact : pour bien faire il faut bien commencer). Cependant, évaluer son impact en tant que fondation, réseau, fonds de dotation, nécessite de considérer d’autres éléments. Aussi, la première question à se poser concerne le type d’impact que l’on souhaite mesurer : direct et/ou indirect.

Pour un accompagnateur, l’impact direct est mesuré auprès des associations soutenues, entreprises accompagnées, etc. ou sur les projets en eux-mêmes. C’est le cas par exemple pour une fondation distributrice – et non opératrice – qui souhaite mesurer son impact direct.

Dans un enjeu d’amélioration de son accompagnement auprès des structures à impact, un accompagnateur préfèrera mesurer ses impacts directs. Ainsi, l’accompagnateur pourra s’assurer de la cohérence de son accompagnement avec les besoins de chaque structure et les faire progresser dans ce sens, comme en témoigne Delphine Santini pour la Fondation AÉSIO (pour en savoir plus sur les projets soutenus par la Fondation AÉSIO) :

Quant à l’impact indirect, il est mesuré auprès des bénéficiaires finaux des projets accompagnés. Le plus souvent, cette évaluation d’impact indirect passe par la mesure des impacts des structures soutenues sur leurs bénéficiaires.

Les accompagnateurs de structures à impact préfèreront mesurer leurs impacts indirects notamment pour s’assurer de l’atteinte de leur mission sociale ou de leur contribution à la résolution d’une problématique.

2.Indicateurs « transversaux » et indicateurs « par projet » : comment choisir ?

Dans le cadre de son évaluation d’impact, la deuxième question que doit se poser un accompagnateur de structures à impact concerne le type d’indicateurs. En effet, lorsqu’une fondation, un réseau, un fonds de dotation choisit de mesurer son impact indirect, il/elle peut choisir deux types d’indicateurs combinables : les indicateurs transversaux et les indicateurs par projet.

Les indicateurs dits « transversaux » sont des indicateurs de reporting globaux et communs à l’ensemble des structures accompagnées. D’un point de vue pilotage, ce type d’indicateurs permet d’apporter des précisions sur l’orientation stratégique à adopter pour l’accompagnateur. Cependant, il n’est pas toujours possible de trouver des indicateurs communs pour toutes les structures accompagnées. Si les activités ou les publics cibles sont très différents, les indicateurs le seront également.

Les indicateurs dits « par projet » sont des indicateurs de reporting spécifiques à un projet soutenu et permettant de suivre chacun de ses impacts. Ainsi, l’accompagnateur dispose d’informations plus fines pour mieux accompagner la structure concernée et l’aider à progresser. Cependant, cela implique une grande quantité d’indicateurs à mesurer car plus il y a de projets, plus il y a d’indicateurs.

Ce qu’il faut retenir

Dans le cadre d’une évaluation d’impact, quel que soit le statut de l’accompagnateur – fondation, réseau, fonds de dotation, etc. – deux questions se posent : quel type d’impact mesurer (direct et/ou indirect) et quels types d’indicateurs collecter (transversaux et/ou par projet) ?

Pour faire le choix le plus adapté à situation, il faut tenir compte de ses propres besoins et enjeux : est-ce que mon accompagnement correspond aux besoins des structures que j’accompagne ? À quel point ma contribution permet-elle de résoudre une problématique ? Suis-je en mesure de collecter ce type d’indicateurs ? En évaluation d’impact, il ne s’agit pas toujours de faire un choix entre deux ou plusieurs options mais davantage de trouver un équilibre et une combinaison de ces diverses options – lorsque c’est possible.

Le mot de la fin revient à Delphine Santini de la Fondation AÉSIO qui nous rappelle que la mesure d’impact est un outil de valorisation important, à la fois pour les accompagnateurs mais également pour les porteurs de projets :

Pour citer cet article : Improve, « Fondations, réseaux, fonds de dotation… : comment évaluer son impact en tant qu’accompagnateur ? », mai 2024

Lire l'article

Je lance ma structure à impact : pourquoi anticiper mon évaluation d’impact social ?

Chaque année, de plus en plus de structures à impact se créent avec la volonté forte d’exercer un impact positif sur la société, tant sur le volet social qu’environnemental. Pour autant, peu de structures anticipent leur démarche d’évaluation d’impact. Certaines peuvent considérer que leur projet n’est pas assez mature ou qu’il est trop tôt pour y penser. Cet article présente un tour d’horizon des avantages à anticiper votre mesure d’impact si vous venez de créer votre structure à impact.

Premier avantage : prendre du recul sur sa stratégie d’impact

Pour les acteurs sociaux, la démarche d’évaluation d’impact est un outil de pilotage, une boussole vers l’impact. En effet, la réalisation des premières étapes de l’évaluation est l’occasion pour une structure à impact de :

1. (Re)définir sa mission sociale.

Collectivement, les membres de la structure s’accordent sur la formulation de leur mission sociale. Cela permet de s’assurer que chacun partage la même vision (ce qui n’est pas toujours le cas).

2. Identifier et prioriser les impacts qu’elle souhaite avoir.

En identifiant les impacts prioritaires qu’une structure souhaite avoir, elle se questionne sur : « quels types de résultats souhaités selon ma mission sociale ? », « pourquoi cet impact plutôt qu’un autre ? », etc.

Deuxième avantage : sécuriser sa collecte de données 

Se projeter dans sa collecte de données et la valorisation de ses résultats permet de ne pas se retrouver dépourvu au moment de lancer son évaluation. Aussi, nous suggérons à une structure d’anticiper ces deux étapes :

1. La prise de contact des bénéficiaires

L’évaluation nécessite de collecter des données auprès des bénéficiaires et donc d’avoir un moyen de les contacter : mail, téléphone, réseau social, listing, etc. Ainsi, dès le début, la structure peut s’interroger sur la manière dont récolter ces informations de contact.

2. Les potentiels croisements de données

En fonction des résultats attendus, la structure peut anticiper les potentiels croisements qu’elle voudra réaliser entre données d’impact et autres données (par exemple les données sociodémographiques). Pour ce faire, elle se questionne sur l’intérêt ou non de collecter des données de caractérisation et de performance sur son public cible. Par exemple, une structure à impact souhaite observer les impacts d’une action sur ses bénéficiaires mais en fonction de leur tranche d’âge. Dans ce cas, la structure devra anticiper la collecte de données portant sur l’âge des bénéficiaires.

Pour citer cet article : Improve, Je lance ma structure à impact : pourquoi anticiper mon évaluation d’impact social ? Février 2024.

Lire l'article

Quantifier son impact en évaluation : le rôle des statistiques inférentielles

Si, de manière générale, les statistiques sont bien connues du grand public, les statistiques inférentielles le sont moins. Leur rôle principal, en évaluation d’impact social, consiste à « faire parler » des données récoltées via des questionnaires de manière rigoureuse et approfondie. Alors, pourquoi est-ce intéressant d’intégrer les statistiques inférentielles dans son évaluation d’impact social ? Et comment les utiliser ?

1. Les statistiques inférentielles, un moyen de mieux comprendre ses impacts

Les statistiques inférentielles se réalisent en 3 étapes clés :

1ère étape : formuler des hypothèses : Une organisation émet une ou plusieurs hypothèses de départ qui statuent sur l’existence ou non d’un lien entre deux variables. Autrement dit, elle se demande si deux variables sont (in)dépendantes l’une de l’autre.

2ème étape : réaliser des statistiques inférentielles : L’organisation mesure les variables faisant l’objet de l’hypothèse. L’organisation peut résumer et présenter les données recueillies sous forme de tableaux ou de graphiques, il s’agit alors de statistiques descriptives. Mais pour tester l’hypothèse de départ, l’organisation doit mobiliser des statistiques inférentielles. Elles se basent sur la réalisation de tests statistiques consistant à croiser des données entre elles (régression linéaire, Chi2, test de Student…). Ces derniers sont choisis selon des critères[3] et peuvent être effectués via des logiciels de traitement statistiques comme SPSS ou encore R Studio.

3ème étape : interpréter les résultats et conclure : En fonction des résultats obtenus grâce aux tests, il est possible de valider ou de rejeter les hypothèses de départ. Cela prouve l’existence ou non d’un lien entre deux variables.

2/ Exemple pratique d’utilisation des statistiques inférentielles  

Afin d’éclaircir le rôle des statistiques inférentielles et la manière dont celles-ci peuvent aider à la prise de décision, nous proposons un exemple.

Contexte. Une université déploie un programme de cours avec des formats différents : l’un en présentiel (sur place) et l’autre à distance (en visioconférence). Elle souhaite statuer sur un format de cours identique pour tous : présentiel uniquement, à distance uniquement ou hybride.

Formulation de l’hypothèse. Elle se questionne notamment sur les effets du programme à distance concernant la prise de parole des étudiants. En effet, les enseignants craignent que les cours à distance pénalisent les étudiants dans le développement de leurs compétences en prise de parole.

L’université émet l’hypothèse que les étudiants suivant le programme en présentiel ont davantage développé leurs compétences en prise de parole que les étudiants suivant le programme à distance ; c’est-à-dire qu’il existe un lien entre la variable « développer ses compétences en prise de parole » et la variable « format de cours ».

Interprétation du test. Le test rejette l’hypothèse de départ ; il n’existe pas de lien entre les deux variables. Autrement dit, dans cette situation, le format de cours n’influence pas l’amélioration des étudiants dans l’exercice de la prise de parole.

Grâce aux statistiques inférentielles l’université peut statuer sur un format unique et décide d’opter pour un programme hybride.

Pour citer cet article : Improve, Quantifier son impact en évaluation : le rôle des statistiques inférentielles, janvier 2024

[1] Les statistiques descriptives permettent de résumer les données de manière simple. Il est possible de les définir comme « ce qui est visible à l’œil nu ». À la différence des statistiques inférentielles, elles ne permettent pas de déterminer l’existence de liens entre des variables.

[2] En statistique, une variable est une caractéristique étudiée sur l’ensemble d’une population, mais dont la valeur peut varier selon les individus.

[3] Comme la taille de l’échantillon d’une population ou encore le type de variable étudiée.

Lire l'article

Valorisation économique ou monétarisation de l’impact (ACB, SROI, évaluation socio-économique) : de quoi est-il question exactement ?

En évaluation d’impact, les trois méthodes de valorisation économique les plus connues sont l’Analyse Coûts-Bénéfices (ACB), le Retour Social Sur Investissement (Social Return On Investment en anglais, d’où l’acronyme SROI) et l’Évaluation Socio-économique (ESE). Possédant un objectif en apparence similaire – valoriser monétairement un impact social/sociétal –, les frontières entre ces trois méthodes peuvent sembler floues. À travers cet article, nous proposons de distinguer l’ACB, le SROI et l’évaluation socio-économique, notamment en reprenant les notions et terminologies présentes dans les trois guides de références suivants : le Guide de l’analyse coûts-bénéfices (Improve et Fondation Rexel, 2018[1]), le Guide du retour social sur investissement (ESSEC Business School, 2009[2]) et le Guide de l’évaluation socio-économique des investissements publics (France stratégie et Direction générale du Trésor, 2017[3]).

Pour mieux comprendre les similarités et différences de ces trois méthodes, nous aborderons les raisons poussant à la mise en œuvre d’une monétarisation, les éléments clés de chacune d’elles, et enfin les atouts et inconvénients de chacune de ces trois méthodes.

1. Pourquoi monétariser ses impacts ?

Tout porteur de projets à impact peut recourir à la valorisation économique, dans le secteur de l’économie sociale et solidaire, du public ou du privé, de l’associatif ou encore dans le cadre d’une politique publique.

Un des premiers enjeux lié à cette valorisation économique est stratégique et consiste en une action de plaidoyer à destination de financeurs publics et/ou privés afin de lever des fonds. Cela permet notamment de répondre aux difficultés de financement des projets portés par les acteurs de l’économie sociale et solidaire – dues aux baisses des subventions publiques.

Un autre enjeu auquel répond la monétarisation réside dans la démonstration de la pertinence d’une innovation sociale sur le plan économique. En effet, au-delà de prouver l’impact social effectif d’une innovation sociale auprès de ses bénéficiaires, il est intéressant d’en démontrer les économies et/ou les coûts évités que cette dernière pourrait permettre si elle était déployée à grande échelle (par exemple, s’il s’agit de déployer une innovation sociale au niveau national pour l’ensemble de la population française).

2. Les points clés des 3 méthodes

L’Analyse Coûts-Bénéfices (ACB) 

Quand ? La méthode de l’ACB [4] peut se travailler en prévisionnel du déploiement des activités, à titre indicatif, lorsque des données déjà existantes sont suffisamment nombreuses pour élaborer des hypothèses précises. Mais pour être conclusive, elle doit être réalisée en ex-post (i.e., les impacts sont mesurés une fois qu’ils sont réellement apparus), afin de faire la démonstration par la preuve de l’efficience économique de l’action. Nous conseillons de la réaliser au terme d’une première évaluation d’impact, afin de mieux connaitre les impacts valorisables économiquement [1].

Type(s) de données/collecte ? La collecte de données de terrain fait partie intégrante de la méthode de l’ACB pour démontrer des impacts économiques. Elle se réalise via une étude entre un groupe témoin et un groupe cible (pour en savoir plus sur les méthodes en évaluation d’impact : Improve, Méthodes et outils en évaluation d’impact : parlons-en !, janvier 2023).

Qui ? L’ACB permet d’évaluer la rentabilité d’un projet pour une ou plusieurs partie(s) prenante(s) identifiée(s). Le plus souvent, il s’agit du financeur principal de l’action, qu’il soit privé ou public. L’Etat est également souvent choisi même lorsqu’il n’est pas financeur principal : l’objectif de l’ACB est alors de convaincre ce dernier de la pertinence du projet, y compris d’un point de vue économique, pour en faire un partenaire privilégié.

Type(s) de valorisation des impacts ? Les impacts mesurés lors d’une ACB peuvent être de nature économique ou avoir un double caractère social et économique. En effet, seuls les impacts se traduisant en valeur monétaire (c’est-à-dire générant des économies ou des coûts) sont pris en compte dans le calcul. Prenons l’exemple du « retour à l’emploi accéléré d’un public éloigné de l’emploi » grâce à une action. Cet impact social se traduit également économiquement. D’un côté, ce retour à l’emploi va créer des économies pour l’État, en termes d’aides sociales allouées. D’un autre côté, cette action va générer des gains, notamment en termes d’impôts sur le revenu ou de dépenses effectuées par les ménages. Ici, ces indicateurs ont une valeur économique transposable monétairement. En revanche, le « gain de confiance en soi des personnes qui ont retrouvé un emploi » n’ayant pas de valeur économique existante ne peut pas être pris en compte dans le calcul de l’ACB.

 

Le retour social sur investissement (SROI)

Quand ? Tout comme l’ACB, le SROI peut se réaliser en amont du programme, de manière prévisionnelle, en anticipant la valeur sociale créée dans le cas où les activités produiraient les résultats attendus. Il peut également se faire en aval, dans ce cas il est dit « SROI d’évaluation » et se base sur des résultats déjà constatables [2] .

Type(s) de données/collecte ? Dans les cas d’un SROI prévisionnel ou d’évaluation, le recueil de données issues de sources existantes (internes ou externes) est fortement recommandé, notamment pour limiter le budget de l’étude [2] . Néanmoins, il est également possible de collecter des données de terrain en ayant recours à des entretiens qualitatifs ou des questionnaires par exemple.

Qui ? Plus globale que l’ACB, la méthode du SROI adopte le point de vue de la société dans son ensemble. Sont donc pris en compte dans le calcul final du SROI toutes les parties prenantes impliquées ou potentiellement impactées : l’état, des particuliers, des entreprises, etc.

Type(s) de valorisation des impacts ? En plus de considérer les impacts directement monétisables comme pour l’ACB, la méthode du SROI tient compte d’impacts sociaux qu’elle traduit en valeur extra-financière – souvent dit en « valeur sociale ». Cela implique de qualifier et quantifier des impacts qui ne sont pas toujours mesurables monétairement (par exemple un gain de confiance en soi). Pour ce faire, on recourt à des proxys [5]. Reprenons ici un exemple présent dans le Guide du SROI [2] : pour une personne ayant un problème physique, le résultat attendu de l’intervention est que sa santé physique s’améliore. Un des indicateurs envisagé est « la fréquence de pratique d’une activité physique ». Cet indicateur ne possède pas de valeur monétaire directe. Le fait de lui attribuer un proxy comme le « coût de l’adhésion à un club de sport » permet donc de monétariser cet impact et de l’inclure dans le calcul du SROI.

 

L’évaluation socio-économique

Quand ? Comme l’ACB et le SROI, l’évaluation socio-économique se réalise en amont comme en aval. Réalisée en amont (« évaluation ex-ante »), elle permet d’éclairer et de répondre à des enjeux d’investissements dans le secteur public. Conduite en aval (évaluation « ex-post »), l’évaluation socio-économique permet une mise à jour des informations et un remplacement des données prévisionnelles (utilisées lors de l’évaluation ex-ante) par des données collectées[3] . Notons que dans le cadre d’un investissement public dont le financement est supérieur à 20 millions d’euros, il est obligatoire de réaliser une évaluation socio-économique [6].

Type(s) de données/collecte ? L’évaluation socio-économique utilise la méthode contrefactuelle [7], qui consiste à comparer une situation avec intervention (option d’investissement) à une situation sans intervention (option de référence) [8]. Cette comparaison ne requiert pas forcément de réaliser spécifiquement une collecte de données ex-post exhaustive et peut se baser fortement sur des données issues de la littérature existante (par exemple des articles académiques ou des évaluations randomisées dans le cadre d’une évaluation).

Qui ? Tout comme la méthode du SROI, l’évaluation socio-économique ne se cantonne pas uniquement au point de vue d’une partie prenante liée à l’investissement mais prend en considération le point de vue de la collectivité dans son ensemble [3]

Type(s) de valorisation des impacts ? L’évaluation socio-économique tient compte de divers impacts, certains donnant lieu à des flux monétaires et d’autres pas, mais ayant une valeur pour la collectivité. Aussi, lors de l’évaluation, il est possible de recourir à différents types de monétarisation. S’il s’agit d’impacts économiques, ceux-ci sont directement exprimés en valeur monétaire. Pour les autres impacts, la monétarisation se fait via des valeurs de références [8] (aussi appelées « valeurs tutélaires »). Cependant, si aucune valeur de référence n’existe, il faut procéder à une étude de monétarisation des impacts via une extrapolation des résultats d’articles académiques – s’appuyant par exemple sur une étude des « préférences » des individus [3]. A titre d’exemple, la valeur du temps est devenue une valeur tutélaire issue d’études de préférence dans lesquelles sont examinées les dispositions des individus à payer plus ou moins cher un moyen de transport donné pour voyager plus rapidement [3]. En complément, afin de présenter l’intérêt financier de l’investissement, l’évaluation socio-économique peut se coupler à la réalisation d’une ACB des impacts monétarisés.

3. Atouts et inconvénients des méthodes

L’atout majeur mais aussi le principal inconvénient de l’ACB réside dans sa rigueur. En effet, cette méthode permet de rendre compte des coûts évités et/ou des économies réalisées par les parties prenantes (liées à l’investissement) grâce à une action, en se basant exclusivement sur la démonstration par la preuve de l’efficience de l’impact du programme. De fait, seuls les impacts économiques s’exprimant en valeur monétaire font foi. Or, l’accès aux données nécessaires à cette démonstration peut s’avérer difficile.

La dimension plus globale de la méthode du SROI – dans la monétarisation des impacts sociaux ou en adoptant le point de vue de la société dans son ensemble – apparaît également comme un avantage et un inconvénient. D’un côté, la méthode se révèle plus simple que l’ACB car, dans les faits, la démonstration rigoureuse par la preuve n’est pas nécessaire. Mais, en considérant un plus large panel d’impacts notamment en utilisant les techniques de « préférences révélées » des individus, les résultats peuvent se montrer moins affinés [9]. De plus, cela suppose que tout impact social peut être monétarisé et certains porteurs de projet peuvent ne pas souhaiter cette valorisation particulière de leurs impacts sociaux.

En comparaison, la méthode de l’évaluation socio-économique se révèle également plus large que celle de l’ACB. Son atout provient de sa capacité de projection, en se référant à des recherches académiques pour prédire les impacts, particulièrement utile en étape de décision d’investissement public. A contrario, le passage à la démonstration par la preuve en aval pour observer si les prédictions en amont sont correctes peut s’avérer très complexe. En effet, comme pour la méthode du SROI, la méthode de l’évaluation socio-économique transforme en valeur monétaire tous les types d’impacts : économiques et non économiques, pour toute la société.  Il est nécessairement plus délicat d’apporter la preuve de l’efficience de chacun d’entre eux de manière rigoureuse.

Au regard de ces éléments, les grandes questions à se poser pour choisir entre ces méthodes sont les suivantes : de quel niveau de rigueur a-t-on besoin dans la démonstration des impacts pour répondre à nos enjeux ? Souhaite-t-on convaincre un financeur existant ou potentiel via la démonstration d’un impact économique dont il est le principal concerné ? Ou souhaite-t-on rendre compte de la valeur globale d’un projet en monétarisant tous les impacts pour la société qu’ils soient économiques ou sociaux ?

Pour citer cet article : Improve, Valorisation économique ou monétarisation de l’impact (ACB, SROI, évaluation socio-économique) : de quoi est-il question exactement ?, octobre 2023

[1] Guide de l’analyse coûts-bénéfices (Improve et Fondation Rexel, 2018).

[2] Guide du retour social sur investissement (ESSEC Business School, 2009).

[3] Guide de l’évaluation socio-économique des investissements publics (France stratégie et Direction générale du Trésor, 2017).

[4] L’ACB (Analyse Coûts-Bénéfices) connaît une autre terminologie synonyme comme l’ACA (Analyse Coût-Avantage : tiré de la Fiche synthèse « L’analyse coût-avantage (ACA) », TIESS, 2017).

[5] « Dans le cadre du SROI, on utilise des proxys financiers pour estimer la valeur sociale des biens qui ne font pas l’objet d’un échange pour différentes parties prenantes. » tiré du Guide du retour social sur investissement (ESSEC Business School, 2009).

[6] L’article 17 de la Loi du 31 décembre 2012 de programmation des finances publiques oblige tout porteur de projet d’investissement financé par l’État ou par l’un de ses établissements à réaliser préalablement une évaluation socioéconomique (Secrétariat général pour l’investissement (SGPI), L’évaluation socio-économique (ESE), 2021).

[7] Pour en savoir plus sur la méthode contrefactuelle : Improve, Méthodes et outils en évaluation d’impact : parlons-en !, janvier 2023.

[8] Les principales valeurs de références sont par exemple : la valeur du temps (temps de transport domicile-travail), la valeur de la vie humaine (amélioration de la santé) ou encore la valeur environnementale (émission de CO2) (De Brux, J., Goldzahl, L. et Mével, A. (2018). L’aide et les soins à domicile : quelle création de valeur ?. CITIZING pour ADESSADOMICILE et l’OCIRP).

[9] Tiré de la Fiche synthèse « La méthode du social return on investment (SROI) », TIESS, 2017

Lire l'article

La Théorie du Changement (ToC) : outil indispensable de la démarche évaluative ?

La Théorie du Changement tire son origine et acronyme de l’anglais Theory of Change (ToC). C’est un outil connu de l’évaluation d’impact qui permet de définir le processus de changement social attendu d’une action/d’un programme d’action. Le plus souvent formalisée grâce à un outil de mind mapping*, la théorie du changement présente visuellement le processus de changement : d’un côté (à gauche) les actions portées auprès de la partie prenante préalablement identifiée et de l’autre (à droite) la mission sociale. L’ensemble des changements attendus – directs, indirects, court terme, long terme… – se déclinent entre ces deux axes.

1. La réalisation de sa théorie du changement implique nécessairement de (re)définir la mission sociale de son organisation.
Cette dernière étant l’objectif final visé par l’ensemble des actions portées par une organisation, elle va se trouver à droite de la ToC visuellement – comme la finalité de tout processus de changement. Souvent, la formalisation de la mission sociale se résume en une phrase clé qui permet à l’ensemble des parties prenantes de s’aligner ou de se réaligner sur une vision commune. Ce qui représente déjà en soi une réelle valeur ajoutée dans la vie d’une organisation.

2. La théorie du changement permet de formaliser des hypothèses théoriques sous-jacentes à un projet.
Ces dernières constituent l’ensemble des mécanismes permettant d’obtenir l’impact recherché. Il s’agit de formuler des hypothèses selon lesquelles nous estimons que les changements sociétaux vont survenir dans le temps. (Pour en savoir plus sur l’objectivation du changement : Improve, Evaluation d’impact et reporting : quelles différences ?, février 2023). Si nous parlons d’hypothèses théoriques c’est parce qu’elles n’ont pas encore été soumises à évaluation.

En parallèle, identifier les facteurs clés de succès est important pour comprendre à quelles conditions les changements s’opèrent et « garantir » leur réalisation. La représentation visuelle permet de prendre connaissance de l’ensemble de ces éléments – hypothèses et facteurs clés de succès – plus facilement et plus rapidement.

3. Construire sa ToC est l’opportunité d’identifier ou de mieux connaître les liens de cause à effet entre une action et un (des) changement(s).
Dans le processus de changement, il est possible d’observer des « boucles de rétroaction » : une influence mutuelle entre deux variables. Par exemple, l’atteinte de l’impact « Développer son réseau professionnel » peut à son tour amplifier ou ralentir l’impact « Acquérir de nouvelles connaissances sur un secteur d’activité ».

4. Enfin, une fois la théorie du changement finalisée, on dispose d’une visualisation exhaustive et détaillée de l’ensemble des changements à l’œuvre. Il est ainsi plus facile de prioriser les impacts clés à évaluer (puisqu’on ne peut jamais tout évaluer…!).
Il convient de  tenir compte des enjeux et contraintes de l’organisation pour effectuer au mieux cette tâche de priorisation. Afin de faciliter la prise de décision, il est intéressant de se poser les bonnes questions. Par exemple : « Cet impact est-il facilement mesurable ? », « Cet impact est-il essentiellement attribuable à mon action ? ». Ou encore « Est-ce un impact (in)direct, (in)désirable, (in)attendu ? », etc.

La priorisation des impacts est une étape importante pour ensuite pouvoir traduire ces impacts priorisés en termes d’indicateurs. La/les nature(s) de ces derniers conduisent à des choix de méthodes et d’outils de collecte adaptés pour la suite de l’évaluation (Improve, Méthodes et outils en évaluation d’impact : parlons-en !, février 2023).

*Comme Xmind ou Miro par exemple.

Lire l'article

Evaluation d’impact et reporting : quelles différences ?

Les notions d’évaluation d’impact et de reporting sont souvent employées pour décrire un même processus visant à prouver l’impact d’une organisation. Pourtant, ces deux notions ne servent pas les mêmes objectifs.
Cet article revient sur notre propre définition de l’impact et par déduction sur celle de l’évaluation d’impact faisant l’objet de méthodes spécifiques – nous permettant ainsi de mettre en lumière les différences entre évaluation d’impact et reporting.

L’importance des définitions
En évaluation, la notion d’impact ne connaît pas de consensus autour d’une définition unique. En tant qu’évaluateur, nous définissons l’impact comme « un ensemble de changements durables, positifs ou négatifs, attendus ou inattendus – engendrés par les activités d’une organisation et attribuables aux activités étudiées – de nature environnementale, économique ou sociale ».

Pour l’illustrer, reprenons le schéma de la chaîne de valeur de l’impact.

Ce dernier permet de différencier les impacts, définis comme les « conséquences imputables aux actions », des réalisations (« produits obtenus ») et des résultats (« effets immédiats ») (Avise, Impact social, de quoi parle-t-on ?, juin 2020).

Sur la base de ces définitions, la démarche d’évaluation d’impact repose donc sur deux objectifs clés :

L’importance des méthodes en évaluation d’impact
En évaluation d’impact, un indicateur en tant que tel n’est pas nécessairement preuve d’impact. Il peut s’agir d’indicateurs de caractérisation (typologies des publics bénéficiaires par exemple), d’indicateurs de performance (nombre de personnes touchées…) ou d’indicateurs de résultat (évolution de la situation des bénéficiaires…).

Concernant les indicateurs visant à démontrer l’impact d’une action, ce sont bien les notions de changement et d’attribution, évaluées par le biais de méthodes issues des sciences sociales, qui permettent de qualifier un indicateur d’impact. Par exemple, la méthode amont/aval rend possible l’évaluation objective du changement tandis que la méthode contrefactuelle permet d’attribuer des changements à une action (Improve, Méthodes et outils en évaluation d’impact : parlons-en !, janvier 2023).
A contrario, le reporting ne requiert pas l’emploi de méthodes de ce type. Il consiste en une remontée d’informations quantitatives à un ou des instant(s) donné(s), dont il est possible d’observer l’évolution dans le temps (accroissement d’activités ou du nombre de personne touchées par exemple).

Une autre différenciation clé de l’évaluation d’impact réside dans la nature des changements à évaluer, souvent de type psychosociaux. Si les méthodes et outils spécifiques évoqués ci-dessus permettent bien d’évaluer ce type de changements en évaluation d’impact, il est très difficile – voire impossible – de le faire dans le cadre du reporting.

Enfin, les données (si quantitatives) en évaluation d’impact nécessitent une analyse via des statistiques inférentielles, permettant de comprendre les mécanismes à l’œuvre et de généraliser les résultats obtenus à l’ensemble d’un public cible. Quant au reporting, les statistiques descriptives suffisent pour valoriser des chiffres clés et/ou les mettre au regard de données de références.

Lire l'article
Voir tous les articles

Publications

Notre équipe produit régulièrement des publications afin de partager à un large public notre expertise de l'évaluation d'impact et les connaissances issues de notre expérience.

Intégrer le genre, la démocratie, le territoire et la biodiversité dans son évaluation

Livrable issu du cycle 2023 des Petits déjeuners de la mesure d’impact dans le cadre du Forum Convergences.

Les membres du Groupe de travail ont souhaité poursuivre les réflexions, entamées en 2022, sur l’approche globale de la mesure d’impact.

La publication se divise en quatre fiches thématiques : intégrer à son évaluation l’impact territorial, démocratique, sur la biodiversité et sur le genre. Chaque fiche contient une boîte à outils, des définitions et les questions à se poser dans le cadre de son évaluation.

    Adopter une démarche intégrée de la mesure d’impact : retours d’expérience

    Livrable issu du cycle 2022 des Petits déjeuners de la mesure d’impact dans le cadre du Forum Convergences.

    Les membres des Petits déjeuners de la mesure d'impact ont décidé de s’interroger sur la manière de concilier les mesures d’impacts économiques, sociaux et environnementaux dans une démarche d’évaluation dite « intégrée ».

    Ce livrable issu des travaux menés durant l'année est constitué de neuf fiches témoignages. Il a pour but de documenter la diversité des méthodes existantes qui tendent vers une démarche intégrée en capitalisant sur leurs retours d’expérience afin d’inspirer d’autres acteur·rice·s pour qu’ils et elles s’emparent de ce type de démarche d’évaluation.

      Mesure d'impact, pour un regard critique

      Comment décrypter un rapport d'impact ?

      La mesure d'impact est devenue un enjeu primordial dans le champ social et environnemental : à l'heure où les acteurs et les évaluations se multiplient, il devient capital de s'attacher à la transparence et à la qualité des rapports, ainsi que des données produites.

      C'est pour répondre à cet enjeu que nous avons élaboré un outil pratique, dans le cadre des Petits déjeuners de la mesure d'impact organisés par Convergences - 3Zéro et que nous co-animons avec l'Avise depuis 2018.

      Cet outil vous donnera des clés pour analyser et décrypter des rapports d'impact.

        Comment évaluer son impact ? Principes méthodologiques

        Dans le cadre du Social Value France, avec l'Avise et Fidarec
        2021

        Initié par Fidarec et Improve, ce guide s'appuie sur une série de groupes de travail réalisés en croisant les regards de structures expertes et de structures non expertes mais intéressées par l'évaluation d'impact. L'objectif du guide est d'aiguiller le lecteur dans l'ensemble des principes méthodologiques à connaître pour mener une évaluation en accord avec ses besoins.

          S'engager dans la mesure d'impact environnemental : points de repères

          Dans le cadre du Forum Convergences, avec Convergences et l'Avise
          2021

          Publication issue des Petits déjeuners de la mesure d'impact, organisés par Convergences et co-animés avec l'Avise et Improve en 2021, ce livrable est un outil à destination des organisations ou professionnels porteurs de projets, pour mieux s'informer et se repérer au sujet de la mesure d'impact environnemental.

            Vademecum de la mesure d’impact social

            Dans le cadre du Forum Convergences, avec Convergences et l’Avise
            2019

            Publication issue des Petits déjeuners de la mesure d'impact, organisés par Convergences et co-animés avec l’Avise et Improve en 2019, ce vademecum est un outil à destination du plus grand nombre, pour mieux s’informer et se repérer parmi la littérature existante sur la mesure d’impact.

              Guide de l’analyse coûts-bénéfices

              En partenariat avec la Fondation Rexel
              2018

              Une deuxième publication en partenariat avec la Fondation Rexel pour découvrir la méthodologie de l'analyse coûts-bénéfices des initiatives à impact sociétal. Tout comme le Guide de la mesure d'impact, ce guide est open source et destiné à toutes celles et ceux qui souhaitent mieux connaître et pourquoi pas réaliser eux-mêmes l'analyse coûts-bénéfices de leur structure ou de leur projet à impact !

                Guide de la mesure d’impact social

                En partenariat avec la Fondation Rexel
                2016

                Un guide pratique et open source, créé avec le soutien de la Fondation Rexel, qui vous guidera pas à pas à travers les étapes de notre méthodologie de travail de l’évaluation d’impact.

                  Engagements et Recherche & Développement

                  Nous participons toute l’année ou ponctuellement à différents groupes de travail sur des problématiques liées à nos expertises et métiers.