Articles

L’association RESES, coachée à l’évaluation d’impact social : retour d’expérience d’Ombeline Gall, Responsable pédagogique

Le RESES, qu’est-ce que c’est ? 

Le RESES est le Réseau Etudiant pour une Société Ecologique et Solidaire. C’est une association tête de réseau, c’est-à-dire que nous regroupons des associations étudiantes qui mènent des projets en lien avec les enjeux écologiques et solidaires. Notre objectif est de former et d’engager 100% des étudiant·e·s sur les questions d’écologie et de solidarité, et que 100% des campus soient durables. Nos principales missions pour atteindre ces objectifs sont de rassembler les associations étudiantes, de les encapaciter par des formations et des outils pédagogiques, et de porter les voix étudiantes auprès des institutions publiques.

Quel programme avez-vous choisi d’évaluer et pourquoi ? 

Nous avons choisi d’évaluer l’impact du programme Insertion et Emploi, qui met en relation des étudiant·e·s et des professionnels engagés pour la transition écologique et solidaire, afin de les aider dans leur insertion professionnelle. La mesure d’impact visait à améliorer notre programme en interne, savoir s’il fonctionnait et si on arrivait à atteindre nos objectifs ; et aussi à valoriser nos actions auprès de nos partenaires.

Vous avez choisi de faire une partie de cette évaluation en coaching : comment cela s’est-il passé ? 

Oui, nous avons fait les étapes de cadrage de l’évaluation d’impact en coaching. Ça s’est très bien passé. C’était des ateliers en présentiel, ce qui nous permettait d’être ensemble avec Improve. C’était très enrichissant, ça nous a permis de réfléchir et de comprendre nos programmes en profondeur, notamment sur les impacts recherchés, ce que l’on souhaitait mesurer.

Qu’avez-vous appris des résultats de cette évaluation d’impact ?  Y a-t-il eu des résultats surprenants ?

Oui, nous avons eu de bonnes surprises, notamment sur les rencontres faites et les contacts échangés au cours des évènements du programme. Nous n’avions pas d’idée précise sur le fait de savoir si les personnes échangeaient des contacts sur nos évènements, et il se trouve que c’est le cas. Ensuite, on avait certaines intuitions concernant le programme qui ont été confirmées par les résultats. Par exemple, sur le fait qu’il n’y avait pas beaucoup d’associations étudiantes membres du RESES qui participaient aux évènements. En réalité, c’était plutôt des étudiant·e·s hors associations membres qui participaient. Après, au niveau des impacts recherchés comme la découverte de métiers, la découverte de domaines engagés, ils se sont aussi vérifiés grâce au questionnaire.

A quoi vous ont servi les résultats de cette évaluation d’impact ? Avez-vous utilisé des résultats pour modifier le programme ? 

Vu que l’évaluation a démontré qu’il y avait des échanges de contacts lors des évènements, nous avons décidé d’encourager ça davantage et de créer des supports pour faciliter cette mise en lien. L’évaluation a également montré qu’à la suite de notre Forum des métiers, il y avait encore un petit pourcentage de personnes qui doutait que leur profil soit adapté aux métiers de la transition. Alors, on a aussi créé un atelier supplémentaire qui s’appelle « Tes compétences au service de demain ». Plus globalement, nous sommes aussi dans une réflexion de long terme concernant la refonte du programme pour impliquer et toucher davantage nos associations membres.

Où en est votre évaluation d’impact aujourd’hui ? L’avez-vous reconduite sur l’édition 2025 du programme Insertion et Emploi ou sur d’autres programmes ?

Oui, nous l’avons reconduite sur le programme alimentation durable et sur le pôle pédagogique. J’ai accompagné l’équipe sur sa montée en compétences en faisant une présentation de la mesure d’impact et en les aidant sur toutes les étapes jusqu’à la création de leur questionnaire. Depuis janvier 2025, on diffuse le questionnaire sur nos évènements et on a déjà 140 réponses. L’idée est d’étendre la mesure d’impact aussi à notre pôle réseau pour la prochaine année universitaire.

Qu’est-ce que vous attendez de la démarche d’évaluation d’impact sur l’ensemble de ces autres programmes ?

On a aussi toujours une question ouverte à la fin de nos questionnaires pour pouvoir améliorer en interne nos évènements. Et ça nous permet aussi de valoriser nos actions auprès de nos partenaires.

Quel conseil donneriez-vous à une structure qui souhaite se lancer dans l’évaluation de son impact ?  

Je dirais qu’il y a un entre-deux à trouver. D’un côté, c’est important de bien structurer sa mesure d’impact car on peut perdre du temps à ne pas cadrer certaines étapes. Du coup, c’est bien si on est accompagné. Et, en même temps, garder en tête que mesurer son impact c’est utile et qu’il vaut mieux se lancer, même si sa mesure d’impact n’est pas parfaite, car cela peut prendre du temps. Ensuite, je dirais que la mesure d’impact ne doit pas affecter nos activités. Je pense, par exemple, aux bénévoles présents à nos formations et à qui on demande de faire remplir un questionnaire aux participants. Je leur rappelle toujours que s’ils n’ont finalement pas le temps ce n’est pas grave. Même si notre but est de collecter de la donnée, ça ne doit pas les impacter eux.

Quelles sont les prochaines étapes pour le RESES ? 

Je dirais diffuser et faire la mesure d’impact des autres pôles et programmes. L’année prochaine ce sera le pôle réseau. On essaie d’en faire une chaque année. Et un peu plus globalement, à l’échelle du RESES, on essaie de travailler davantage avec nos associations membres, de coconstruire de plus en plus avec elles nos projets, pour s’ancrer dans leur réalité et sur les campus.

Lire l'article

Financer son évaluation d’impact : comment faire ?

Plus de la moitié des acteurs de l’économie sociale et solidaire (56,2%) considèrent le coût comme l’un des principaux freins à mener une évaluation d’impact[1]. Cette difficulté de financement met en avant le besoin de trouver de nouvelles sources de financement. Dans le domaine de l’évaluation d’impact, on recense un certain nombre d’acteurs en capacité d’accompagner les structures à différents niveaux[2]. Parmi ces acteurs, certains sont spécialisés dans l’accompagnement financier. Cet article vient en complément de la littérature existante sur le sujet des financements en évaluation d’impact.

1/ Comment ma structure peut-elle s’autofinancer ?

Une des solutions d’autofinancement la plus courante pour une évaluation d’impact est celle qui se réalise à partir des fonds propres de sa structure. C’est le cas pour 77% des acteurs de l’économie sociale et solidaire[3] (ESS).

Conseil pour les petits budgets : vous pouvez prioriser sur certaines parties de votre évaluation d’impact afin de vous concentrer sur le périmètre le plus essentiel. Par exemple, vous pouvez choisir l’étude d’une seule partie prenante plutôt que celle de plusieurs parties prenantes.

Une autre possibilité d’autofinancement est de réaliser tout ou partie de votre évaluation d’impact en interne. Si les moyens financiers de votre structure ne vous permettent pas de recourir à un cabinet de conseil (à une externalisation), l’internalisation[4], partielle ou totale, s’avère une option intéressante.

Conseil : n’hésitez pas à anticiper votre évaluation d’impact ! Cela vous permettra de déterminer une enveloppe budgétaire adéquate selon vos besoins et enjeux et de prévoir des temps dédiés.

2/ Ma structure peut-elle impliquer ses financeurs existants ?

Si votre structure perçoit des financements de la part de financeurs externes, il est possible de leur demander une participation pour la réalisation d’une évaluation d’impact. Aussi, n’hésitez pas à inclure les financeurs dans votre démarche d’évaluation d’impact. Par exemple en les faisant participer à diverses étapes comme les COPIL, les entretiens exploratoires, etc. L’intérêt pour les financeurs est de leur garantir une transparence dans le partenariat qui les lie à votre structure. De plus, en tenant compte des besoins des financeurs et en les incluant dans l’évaluation d’impact, vous êtes à même de pouvoir communiquer et valoriser des résultats finaux les concernant.

À l’attention des financeurs : en tant que financeurs vous pouvez décider, avant l’arrêt de vos financements, de financer une évaluation d’impact. Cela permet à la structure soutenue de trouver d’autres sources de financement.

3/ Vers quels autres acteurs ma structure peut-elle se tourner ?

Si votre structure ne dispose pas de fonds suffisants pour s’autofinancer ni de soutiens financiers externes, elle peut se tourner vers d’autres financeurs. Il existe de nombreux acteurs en capacité de financer tout ou partie d’une évaluation d’impact. En voici quelques exemples :

Les dispositifs locaux d’accompagnement (DLA), permettant de se former sur différentes étapes de son parcours en fonction de ses besoins ;

Les fondations[6], qui soutiennent de nombreux porteurs de projets et souhaitent s’assurer du bon usage de leurs financements. Au-delà du soutien financier, certaines fondations vont plus loin et proposent un accompagnement plus complet dans la réalisation et l’évaluation de l’impact social de leurs partenaires. C’est le cas par exemple de la Fondation AESIO, qui propose à ses partenaires une formation et des sessions de coaching en partenariat avec notre cabinet Improve ;

Les appels à projets, qui accompagnent et soutiennent financièrement des porteurs de projets à impact. Ils sont lancés par différents groupes comme l’Agence Française de Développement ou encore le Fonds Social Européen + [7]porté par l’Avise;

Le contrat à impact social (CIS), qui est un outil de financement innovant pour des projets de grande ampleur. Il permet de financer l’action d’un porteur de projet pour un besoin identifié mais également une évaluation d’impact social.

À l’attention des financeurs : pour un appel à projet, il est intéressant d’inclure dans le cahier des charges [8] une enveloppe budgétaire pour une évaluation d’impact. Cela permet d’attirer des structures étant dans une démarche d’amélioration continue de leur impact et souhaitant privilégier les échanges partenariaux.

4/ Quels partenariats ma structure peut-elle envisager ?

Différentes formes de partenariats sont possibles pour mener à bien une évaluation d’impact et, ce, à moindre coût.

Ce peut être, par exemple, la création d’un poste de doctorat Cifre (Convention industrielle de formation pour la recherche), associant à la fois la structure, le laboratoire de recherche universitaire et le doctorant. En confiant un travail de recherche à un doctorant, la structure s’assure une ressource humaine supplémentaire qualifiée et optimise le temps consacré à la recherche et développement (R&D).

Il peut également être question d’une coopération directe avec une université. Dans un intérêt commun, de plus en plus de structures collaborent avec des universités dans une démarche de co-formation permettant également aux professionnels de participer de près au travail d’évaluation [9].

Aussi, il est possible qu’un partenariat se fasse uniquement pour certaines étapes de l’évaluation d’impact. Par exemple, créer un partenariat avec des chercheurs souhaitant collecter des données de terrain sur le public de la structure. Dans ce cas, seule l’étape de la collecte et du traitement des données est concernée.

Pour citer cet article : Improve, Financer son évaluation d’impact : comment faire ?,  janvier 2025

[1] Baromètre de la mesure d’impact social, KPMG, 2017

[2] Pour en savoir plus sur les acteurs du domaine de l’EIS : Avise, Me faire accompagner et financer pour évaluer mon impact, 2023

[3] Baromètre de la mesure d’impact, KPMG, 2017

[4] Pour en savoir plus sur l’internalisation et l’externalisation : Improve, Internaliser ou externaliser une évaluation, comment choisir, octobre 2022

[5] Pour en savoir plus sur la formation-action : Agence Lucie, Comprendre les fondamentaux de l’évaluation d’impact social

[6] Pour en savoir plus sur les accompagnateurs : Improve, Fondations, réseaux, fonds de dotation : comment évaluer son impact en tant qu’accompagnateur ?, mai 2024

[7] Pour en savoir plus sur le FSE+ : Avise, Financer l’ESS, 2023

[8] Pour en savoir plus sur le cahier des charges en évaluation d’impact : Improve, Le cahier des charges en évaluation d’impact : pour bien faire il faut bien commencer, octobre 2022

[9] N. Bartkowiak et al. Récit d’un partenariat institution-université pour produire des connaissances partagées. Dans le Sociographe 2018/4 ( n°64), pages 1 à 12.

Lire l'article

Interview de Noémie Elkaïm, Co-directrice de l’association Comme les Autres : de la mesure d’impact social au contrat à impact

L’association Comme les Autres est accompagnée par notre cabinet Improve depuis presque 10 ans. Après deux mesures d’impact social au compteur et un contrat à impact en cours, nous revenons sur le parcours d’accompagnement de cette association. Retour d’expérience avec Noémie Elkaïm, Co-directrice de l’association Comme les Autres.

Pouvez-vous présenter l’association « Comme les Autres » ?

L’association Comme les Autres propose un accompagnement social global dynamisé par le sport et les sensations fortes aux personnes devenues handicapées moteur à la suite d’un accident. L’objectif de cet accompagnement est de faciliter le rebond vers une vie sociale et professionnelle épanouie.

Comment accompagnez-vous ces personnes concrètement ?

Notre accompagnement associe un suivi personnalisé par un·e travailleur·euse social·e et la participation à des activités collectives en mixité handicapés-valides, notamment à sensations fortes. Cette formule, directement inspirée de l’histoire des co-fondateurs de l’association, permet d’accélérer le rebond des personnes devenues handicapées moteur à la suite d’un accident vers une vie épanouie. L’accompagnement individuel dure environ un an et est global. Co-construit par le bénéficiaire et un·e travailleur·euse social·e de l’association Comme les Autres, il intègre tous les aspects de la vie : mobilité, accès aux droits, logement, vie affective, lien social, accès au sport, à la culture et aux loisirs, insertion professionnelle. Comme les Autres assure ainsi la continuité du parcours de reconstruction, de ses bénéficiaires, initié en centre de rééducation, en les accompagnant au moment de leur retour à la vie « ordinaire » dans leur remobilisation globale : physique, psychique, sociale et professionnelle. L’un des outils proposés aux bénéficiaires dans le cadre du parcours de reconstruction est un séjour-aventure sportif. Il s’agit d’une expérience intense et transformatrice qui agit comme une piqûre d’adrénaline pour les bénéficiaires. Ce sont à chaque fois 5 participant·e·s valides et 5 participant·e·s handicapé·e·s qui partent ensemble. Des activités sportives ou culturelles sont également proposées à nos bénéficiaires. Elles dynamisent le parcours d’accompagnement et elles contribuent au partage d’expérience et au gain en autonomie.

Vous vous êtes lancés dans une première mesure d’impact social il y a presque 10 ans, comment ça s’est passé ?

Notre première mesure d’impact s’est déroulée en 2016 et elle portait sur le séjour aventure-sportif. C’était important pour l’association Comme les Autres de pouvoir confirmer les effets de cet outil phare d’accompagnement. La mesure d’impact a permis de les démontrer réellement via un évaluateur tiers et ainsi d’appuyer notre discours auprès de nos partenaires, notamment de la Fondation la France s’engage qui nous accompagnait sur l’ouverture de nouvelles antennes en France.

Et votre seconde mesure d’impact social, que vous a-t-elle apporté ?

La deuxième mesure d’impact social était davantage orientée sur le retour d’expérience des bénéficiaires. Comme les Autres accompagne les personnes devenues handicapées moteur et œuvre dans leur parcours de reconstruction. Mais les résultats ont montré que les bénéficiaires n’avaient pas toujours conscience de la levée des freins qu’ils réalisaient avec notre accompagnement. La mesure d’impact nous a guidé sur ce point et nous a donc permis d’être encore plus efficaces sur notre accompagnement social.

L’association Comme les Autres réalise aujourd’hui un contrat à impact. Si vous deviez l’expliquer avec vos mots ?

Le contrat à impact est un outil de financement assez innovant en France qui lie trois acteurs, c’est-à-dire le porteur de projet, les investisseurs et l’État. Le concept naît d’un porteur de projet qui identifie un problème social et propose d’y apporter une solution. Ce projet va être financé par des investisseurs, essentiellement issus du secteur privé. Ensuite, ces investisseurs seront remboursés avec intérêts par l’État si le projet obtient les résultats escomptés sur certains indicateurs. Dans le cadre de notre contrat à impact nous avons priorisé 5 indicateurs, par exemple le nombre d’entrées en accompagnement ou encore le taux de sortie dynamique, incluant l’embauche et la formation.

En quoi le contrat à impact permet-il à l’association Comme les Autres de progresser en matière d’innovation sociale ?

Avant la signature du contrat à impact social il y a une phase de discussions assez longue et très riche. Pour nous cette phase a duré un peu moins de deux ans durant laquelle on a pu réfléchir sur le projet, se fixer des objectifs réalistes mais toujours ambitieux et définir un cadre. C’est une phase où le projet a été extrêmement challengé, notamment par l’État, mais aussi par l’évaluateur Improve et d’autres acteurs présents comme BNP Paribas. L’innovation sociale a clairement été améliorée grâce à ces discussions qu’il y a eu en amont de la signature du contrat à impact et qui ont été d’une grande richesse pour le projet.

Que vous a spécifiquement apporté l’accompagnement d’Improve dans votre démarche d’évaluation d’impact social ?

Notre collaboration avec Improve remonte à la première évaluation d’impact social réalisée en 2016. Depuis, le cabinet nous a accompagné sur notre seconde évaluation d’impact et a travaillé avec nous sur le projet du contrat à impact social. Le fait qu’Improve connaisse très bien le projet de l’association a été très précieux pour nous. C’est une collaboration de longue date dont je souligne l’efficacité et la rigueur. Il y a une relation de confiance entre l’association Comme les Autres et Improve qui n’empêche pas l’impartialité. Le cabinet a toujours été de bon conseil pour nous proposer des outils nous permettant d’améliorer notre projet, notamment en termes d’innovation sociale.

Quelles sont les prochaines étapes pour l’association Comme les Autres ?

La première étape c’est la pérennisation de l’action de l’association Comme les Autres, de manière générale, et la validation du modèle structurel qui est en cours de test mais, à ce stade, on ne rencontre pas de difficulté majeure. La deuxième étape ce serait d’assurer la pérennité financière de la structure. Et, sur le long terme, nous avons d’autres projets comme celui de poursuivre l’essaimage territorial.

Quel(s) conseil(s) donneriez-vous à des structures qui hésitent à se lancer dans un contrat à impact ?

Le conseil que je donnerais c’est d’opter pour un projet qui vient en complément de l’action principale déjà menée par la structure et qui ne mettra pas en péril sa pérennité. Il faut que ce projet puisse s’éteindre à un moment donné, sans impacter la structure dans sa globalité.

Le mot de la fin ?

Pour moi, la mesure d’impact social est un véritable outil d’amélioration pour l’innovation sociale, elle est d’une richesse incroyable pour la prise de recul. Elle fait partie des nombreux outils qui nous permettent d’appuyer la légitimité de notre action. On aimerait poursuivre cette culture de la mesure d’impact, l’utiliser à l’issue du contrat à impact pour continuer de nourrir le projet et, à terme, développer une stratégie d’impact nous permettant de piloter nos actions.

Merci à Noémie Elkaïm, Co-directrice de l’association Comme les Autres, pour ce retour d’expérience ! 

Lire l'article

Fondations, réseaux, fonds de dotation… : comment évaluer son impact en tant qu’accompagnateur ?

Delphine Santini, chargée de mission et responsable de la mesure d’impact que la Fondation AÉSIO réalise, témoigne sur les enjeux de leur évaluation d’impact. Créée en 2021 et accompagnée depuis par Improve, la Fondation AÉSIO soutient des structures d’intérêt général qui agissent en faveur de la sensibilisation au bien-être mental, de la prévention en termes de santé mentale et de l’accompagnement auprès des personnes en souffrances psychiques :

1. Mesurer son impact direct et/ou indirect : comment choisir ?

Dans le cadre d’une évaluation d’impact social, les étapes de rédaction du cahier des charges restent identiques pour un porteur de projets ou un accompagnateur de structures à impact (voir notre article Le cahier des charges en évaluation d’impact : pour bien faire il faut bien commencer). Cependant, évaluer son impact en tant que fondation, réseau, fonds de dotation, nécessite de considérer d’autres éléments. Aussi, la première question à se poser concerne le type d’impact que l’on souhaite mesurer : direct et/ou indirect.

Pour un accompagnateur, l’impact direct est mesuré auprès des associations soutenues, entreprises accompagnées, etc. ou sur les projets en eux-mêmes. C’est le cas par exemple pour une fondation distributrice – et non opératrice – qui souhaite mesurer son impact direct.

Dans un enjeu d’amélioration de son accompagnement auprès des structures à impact, un accompagnateur préfèrera mesurer ses impacts directs. Ainsi, l’accompagnateur pourra s’assurer de la cohérence de son accompagnement avec les besoins de chaque structure et les faire progresser dans ce sens, comme en témoigne Delphine Santini pour la Fondation AÉSIO (pour en savoir plus sur les projets soutenus par la Fondation AÉSIO) :

Quant à l’impact indirect, il est mesuré auprès des bénéficiaires finaux des projets accompagnés. Le plus souvent, cette évaluation d’impact indirect passe par la mesure des impacts des structures soutenues sur leurs bénéficiaires.

Les accompagnateurs de structures à impact préfèreront mesurer leurs impacts indirects notamment pour s’assurer de l’atteinte de leur mission sociale ou de leur contribution à la résolution d’une problématique.

2.Indicateurs « transversaux » et indicateurs « par projet » : comment choisir ?

Dans le cadre de son évaluation d’impact, la deuxième question que doit se poser un accompagnateur de structures à impact concerne le type d’indicateurs. En effet, lorsqu’une fondation, un réseau, un fonds de dotation choisit de mesurer son impact indirect, il/elle peut choisir deux types d’indicateurs combinables : les indicateurs transversaux et les indicateurs par projet.

Les indicateurs dits « transversaux » sont des indicateurs de reporting globaux et communs à l’ensemble des structures accompagnées. D’un point de vue pilotage, ce type d’indicateurs permet d’apporter des précisions sur l’orientation stratégique à adopter pour l’accompagnateur. Cependant, il n’est pas toujours possible de trouver des indicateurs communs pour toutes les structures accompagnées. Si les activités ou les publics cibles sont très différents, les indicateurs le seront également.

Les indicateurs dits « par projet » sont des indicateurs de reporting spécifiques à un projet soutenu et permettant de suivre chacun de ses impacts. Ainsi, l’accompagnateur dispose d’informations plus fines pour mieux accompagner la structure concernée et l’aider à progresser. Cependant, cela implique une grande quantité d’indicateurs à mesurer car plus il y a de projets, plus il y a d’indicateurs.

Ce qu’il faut retenir

Dans le cadre d’une évaluation d’impact, quel que soit le statut de l’accompagnateur – fondation, réseau, fonds de dotation, etc. – deux questions se posent : quel type d’impact mesurer (direct et/ou indirect) et quels types d’indicateurs collecter (transversaux et/ou par projet) ?

Pour faire le choix le plus adapté à situation, il faut tenir compte de ses propres besoins et enjeux : est-ce que mon accompagnement correspond aux besoins des structures que j’accompagne ? À quel point ma contribution permet-elle de résoudre une problématique ? Suis-je en mesure de collecter ce type d’indicateurs ? En évaluation d’impact, il ne s’agit pas toujours de faire un choix entre deux ou plusieurs options mais davantage de trouver un équilibre et une combinaison de ces diverses options – lorsque c’est possible.

Le mot de la fin revient à Delphine Santini de la Fondation AÉSIO qui nous rappelle que la mesure d’impact est un outil de valorisation important, à la fois pour les accompagnateurs mais également pour les porteurs de projets :

Pour citer cet article : Improve, « Fondations, réseaux, fonds de dotation… : comment évaluer son impact en tant qu’accompagnateur ? », mai 2024

Lire l'article

Je lance ma structure à impact : pourquoi anticiper mon évaluation d’impact social ?

Chaque année, de plus en plus de structures à impact se créent avec la volonté forte d’exercer un impact positif sur la société, tant sur le volet social qu’environnemental. Pour autant, peu de structures anticipent leur démarche d’évaluation d’impact. Certaines peuvent considérer que leur projet n’est pas assez mature ou qu’il est trop tôt pour y penser. Cet article présente un tour d’horizon des avantages à anticiper votre mesure d’impact si vous venez de créer votre structure à impact.

Premier avantage : prendre du recul sur sa stratégie d’impact

Pour les acteurs sociaux, la démarche d’évaluation d’impact est un outil de pilotage, une boussole vers l’impact. En effet, la réalisation des premières étapes de l’évaluation est l’occasion pour une structure à impact de :

1. (Re)définir sa mission sociale.

Collectivement, les membres de la structure s’accordent sur la formulation de leur mission sociale. Cela permet de s’assurer que chacun partage la même vision (ce qui n’est pas toujours le cas).

2. Identifier et prioriser les impacts qu’elle souhaite avoir.

En identifiant les impacts prioritaires qu’une structure souhaite avoir, elle se questionne sur : « quels types de résultats souhaités selon ma mission sociale ? », « pourquoi cet impact plutôt qu’un autre ? », etc.

Deuxième avantage : sécuriser sa collecte de données 

Se projeter dans sa collecte de données et la valorisation de ses résultats permet de ne pas se retrouver dépourvu au moment de lancer son évaluation. Aussi, nous suggérons à une structure d’anticiper ces deux étapes :

1. La prise de contact des bénéficiaires

L’évaluation nécessite de collecter des données auprès des bénéficiaires et donc d’avoir un moyen de les contacter : mail, téléphone, réseau social, listing, etc. Ainsi, dès le début, la structure peut s’interroger sur la manière dont récolter ces informations de contact.

2. Les potentiels croisements de données

En fonction des résultats attendus, la structure peut anticiper les potentiels croisements qu’elle voudra réaliser entre données d’impact et autres données (par exemple les données sociodémographiques). Pour ce faire, elle se questionne sur l’intérêt ou non de collecter des données de caractérisation et de performance sur son public cible. Par exemple, une structure à impact souhaite observer les impacts d’une action sur ses bénéficiaires mais en fonction de leur tranche d’âge. Dans ce cas, la structure devra anticiper la collecte de données portant sur l’âge des bénéficiaires.

Pour citer cet article : Improve, Je lance ma structure à impact : pourquoi anticiper mon évaluation d’impact social ? Février 2024.

Lire l'article

Quantifier son impact en évaluation : le rôle des statistiques inférentielles

Si, de manière générale, les statistiques sont bien connues du grand public, les statistiques inférentielles le sont moins. Leur rôle principal, en évaluation d’impact social, consiste à « faire parler » des données récoltées via des questionnaires de manière rigoureuse et approfondie. Alors, pourquoi est-ce intéressant d’intégrer les statistiques inférentielles dans son évaluation d’impact social ? Et comment les utiliser ?

1. Les statistiques inférentielles, un moyen de mieux comprendre ses impacts

Les statistiques inférentielles se réalisent en 3 étapes clés :

1ère étape : formuler des hypothèses : Une organisation émet une ou plusieurs hypothèses de départ qui statuent sur l’existence ou non d’un lien entre deux variables. Autrement dit, elle se demande si deux variables sont (in)dépendantes l’une de l’autre.

2ème étape : réaliser des statistiques inférentielles : L’organisation mesure les variables faisant l’objet de l’hypothèse. L’organisation peut résumer et présenter les données recueillies sous forme de tableaux ou de graphiques, il s’agit alors de statistiques descriptives. Mais pour tester l’hypothèse de départ, l’organisation doit mobiliser des statistiques inférentielles. Elles se basent sur la réalisation de tests statistiques consistant à croiser des données entre elles (régression linéaire, Chi2, test de Student…). Ces derniers sont choisis selon des critères[3] et peuvent être effectués via des logiciels de traitement statistiques comme SPSS ou encore R Studio.

3ème étape : interpréter les résultats et conclure : En fonction des résultats obtenus grâce aux tests, il est possible de valider ou de rejeter les hypothèses de départ. Cela prouve l’existence ou non d’un lien entre deux variables.

2/ Exemple pratique d’utilisation des statistiques inférentielles  

Afin d’éclaircir le rôle des statistiques inférentielles et la manière dont celles-ci peuvent aider à la prise de décision, nous proposons un exemple.

Contexte. Une université déploie un programme de cours avec des formats différents : l’un en présentiel (sur place) et l’autre à distance (en visioconférence). Elle souhaite statuer sur un format de cours identique pour tous : présentiel uniquement, à distance uniquement ou hybride.

Formulation de l’hypothèse. Elle se questionne notamment sur les effets du programme à distance concernant la prise de parole des étudiants. En effet, les enseignants craignent que les cours à distance pénalisent les étudiants dans le développement de leurs compétences en prise de parole.

L’université émet l’hypothèse que les étudiants suivant le programme en présentiel ont davantage développé leurs compétences en prise de parole que les étudiants suivant le programme à distance ; c’est-à-dire qu’il existe un lien entre la variable « développer ses compétences en prise de parole » et la variable « format de cours ».

Interprétation du test. Le test rejette l’hypothèse de départ ; il n’existe pas de lien entre les deux variables. Autrement dit, dans cette situation, le format de cours n’influence pas l’amélioration des étudiants dans l’exercice de la prise de parole.

Grâce aux statistiques inférentielles l’université peut statuer sur un format unique et décide d’opter pour un programme hybride.

Pour citer cet article : Improve, Quantifier son impact en évaluation : le rôle des statistiques inférentielles, janvier 2024

[1] Les statistiques descriptives permettent de résumer les données de manière simple. Il est possible de les définir comme « ce qui est visible à l’œil nu ». À la différence des statistiques inférentielles, elles ne permettent pas de déterminer l’existence de liens entre des variables.

[2] En statistique, une variable est une caractéristique étudiée sur l’ensemble d’une population, mais dont la valeur peut varier selon les individus.

[3] Comme la taille de l’échantillon d’une population ou encore le type de variable étudiée.

Lire l'article
Voir tous les articles

Publications

Notre équipe produit régulièrement des publications afin de partager à un large public notre expertise de l'évaluation d'impact et les connaissances issues de notre expérience.

Comment mieux aborder l'impact social de nos politiques publiques ?

Dans le cadre des Entretiens Albert-Kahn, laboratoire d'innovation publique (2024)

    Comment faire de l'évaluation un levier de transformation ?

    Guide issu du cycle 2024 des Petits déjeuners de la mesure d’impact dans le cadre du Forum Convergences.

    Cette année, les membres du Groupe de travail ont travaillé sur les moyens de faire de l'évaluation un levier de transformation. Le livrable se découpe en deux fiches : "Concevoir et définir sa démarche" et "Mettre en oeuvre et conduire son évaluation". Chaque fiche contient des bonnes pratiques, une boîte à outil, et un cas pratique : La Fondation Daniel et Nina Carasso, puis la Scop Ellyx.

      Intégrer le genre, la démocratie, le territoire et la biodiversité dans son évaluation

      Guide issu du cycle 2023 des Petits déjeuners de la mesure d’impact dans le cadre du Forum Convergences.

      Les membres du Groupe de travail ont souhaité poursuivre les réflexions, entamées en 2022, sur l’approche globale de la mesure d’impact.

      La publication se divise en quatre fiches thématiques : intégrer à son évaluation l’impact territorial, démocratique, sur la biodiversité et sur le genre. Chaque fiche contient une boîte à outils, des définitions et les questions à se poser dans le cadre de son évaluation.

        Adopter une démarche intégrée de la mesure d’impact : retours d’expérience

        Guide issu du cycle 2022 des Petits déjeuners de la mesure d’impact dans le cadre du Forum Convergences.

        Les membres des Petits déjeuners de la mesure d'impact ont décidé de s’interroger sur la manière de concilier les mesures d’impacts économiques, sociaux et environnementaux dans une démarche d’évaluation dite « intégrée ».

        Ce livrable issu des travaux menés durant l'année est constitué de neuf fiches témoignages. Il a pour but de documenter la diversité des méthodes existantes qui tendent vers une démarche intégrée en capitalisant sur leurs retours d’expérience afin d’inspirer d’autres acteur·rice·s pour qu’ils et elles s’emparent de ce type de démarche d’évaluation.

          Mesure d'impact, pour un regard critique

          Comment décrypter un rapport d'impact ?

          La mesure d'impact est devenue un enjeu primordial dans le champ social et environnemental : à l'heure où les acteurs et les évaluations se multiplient, il devient capital de s'attacher à la transparence et à la qualité des rapports, ainsi que des données produites.

          C'est pour répondre à cet enjeu que nous avons élaboré un outil pratique, dans le cadre des Petits déjeuners de la mesure d'impact organisés par Convergences - 3Zéro et que nous co-animons avec l'Avise depuis 2018.

          Cet outil vous donnera des clés pour analyser et décrypter des rapports d'impact.

            Comment évaluer son impact ? Principes méthodologiques

            Dans le cadre du Social Value France, avec l'Avise et Fidarec
            2021

            Initié par Fidarec et Improve, ce guide s'appuie sur une série de groupes de travail réalisés en croisant les regards de structures expertes et de structures non expertes mais intéressées par l'évaluation d'impact. L'objectif du guide est d'aiguiller le lecteur dans l'ensemble des principes méthodologiques à connaître pour mener une évaluation en accord avec ses besoins.

              S'engager dans la mesure d'impact environnemental : points de repères

              Dans le cadre du Forum Convergences, avec Convergences et l'Avise
              2021

              Publication issue des Petits déjeuners de la mesure d'impact, organisés par Convergences et co-animés avec l'Avise et Improve en 2021, ce livrable est un outil à destination des organisations ou professionnels porteurs de projets, pour mieux s'informer et se repérer au sujet de la mesure d'impact environnemental.

                Vademecum de la mesure d’impact social

                Dans le cadre du Forum Convergences, avec Convergences et l’Avise
                2019

                Publication issue des Petits déjeuners de la mesure d'impact, organisés par Convergences et co-animés avec l’Avise et Improve en 2019, ce vademecum est un outil à destination du plus grand nombre, pour mieux s’informer et se repérer parmi la littérature existante sur la mesure d’impact.

                  Guide de l’analyse coûts-bénéfices

                  En partenariat avec la Fondation Rexel
                  2018

                  Une deuxième publication en partenariat avec la Fondation Rexel pour découvrir la méthodologie de l'analyse coûts-bénéfices des initiatives à impact sociétal. Tout comme le Guide de la mesure d'impact, ce guide est open source et destiné à toutes celles et ceux qui souhaitent mieux connaître et pourquoi pas réaliser eux-mêmes l'analyse coûts-bénéfices de leur structure ou de leur projet à impact !

                    Guide de la mesure d’impact social

                    En partenariat avec la Fondation Rexel
                    2016

                    Un guide pratique et open source, créé avec le soutien de la Fondation Rexel, qui vous guidera pas à pas à travers les étapes de notre méthodologie de travail de l’évaluation d’impact.

                      Engagements et Recherche & Développement

                      Nous participons toute l’année ou ponctuellement à différents groupes de travail sur des problématiques liées à nos expertises et métiers.