Articles

Internaliser ou externaliser une évaluation, comment choisir ?

Lorsqu’une structure souhaite entreprendre une démarche d’évaluation d’impact, la question du choix de l’internalisation ou de l’externalisation se pose. Voici quelques éléments d’éclairage pour mieux guider vos choix.

De quoi parle-t-on ?

A contrario, l’internalisation consiste à mener l’évaluation en autonomie en confiant chaque étape à un ou plusieurs membres de la structure : responsable mesure impact, responsable M&E (monitoring & évaluation), etc.

L’internalisation s’avère être un véritable levier pour la montée en compétences des salariés d’une structure. Si une démarche d’évaluation a vocation à être pérennisée via le suivi d’indicateurs, le recrutement et la formation des salariés peuvent être coûteux mais se révèlent être un choix financier stratégique sur le long terme. L’externalisation, quant à elle, s’apparente davantage à un gain de temps lorsque la structure ne dispose pas des compétences nécessaires. Côté coûts, elle peut être moins onéreuse dans le cadre d’évaluations ponctuelles.

Quelques questions essentielles pour faciliter la prise de décision :

De quel délai disposez-vous pour obtenir des résultats ? Si votre structure est contrainte par le temps pour la remise des résultats, il est conseillé de faire appel à un cabinet externe.

Quelle nécessité ou quel besoin d’avoir un regard externe ? Ce peut être pour répondre à une exigence externe, par exemple la demande d’une évaluation indépendante par vos partenaires financiers. Votre équipe peut également estimer qu’un regard externe/nouveau est bénéfique dans le cadre de la démarche d’évaluation.

Quelle(s) méthodologie(s) requiert la démarche d’évaluation ? Au cours d’une collecte de données qualitatives par exemple, le recours à l’externalisation par l’intervention d’un tiers externe est primordial, pour garantir l’anonymat des réponses d’une part et favoriser l’objectivité des conclusions d’autre part.

Les ressources internes de votre structure sont-elles suffisantes et/ou adaptées (compétences méthodologiques, disponibilités, etc.) ? Si votre structure dispose de compétences exploitables, elle peut combiner internalisation et externalisation. Vous pouvez par exemple choisir d’internaliser la création des outils de collecte (questionnaire, guide d’entretien, …) et externaliser l’analyse des données.

Quelle pérennisation pour son évaluation ? Si l’enjeu de pérennité est fort, il est plus intéressant qu’une personne de votre structure soit formée pour ne pas dépendre systématiquement d’un cabinet.

Pour citer cet article : Improve, Internaliser ou externaliser une évaluation, comment choisir, octobre 2022

Lire l'article

Le cahier des charges en évaluation d’impact : pour bien faire il faut bien commencer

« Formaliser un cahier des charges, c’est long… », « Je ne me vois pas rédiger un cahier des charges alors que je ne sais même pas quelle méthodologie utiliser », « J’ai un petit budget, rédiger un cahier des charges n’est pas nécessaire »… Autant d’idées reçues nous ont donné envie de fournir quelques recommandations quant à la rédaction d’un cahier des charges aux structures qui souhaitent s’engager dans une démarche d’évaluation d’impact.

Le cahier des charges : un indispensable ?

C’est un élément majeur dans la bonne compréhension par les cabinets d’évaluation des problématiques sous-jacentes à l’évaluation d’impact, qui leur permet d’apporter une réponse la plus adaptée possible.
De plus, en tant que structure, si vous souhaitez obtenir des financements externes pour mener à bien votre démarche d’évaluation d’impact, le cahier des charges peut s’avérer un excellent allié : il valorise votre projet en apportant précision et clarté sur vos intentions.

Les essentiels du cahier des charges

Afin de mieux retranscrire votre projet et vos intentions, le cahier des charges doit contenir un certain nombre d’informations.

1/ Une présentation générale de la structure et du projet à évaluer
Il est recommandé de débuter votre cahier des charges par une présentation générale de la structure – les membres de l’équipe, la mission sociale et les objectifs en matière d’impact. Si le projet à évaluer diffère des actions principales de la structure – s’il s’agit par exemple d’une innovation sociale ou d’une nouvelle action récemment mise en œuvre – il est important d’en faire une description précise. Notamment, un historique des évaluations internes et/ou externes menées auparavant, les parties prenantes ciblées et/ou impliquées pour la future démarche d’évaluation, etc. Cette introduction apportera des éléments de contexte et structurants pour la démarche.

2/ Les enjeux auxquels doit répondre la démarche d’évaluation
Afin de bien comprendre les enjeux qui vous poussent à conduire une évaluation d’impact pour votre structure, il est essentiel de se poser les bonnes questions : Pourquoi réaliser une évaluation d’impact ? Qu’est-ce que ma structure veut savoir et/ou obtenir ? Pour quelles raisons ? La définition de vos enjeux permet d’orienter le cabinet d’évaluation dans la construction de sa proposition d’accompagnement. A titre d’exemple, selon que la structure souhaite ou non pérenniser son évaluation sur le long terme, la proposition du cabinet peut s’avérer différente.

3/ Le périmètre souhaité pour l’évaluation
Il en va de même pour déterminer le périmètre de votre évaluation. En tenant compte de vos besoins et de vos contraintes, questionnez-vous sur les cibles de votre étude : Quelles parties prenantes sont concernées par mon action versus impliquées par l’étude ? Quelle(s) zone(s) géographique(s) sont à prioriser pour la collecte des données ? Etc. Ces informations sont un gain de temps pour la suite du projet et primordiales lors du cadrage de l’évaluation.

4/ La formulation des questions évaluatives
La formulation des questions évaluatives auxquelles l’évaluation devra répondre est une étape importante que nous vous conseillons de réaliser. Elles recentrent la démarche sur les éléments essentiels de l’action à évaluer, et garantissent une certaine cohérence avec les objectifs fixés.

5/ Les informations pratiques à transmettre
Certaines informations pratiques constituent un gain de temps considérable pour le projet, et doivent être inclues au cahier des charges : les deadlines souhaitées pour la transmission des livrables ou encore l’enveloppe budgétaire. Il faut savoir que les coûts d’une évaluation peuvent varier notamment en fonction du degré d’implication de l’évaluateur dans la démarche (par exemple selon la durée de la phase de collecte de données).

Concernant la formalisation des résultats de votre évaluation plusieurs options de format sont possibles : présentation visuelle ou rapport rédigé par exemple. Si le support de communication est essentiel pour votre structure, il s’avère pertinent de transmettre au cabinet prestataire vos souhaits en matière de format de livrable.

Quand faire parvenir le cahier des charges aux cabinets prestataires ?
L’idéal est de laisser 3 semaines au cabinet prestataire après envoi du cahier des charges pour obtenir une proposition d’accompagnement en adéquation avec les besoins de la structure. Il est important de considérer ce délai et de l’inclure dans son calendrier avant la date de début souhaitée pour l’évaluation.

Pour citer cet article : Improve, Le cahier des charges en évaluation d’impact : pour bien faire il faut bien commencer, octobre 2022

Lire l'article

Et si la mesure d’impact pouvait être multidimensionnelle ?

Le sujet de « démarche intégrée » de la mesure d’impact était au cœur du Forum mondial 3Zero qui s’est tenu le mardi 6 septembre dernier, au cours duquel a été présentée la dernière publication issue du cycle 2022 du groupe de travail des Petits déjeuners de la mesure d’impact, co-animés par Convergences, l’Avise et Improve.

Neuf structures de l’Économie Sociale et Solidaire (associations, collectivités, fondations d’entreprise, évaluateurs) adressant des enjeux divers, témoignent de leur expérience de démarche intégrée de mesure d’impact au travers de cette publication.
Chacune livre ses raisons d’opter pour une vision plurielle des impacts de son projet. Leurs retours d’expérience sur le concept de démarche intégrée de mesure d’impact sont un gage de faisabilité pour de futur·e·s acteurs·rices de l’ESS.

Trois types d’informations clés sont à retrouver dans cette publication :
1) Quels sont les différents indicateurs et les démarches méthodologiques employés pour mener à bien une mesure d’impact multidimensionnelle ? Voir par exemple la démarche de Toulouse métropole basée sur la théorie du changement (page 10), versus celle du Programme Inclusion & ruralité qui a mobilisé plusieurs méthodes (page 8) ;

2) Quelles ont été les limites rencontrées, par exemple lors d’une collecte de données ? cf. Consulter les témoignages de GERES ou Habitat et Humanisme (pages 6 et 7). Ou quant aux choix des méthodes employées ? Voir pour exemple la démarche de BASIC basée sur la « théorie du donut » (page 2) ;

3) Quels apprentissages les structures tirent-elles de leur étude ? Quelles bonnes pratiques conseillent-elles pour la mise en œuvre d’une mesure d’impact intégrée ?
cf. L’exemple du témoignage du Labo E&MISE – ESSEC Business School sur les manières de surmonter les difficultés de mise en cohérence d’une approche intégrée (page 8).

Lire l'article

Publications

Notre équipe produit régulièrement des publications afin de partager à un large public notre expertise et les connaissances issues de notre expérience.

Adopter une démarche intégrée de la mesure d’impact : retours d’expérience

Livrable issu du cycle 2022 des Petits déjeuners de la mesure d’impact dans le cadre du Forum Convergences.

Les membres des Petits déjeuners de la mesure d'impact ont décidé de s’interroger sur la manière de concilier les mesures d’impacts économiques, sociaux et environnementaux dans une démarche d’évaluation dite « intégrée ».

Ce livrable issu des travaux menés durant l'année est constitué de neuf fiches témoignages. Il a pour but de documenter la diversité des méthodes existantes qui tendent vers une démarche intégrée en capitalisant sur leurs retours d’expérience afin d’inspirer d’autres acteur·rice·s pour qu’ils et elles s’emparent de ce type de démarche d’évaluation.

    Mesure d'impact, pour un regard critique

    Comment décrypter un rapport d'impact ?

    La mesure d'impact est devenue un enjeu primordial dans le champ social et environnemental : à l'heure où les acteurs et les évaluations se multiplient, il devient capital de s'attacher à la transparence et à la qualité des rapports, ainsi que des données produites.

    C'est pour répondre à cet enjeu que nous avons élaboré un outil pratique, dans le cadre des Petits déjeuners de la mesure d'impact organisés par Convergences - 3Zéro et que nous co-animons avec l'Avise depuis 2018.

    Cet outil vous donnera des clés pour analyser et décrypter des rapports d'impact.

      Comment évaluer son impact ? Principes méthodologiques

      Dans le cadre du Social Value France, avec l'Avise et Fidarec
      2021

      Initié par Fidarec et Improve, ce guide s'appuie sur une série de groupes de travail réalisés en croisant les regards de structures expertes et de structures non expertes mais intéressées par l'évaluation d'impact. L'objectif du guide est d'aiguiller le lecteur dans l'ensemble des principes méthodologiques à connaître pour mener une évaluation en accord avec ses besoins.

        S'engager dans la mesure d'impact environnemental : points de repères

        Dans le cadre du Forum Convergences, avec Convergences et l'Avise
        2021

        Publication issue des Petits déjeuners de la mesure d'impact, organisés par Convergences et co-animés avec l'Avise et Improve en 2021, ce livrable est un outil à destination des organisations ou professionnels porteurs de projets, pour mieux s'informer et se repérer au sujet de la mesure d'impact environnemental.

          Vademecum de la mesure d’impact social

          Dans le cadre du Forum Convergences, avec Convergences et l’Avise
          2019

          Publication issue des Petits déjeuners de la mesure d'impact, organisés par Convergences et co-animés avec l’Avise et Improve en 2019, ce vademecum est un outil à destination du plus grand nombre, pour mieux s’informer et se repérer parmi la littérature existante sur la mesure d’impact.

            Guide de l’analyse coûts-bénéfices

            En partenariat avec la Fondation Rexel
            2018

            Une deuxième publication en partenariat avec la Fondation Rexel pour découvrir la méthodologie de l'analyse coûts-bénéfices des initiatives à impact sociétal. Tout comme le Guide de la mesure d'impact, ce guide est open source et destiné à toutes celles et ceux qui souhaitent mieux connaître et pourquoi pas réaliser eux-mêmes l'analyse coûts-bénéfices de leur structure ou de leur projet à impact !

              Guide de la mesure d’impact social

              En partenariat avec la Fondation Rexel
              2016

              Un guide pratique et open source, créé avec le soutien de la Fondation Rexel, qui vous guidera pas à pas à travers les étapes de notre méthodologie de travail de l’évaluation d’impact.

                Engagements et Recherche & Développement

                Nous participons toute l’année ou ponctuellement à différents groupes de travail sur des problématiques liées à nos expertises et métiers.