De 1999 à 2039, de la professionnalisation de l’évaluation à l’évaluation intégrée comme outil de pilotage démocratique, est-ce possible ? 

Article paru dans Pouvoirs Locaux, Juin 2019, Michel BASSET, Consultant, Professeur associé à Sciences Po Lyon, Président de la Société Française de l’Evaluation

Les besoins de connaissance et de professionnalisation de l’évaluation sont parmi les enjeux qui ont justifié la création de la Société Française de l’Evaluation (SFE). 20 ans après, bien qu’encore insuffisamment utilisée, l’évaluation a pris une place significative dans la conception et le pilotage de l’action publique. Près de 3000 évaluations identifiées par l’observatoire de l’évaluation de la SFE entre 2007 et 2017. Les nouvelles formes de gouvernance de l’action publique et la demande des citoyens nécessitent de passer d’évaluations plutôt managériales à des évaluations plus politiques. Comment la SFE peut-elle y contribuer ?

A l’aube du XXIème siècle, l’évaluation se professionnalise

Lorsque la Société Française de l’Evaluation a été créé en 1999, il n’existait pas de base de connaissance du corpus des évaluations réalisées en France. Le constat était dressé de sa faible visibilité à l’échelon national et ceci pour plusieurs raisons : flou des frontières entre l’évaluation, le contrôle, la recherche en sciences sociales, éclatement du champ, déficit méthodologique, faible insertion de l’évaluation dans l’action administrative. Pourtant, dans les années quatre-vingt-dix, un certain nombre d’organismes et d’institutions avaient été créés, la Commission d’évaluation du RMI, le Comité National d’Evaluation de la Recherche, la Commission nationale d’évaluation de la politique de la ville et des services au sein de divers ministères. Petit à petit, des guides méthodologiques ont été élaborés contribuant à créer une communauté de vues et de conceptions. Un club de l’évaluation avait également été créé à l’initiative du ministère de la Fonction publique, signe d’un intérêt pour les questions d’évaluation. A noter que les travaux de ce club furent essentiellement alimentés par des expériences d’évaluations régionales plutôt que nationales.

Les années quatre-vingt-dix ont été des années de réelle appropriation des concepts de base de l’évaluation et d’une meilleure compréhension de la pratique des différentes démarches et méthodes. Elles ont ouvert une phase d’apprentissage par la pratique grâce à un foisonnement d’initiatives et d’expérimentations locales, de création de dispositifs régionaux d’évaluation. Il faut dire que le dynamisme de l’échelon régional en matière d’évaluation a été en partie lié à l’obligation réglementaire faite aux régions d’évaluer, que ce soit au niveau des Contrats de Plan Etat-région ou des fonds structurels européen. Les dispositifs en question ont généralement impliqué plusieurs acteurs, représentants des collectivités territoriales, des échelons déconcentrés de l’Etat ou des SGAR. Des compétences nouvelles en évaluation, issues de différentes disciplines des sciences humaines et sociales, ont petit à petit émergé à l’intérieur des services déconcentrés de l’Etat et dans les dispositifs partenariaux avec les collectivités.

En conséquence, au plan des compétences, on assiste à une grande diversification, avec par exemple l’apparition de l’utilisation de la méthode des groupes de comparaison. Ces évolutions ont été rendues possibles, dans un premier temps, par l’obligation réglementaire européenne d’évaluer. Mais, avec un peu de recul, on peut dire que la contrainte ne suffit pas ni à conduire la démarche d’évaluation à son terme, sous peine d’instaurer un rituel bureaucratique, ni à rendre systématiquement l’évaluation utile c’est-à-dire utilisée pour corriger ou concevoir des politiques. La Commission Européenne a d’ailleurs trouvé des dispositifs d’incitation pour pallier ces limites, telle la “ réserve de performance ”, qui attribue, dans le cadre des programmes structurels, un budget supplémentaire aux programmes les plus performants au vu des évaluations. Toutefois, ces mesures, restant cantonnées dans le domaine managérial, n’ont pas suffi à donner à l’évaluation sa dimension d’outil d’arbitrage de choix stratégique en matière de politiques publiques.

A la fin des années quatre-vingt-dix, malgré l’absence d’un observatoire de l’évaluation, on constate une amélioration très nette de la qualité générale de l’évaluation, un développement de la pratique au-delà du cercle des initiateurs originels. En même temps, s’il n’y a pas encore de « métier », on assiste à une structuration de l’activité professionnelle et des organisations dans le domaine de l’évaluation ; l’activité restant cependant confinée au niveau des gestionnaires de programmes et de politiques.

Or, une des questions principales qui a conduit à la création de la Société Française de l’Evaluation était d’élargir la sensibilité par rapport à l’évaluation hors du monde des professionnels.

Le rôle de la SFE dans l’évolution de l’évaluation

Depuis 20 ans, la SFE a mis en place des activités diverses ayant pour objectifs de développer la connaissance et la qualité de la pratique de l’évaluation. Parmi les dernières, on peut citer deux initiatives contribuant à une meilleure connaissance : la création de l’observatoire de l’évaluation en 2013 permettant la production d’un baromètre bisannuel de l’évaluation en France et la mise en place d’un catalogue de formation proposant à la fois des modules de sensibilisation et d’approfondissement des savoirs et des savoir-faire. 

Antérieurement, et très rapidement après la création de la SFE, des groupes de travail ont vu le jour avec pour objectif une « montée en gamme » des évaluations. On citera celui sur la qualité de la commande d’évaluation et surtout celui sur les standards de qualité et la déontologie ayant conduit à l’élaboration de la Charte de l’évaluation des politiques publiques. Ce texte a exprimé les valeurs sur l’évaluation partagées par les membres de la Société Française de l’Evaluation et est devenu, au fil des années, un texte de référence pour les commanditaires et les évaluateurs. La charte affirme notamment que l’évaluation « vise à donner plus de cohérence à l’action publique, à améliorer son efficacité et à mobiliser tous ses acteurs »[1]. L’évaluation contribue donc à la fois à la prise de décision publique, à rendre plus efficace la dépense publique, à développer les pratiques de reddition de comptes mais aussi à participer au débat démocratique.

Dans cette dynamique, en 20 ans, les adhérents institutionnels et individuels ont ainsi été multipliés par 3, passant notamment de 30 institutions adhérentes en 1999 à plus de 100 en 2018, signe d’un intérêt marqué pour l’évaluation et les travaux de la SFE au sein des organisations publiques.  

On peut dire qu’au début des années deux mille, un certain niveau de maturité professionnelle de l’évaluation est atteint : qualité de la commande, usage des techniques des sciences sociales et économiques à des fins d’évaluation, diversité des outils d’analyse,… Si la SFE a contribué à relever le défi de la connaissance, de la professionnalisation et de la diffusion de l’évaluation au sein des institutions, la question de l’élargissement de la sensibilité à l’évaluation à d’autres parties prenantes de l’action publique reste entière. Faut-il s’en étonner alors que le processus de fabrication des politiques publiques reste encore une affaire d’experts ?  La mise en œuvre des politiques publiques fait encore rarement l’objet d’un examen critique ; l’évaluation se cantonnant trop souvent à une approche fondée sur des données « froides » au détriment des données « chaudes » issues de l’expérience des usagers ou plus globalement des citoyens.

Passer de la sphère professionnelle à la sphère démocratique

L’évaluation est devenue petit à petit un enjeu politique et social de premier ordre. Cependant, si une culture professionnelle a clairement émergé ces 20 dernières années, on constate une grande hétérogénéité des pratiques selon les acteurs et les thématiques de politiques publiques. Si l’enjeu de rendre l’action publique plus efficace et cohérente est une préoccupation constante de l’évaluation, elle pèche par une réponse insuffisante à la demande de lisibilité et de transparence par les citoyens, devenus également plus exigeants.

Or, avec le XXIème siècle, la gouvernance prend de plus en plus de place dans l’action publique au sens où dans une approche systémique la décision relève d’un système d’entités décisionnelles pluri-acteurs. L’émergence de la « gouvernance » conduit alors à la re-formulation de la problématique de l’évaluation. Edmond Hervé[2] ne disait-il pas lors des Journées Françaises de l’Evaluation de Rennes en 2000, « il faut se méfier du terme de gouvernance dont une des approches possibles repose sur le doute émis quant à la légitimité des gouvernants. La démocratie locale est bien vivante dans nos villes. Mais, en termes de lisibilité, le citoyen doit se reconnaître dans les décisions que les gouvernants prennent, d’où la nécessité du développement des évaluations ». Il ajoutait même, de manière prémonitoire (cf. les débats actuels sur le sujet), « Il faut trouver un équilibre entre une démocratie représentative éclairée et une démocratie participative enthousiaste […], l’évaluation doit y contribuer ». Au-delà du 1er enjeu pointé lors de la création de la SFE, la question de la promotion de la contribution de l’évaluation au débat démocratique était posée.

Dans ce contexte, l’évaluation peut se concevoir comme une composante parmi d’autres de la transformation de l’action publique. A ce titre, elle n’est alors pas destinée aux seuls décideurs mais à tous les acteurs de l’action publique y compris aux agents, ainsi qu’aux citoyens.  C’est dans cet esprit que le gouvernement avait lancé en 2012 une démarche d’évaluation ex post des politiques publiques dans le cadre de la modernisation de l’action publique. Affaires sociales, éducation nationale, justice, écologie, logement, territorial… de nombreuses politiques ministérielles, interministérielles et partagées avec les collectivités locales ont été évaluées[3].

Cette démarche d’évaluation des politiques publiques reposait sur 4 principes directeurs parfaitement en phase avec les principes de la Charte de 2003 : aide à la décision, participation et transparence, analyse multicritère et méthode structurée et participative.

Le 1er principe rappelait la vocation de toute évaluation depuis son émergence en France, l’aide à la décision. Tournées vers l’action, ces évaluations étaient conçues comme une aide à la décision politique en matière de transformation, destinées à améliorer l’action publique en question. Ensuite, participation et transparence. Les usagers et bénéficiaires devaient être consultés, notamment sur leurs attentes vis-à-vis de la politique évaluée, et les principaux acteurs publics concernés (Etat, collectivités locales, organismes sociaux, opérateurs…) devaient être associés à la démarche, afin de construire une vision collective des enjeux, objectifs, résultats et modalités de mise en œuvre de chaque politique. La démarche promouvait par ailleurs la transparence ; les rapports d’évaluation ayant vocation à être rendus publics et les citoyens à être informés sur le déroulement du processus. Il faut noter que le baromètre 2018 de l’évaluation des politiques publiques mentionne que seulement 45% des 2605 évaluations recensées par l’observatoire de la SFE (71% par l’Etat et 24% par les collectivités territoriales et les Etablissements Publics de Coopération Intercommunale (EPCI)) sont assortis d’un rapport publié ou diffusé par des moyens différents.

Enfin, insistons sur le 4ème principe ayant trait aux méthodes. Ces évaluations devaient être régies par une méthode structurée autour d’une gouvernance participative et d’un protocole de travail  précis, qui s’applique aux commanditaires, aux évaluateurs et aux parties prenantes. La SFE, conformément aux principes de la Charte, ne peut que cautionner ce principe. Mais, plus globalement, qu’en est-il aujourd’hui ? Les évaluations en général sont-elles suivies par un comité de pilotage ? Si oui, quelle place y tiennent les bénéficiaires de l’action évaluée ? Le baromètre 2018 fait apparaitre que seulement 42.5% des rapports d’un échantillon d’évaluations mentionnent un comité d’évaluation et que la composition des comités d’évaluation, lorsqu’elle est précisée, est majoritairement interne et externe sans les bénéficiaires finaux. Par ailleurs, les bénéficiaires des politiques sont associés de manière importante mais principalement toujours sous forme de consultation.

Qu’en est-il du côté du Parlement ? Aujourd’hui, l’évaluation devrait s’appliquer aux deux bouts de la chaîne de production de normes, avec le double souci d’améliorer le processus normatif tout en s’intéressant au contenu des normes : tout projet de loi doit être précédé d’une étude d’impact, et, après son adoption, une évaluation ex-post doit rendre compte des effets de la loi. Rappelons que la loi constitutionnelle du 23 juillet 2008 de modernisation des institutions de la Vème République a conduit à modifier la constitution ; son article 24 mentionnant que « le Parlement vote la loi. Il contrôle l’action du Gouvernement. Il évalue les politiques publiques ». La réforme du Règlement de l’Assemblée Nationale de 2009 crée alors le comité d’évaluation et de contrôle (CEC) permettant à l’Assemblée nationale de mettre en œuvre la fonction d’évaluation. Or, malgré l’existence d’accords-cadres et du recours à la Cour des Comptes, il faut bien noter que la mise en œuvre de cette prérogative reste à ce jour limitée et que le Printemps de l’évaluation mis en œuvre par elle en 2018 se situe avant tout dans le cadre de l’exécution du budget de l’Etat.

Enfin, du côté des collectivités territoriales et des EPCI plus spécifiquement, les évaluations de politiques publiques sont laissées à la discrétion des exécutifs qui les utilisent selon leur bon vouloir et leurs choix politiques. Même si leur nombre s’accroit[4], combien de collectivités décident de mettre un terme ou de limiter le recours aux évaluations à la suite d’un changement politique. Les dernières élections régionales l’ont bien montré ; beaucoup de Régions, fer de lance de l’évaluation dans les années quatre-vingt-dix et deux mille, remettant en cause le recours à l’évaluation comme moyen de pilotage et de transformation de leur action.   

Ce tour d’horizon rapide de l’évolution de la place et du rôle l’évaluation montre le chemin restant à parcourir pour faire de l’évaluation un moyen, ou plus globalement une fonction incontournable, de l’analyse et du pilotage des politiques publiques. Par ailleurs, les conséquences des évaluations menées en France depuis les années quatre-vingt-dix sur les politiques publiques sont mitigées. Certaines ont conduit à une inflexion rapide des politiques publiques, d’autres n’ont pas entraîné de modifications des politiques évaluées pour des raisons différentes : dichotomie de la temporalité des politiques et des évaluations, caractère jugé « non certain » des conclusions,…

Est-ce à dire que leur utilité est insuffisante ? Outre la modification qu’elles peuvent entraîner sur les politiques publiques qu’elles concernent, les évaluations peuvent également avoir une influence plus « subtile » :

  • c’est souvent une évaluation qui conduit à la création d’un système d’information de suivi des politiques qui survivra à l’évaluation ; pour cela, la question de l’accès aux données est primordiale ;
  • certaines évaluations modifient fortement les pratiques des acteurs (même si elles ne modifient pas le contenu des politiques) ;
  • les évaluations permettent souvent l’émergence d’une culture commune aux différents acteurs publics et ont une influence sur le débat public (ex : RMI au début des années deux mille et plus récemment, l’évaluation des politiques publiques de lutte contre la pollution de l’air)

Les enjeux de l’évaluation et de la SFE pour 2039

Quels sont les enjeux en 2019 ? Même si des controverses méthodologiques existent encore bel et bien (cf. méthodes qualitatives et qualitatives,  extériorité ou non de l’évaluation, profondeur de la démarche,…), même si sa dimension démocratique reste en débat notamment au regard des pratiques réelles, on peut dire que l’évaluation est aujourd’hui une pratique référencée avec des standards de qualité plutôt bien diffusés. En prolongement des acquis du passé, les débats d’aujourd’hui sont articulés aujourd’hui autour de trois axes.

Le premier questionne comment l’évaluation peut s’inscrire dans un processus de démocratie délibérative inspirée par les théories de John Rawls et de Jürgen Habermas faisant une place importante aux débats avec et entre les citoyens. La SFE considère que l’évaluation doit prendre en compte de façon raisonnée les différents intérêts en présence et recueillir la diversité des points de vue pertinents sur l’action évaluée, qu’ils émanent d’acteurs, d’experts, ou de toute autre personne concernée.  Cette prise en compte de la pluralité des points de vue se traduisant – chaque fois que possible – par l’association des différentes parties prenantes concernées par l’action publique ou par tout autre moyen approprié. Les soubresauts de notre démocratie représentative nous rappellent en effet l’importance du processus décisionnel.

Le deuxième porte sur l’efficacité des évaluations au regard des processus de décision et des agendas politiques. De nombreuses évaluations n’ont pu produire toute leur efficacité au regard du décalage entre les le temps du politique et le temps des évaluations. Pour renforcer l’efficacité de l’évaluation au regard de ses objectifs d’aide à la décision, l’évaluation doit – et c’est le cas dans de nombreuses expérimentations[5] – mobiliser des méthodes agiles capables d’éclairer les décisions dans des délais raisonnables, en phase avec ceux du politique sans occulter les controverses méthodologiques que cette posture peut induire.   

Le troisième porte sur l’utilisation de l’évaluation avec notamment les questions de l’appropriation de l’évaluation par les commanditaires, de la mise en œuvre des recommandations, de l’analyse des actions qui s’ensuivent et du suivi des effets des changements. C’est par l’intégration de l’évaluation à tous les maillons de la production de la chaine de valeur des politiques publiques qu’elle démontrera son utilité. Le développement récent des processus d’évaluation engagée s’inscrivent dans cette logique. Ils cherchent à créer de l’adhésion plutôt que de la méfiance ou du jugement, ils intègrent de la transversalité dans les façons de travailler au sein des administrations et surtout ils outillent pour faciliter la mise en œuvre des préconisations et ainsi éviter que les travaux des évaluateurs restent lettre morte.

Depuis son origine, la SFE est un lieu d’innovation. Elle doit l’être encore plus à l’avenir par le renforcement et l’ouverture permanente de ses partenariats politiques, techniques et scientifiques. Non seulement au niveau technique et des outils mais aussi au niveau de sa capacité à contribuer à la progression de savoirs et de savoir-faire utiles à une évaluation démocratique utilisée. Pour cela, elle doit être capable de réunir autant que de besoin les compétences nécessaires pour répondre à des questions et des besoins qui répondent aux enjeux identifiés. Pour cela, la SFE doit encore plus être un lieu de production et de coproduction scientifique en initiant ou en s’associant à des travaux de recherche impliquant les parties prenantes de l’action publique.

[1] La Charte de l’évaluation des politiques publiques, SFE, 2003

[2] Maire de Rennes de 1977 à 2008 et président de Rennes Métropole, Source : SFE, 2000

[3] 59 évaluations réalisées, source : SGMAP, 2015

[4] 41,3% des évaluations entre 2007 et 2017, source : baromètre de l’évaluation des politiques publiques en France, SFE, 2018

[5] Cf. Journées Françaises de l’Evaluation, St Ouen, 2017

Un PCAET pour Commercy-Void-Vaucouleurs 

Les élus de la Communauté de communes Commercy-Void-Vaucouleurs ont acté le lancement de l’élaboration de leur Plan Climat Air Energie Territorial (PCAET) par délibération en date du 14 novembre 2018. Pierre angulaire de la sobriété énergétique, de la lutte contre le changement climatique et de l’amélioration de la qualité de l’air pour le territoire, Consortium Consultants accompagne la communauté de communes dans sa démarche.

PCAET… c’est-à-dire ?….

Un PCAET est un projet territorial, à la fois stratégique et opérationnel, avec pour objectifs :

  • La réduction des émissions de GES
  • La maîtrise des consommations d’énergie
  • L’amélioration de la qualité de l’air
  • L’adaptation au changement climatique
  • Le développement des énergies renouvelables

Le PCAET s’applique à l’échelle d’un territoire donné sur lequel tous les acteurs (collectivités, entreprises, associations, citoyens, …) sont mobilisés et impliqués.

La mise en place d’un PCAET est obligatoire pour les intercommunalités à fiscalité propre de plus de 20 000 habitants (article 188 de la loi de transition énergétique pour la croissance verte – LTECV).

Le PCAET est mis en place pour une durée de 6 ans.

Les différentes étapes du PCAET :

L’assistance à la conduite de l’élaboration du PCAET a été confiée à l’équipe de Consortium Consultants qui accompagnera la communauté de communes sur les différentes phases de son élaboration qui suppose de :

  • Réaliser un diagnostic territorial
  • Élaborer une stratégie sur la base des résultats du diagnostic et définir des objectifs
  • Co-construire un programme d’actions
  • Définir un dispositif de suivi-évaluation
  • Évaluer le PCAET

Information et concertation

L’objectif est d’identifier des propositions, de partager des objectifs et des moyens concrets de lutte contre le changement climatique et d’adaptation au changement climatique, et leur traduction dans les politiques territoriales.

Dans les mois à venir, il sera proposé :

  • une information et une consultation sur l’élaboration du PCAET sur le site internet de la communauté de communes
  • des réunions avec les différentes parties prenantes : grand public, communes et gestionnaires de réseaux, acteurs institutionnels, acteurs socio-économiques, agents
  • un questionnaire et une boîte à idées en ligne pour recueillir perception, avis et propositions d’actions tout au long de la démarche

Cette concertation sera permanente pendant l’élaboration du PCAET. Le principe de co-construction du plan d’actions sera privilégié afin d’assurer une mise en œuvre partagée avec l’ensemble des acteurs identifiés.

 

La communauté d’agglomération Roissy Pays-de-France a commandité une évaluation de son programme de coopération avec la province de Kampti, au Burkina Faso à l’occasion des 20 ans du partenariat

Communauté d’agglomération Roissy Pays-de-France : évaluation et publication d’un ouvrage sur les 20 ans de coopération avec le Burkina Faso

La communauté d’agglomération Roissy Pays-de-France vient de fêter les 20 ans de son programme de coopération avec la province de Kampti, au Burkina Faso. A cette occasion, la communauté d’agglomération a commandité une évaluation des six dernières années de mise-en-œuvre, ainsi que d’un bilan du programme depuis sa création.

Nos consultants, Michel Basset et Alexandre Martinez, ont réalisé cette évaluation et appuyé la conception de l’ouvrage anniversaire des 20 ans de coopération qui reprend les principales conclusions du travail évaluatif.

Si l’on vous dit jumelage, à quoi pensez-vous ? L’accueil d’un correspondant étranger, un voyage scolaire, une soirée thématique, une rencontre sportive, un stand étranger dans une foire internationale ou une association de quartier ? Le mot jumelage évoque l’échange, le rapprochement entre deux territoires et la découverte mutuelle de leurs habitants.

Cette année, la commune de Fosses, la communauté d’agglomération Roissy Pays-de-France – en France, et la commune de Kampti – au Burkina Faso, célébrent les 20 ans de jumelage entre leurs territoires.

Dynamique grâce à l’implication de nombreux acteurs des deux territoires, ce jumelage s’est concrétisé par de nombreuses actions dans divers domaines : scolaire, artistique, sportif, économique … Cependant, ce mouvement ne s’est pas limité à forger des liens d’amitié et de compréhension : il s’est engagé fermement dans la production de résultats concrets et sur un développement local, réciproque et à long terme. Cette volonté, portée et prônée par les élus et agents des deux territoires, s’est concrétisée dans la mise en œuvre d’un programme de coopération décentralisée : le programme de développement local.

La coopération décentralisée regroupe des pratiques très diverses dont les relations basées sur des liens à vocation amicale, culturelle, linguistique ou économique. Dans le cadre du programme de développement local, la stratégie de coopération s’est fixée comme objectif premier le soutien au développement socioéconomique des territoires partenaires.

Considéré comme un véritable outil de développement local, cette coopération dynamique et variée a évolué au cours des années et ses champs d’intervention se sont élargis pour mettre en œuvre une multitude d’activités concrètes et inscrire Roissy Pays-de-France et Kampti dans une logique de renforcement mutuel.

Cet ouvrage rend hommage aux liens qui unissent ces territoires depuis 20 années, l’occasion de faire le point sur le chemin parcouru, apprécier les réalisations et les efforts de chacun, de donner la parole aux femmes et aux hommes qui ont pu, à un moment ou un autre, être concernés par cette aventure unique.

Et de regarder, ensemble, vers l’avenir qu’il reste à construire.

La commune de Chabanière réfléchit à son avenir

Née du regroupement de 3 communes, la commune de Chabanière a lancé une démarche de “projet de territoire” afin d’une part, de définir un programme d’actions à moyen terme qui garantisse le maintien ou l’amélioration de la qualité de vie des habitants et d’autre part, de créer du lien entre les habitants et les élus afin d’impliquer largement les acteurs à la définition de ce projet.

Des conseils consultatifs ont été créés sur les 3 communes historiques, une centaine de personnes ont été interrogées par les élus de la commune afin de faire un état des lieux du territoire et de faire ressortir les enjeux à relever pour l’avenir.

Le 30 janvier 2019, une cinquantaine de personnes (habitants et élus) ont échangé leurs points de vue sur les éléments tirés de ces entretiens.

Michel BASSET, consultant de Consortium Consultants, est chargé d’assister la commune dans cette démarche.

Lire l’article paru sur le site de la commune