De 1999 à 2039, de la professionnalisation de l’évaluation à l’évaluation intégrée comme outil de pilotage démocratique, est-ce possible ? 

Article paru dans Pouvoirs Locaux, Juin 2019, Michel BASSET, Consultant, Professeur associé à Sciences Po Lyon, Président de la Société Française de l’Evaluation

Les besoins de connaissance et de professionnalisation de l’évaluation sont parmi les enjeux qui ont justifié la création de la Société Française de l’Evaluation (SFE). 20 ans après, bien qu’encore insuffisamment utilisée, l’évaluation a pris une place significative dans la conception et le pilotage de l’action publique. Près de 3000 évaluations identifiées par l’observatoire de l’évaluation de la SFE entre 2007 et 2017. Les nouvelles formes de gouvernance de l’action publique et la demande des citoyens nécessitent de passer d’évaluations plutôt managériales à des évaluations plus politiques. Comment la SFE peut-elle y contribuer ?

A l’aube du XXIème siècle, l’évaluation se professionnalise

Lorsque la Société Française de l’Evaluation a été créé en 1999, il n’existait pas de base de connaissance du corpus des évaluations réalisées en France. Le constat était dressé de sa faible visibilité à l’échelon national et ceci pour plusieurs raisons : flou des frontières entre l’évaluation, le contrôle, la recherche en sciences sociales, éclatement du champ, déficit méthodologique, faible insertion de l’évaluation dans l’action administrative. Pourtant, dans les années quatre-vingt-dix, un certain nombre d’organismes et d’institutions avaient été créés, la Commission d’évaluation du RMI, le Comité National d’Evaluation de la Recherche, la Commission nationale d’évaluation de la politique de la ville et des services au sein de divers ministères. Petit à petit, des guides méthodologiques ont été élaborés contribuant à créer une communauté de vues et de conceptions. Un club de l’évaluation avait également été créé à l’initiative du ministère de la Fonction publique, signe d’un intérêt pour les questions d’évaluation. A noter que les travaux de ce club furent essentiellement alimentés par des expériences d’évaluations régionales plutôt que nationales.

Les années quatre-vingt-dix ont été des années de réelle appropriation des concepts de base de l’évaluation et d’une meilleure compréhension de la pratique des différentes démarches et méthodes. Elles ont ouvert une phase d’apprentissage par la pratique grâce à un foisonnement d’initiatives et d’expérimentations locales, de création de dispositifs régionaux d’évaluation. Il faut dire que le dynamisme de l’échelon régional en matière d’évaluation a été en partie lié à l’obligation réglementaire faite aux régions d’évaluer, que ce soit au niveau des Contrats de Plan Etat-région ou des fonds structurels européen. Les dispositifs en question ont généralement impliqué plusieurs acteurs, représentants des collectivités territoriales, des échelons déconcentrés de l’Etat ou des SGAR. Des compétences nouvelles en évaluation, issues de différentes disciplines des sciences humaines et sociales, ont petit à petit émergé à l’intérieur des services déconcentrés de l’Etat et dans les dispositifs partenariaux avec les collectivités.

En conséquence, au plan des compétences, on assiste à une grande diversification, avec par exemple l’apparition de l’utilisation de la méthode des groupes de comparaison. Ces évolutions ont été rendues possibles, dans un premier temps, par l’obligation réglementaire européenne d’évaluer. Mais, avec un peu de recul, on peut dire que la contrainte ne suffit pas ni à conduire la démarche d’évaluation à son terme, sous peine d’instaurer un rituel bureaucratique, ni à rendre systématiquement l’évaluation utile c’est-à-dire utilisée pour corriger ou concevoir des politiques. La Commission Européenne a d’ailleurs trouvé des dispositifs d’incitation pour pallier ces limites, telle la “ réserve de performance ”, qui attribue, dans le cadre des programmes structurels, un budget supplémentaire aux programmes les plus performants au vu des évaluations. Toutefois, ces mesures, restant cantonnées dans le domaine managérial, n’ont pas suffi à donner à l’évaluation sa dimension d’outil d’arbitrage de choix stratégique en matière de politiques publiques.

A la fin des années quatre-vingt-dix, malgré l’absence d’un observatoire de l’évaluation, on constate une amélioration très nette de la qualité générale de l’évaluation, un développement de la pratique au-delà du cercle des initiateurs originels. En même temps, s’il n’y a pas encore de « métier », on assiste à une structuration de l’activité professionnelle et des organisations dans le domaine de l’évaluation ; l’activité restant cependant confinée au niveau des gestionnaires de programmes et de politiques.

Or, une des questions principales qui a conduit à la création de la Société Française de l’Evaluation était d’élargir la sensibilité par rapport à l’évaluation hors du monde des professionnels.

Le rôle de la SFE dans l’évolution de l’évaluation

Depuis 20 ans, la SFE a mis en place des activités diverses ayant pour objectifs de développer la connaissance et la qualité de la pratique de l’évaluation. Parmi les dernières, on peut citer deux initiatives contribuant à une meilleure connaissance : la création de l’observatoire de l’évaluation en 2013 permettant la production d’un baromètre bisannuel de l’évaluation en France et la mise en place d’un catalogue de formation proposant à la fois des modules de sensibilisation et d’approfondissement des savoirs et des savoir-faire. 

Antérieurement, et très rapidement après la création de la SFE, des groupes de travail ont vu le jour avec pour objectif une « montée en gamme » des évaluations. On citera celui sur la qualité de la commande d’évaluation et surtout celui sur les standards de qualité et la déontologie ayant conduit à l’élaboration de la Charte de l’évaluation des politiques publiques. Ce texte a exprimé les valeurs sur l’évaluation partagées par les membres de la Société Française de l’Evaluation et est devenu, au fil des années, un texte de référence pour les commanditaires et les évaluateurs. La charte affirme notamment que l’évaluation « vise à donner plus de cohérence à l’action publique, à améliorer son efficacité et à mobiliser tous ses acteurs »[1]. L’évaluation contribue donc à la fois à la prise de décision publique, à rendre plus efficace la dépense publique, à développer les pratiques de reddition de comptes mais aussi à participer au débat démocratique.

Dans cette dynamique, en 20 ans, les adhérents institutionnels et individuels ont ainsi été multipliés par 3, passant notamment de 30 institutions adhérentes en 1999 à plus de 100 en 2018, signe d’un intérêt marqué pour l’évaluation et les travaux de la SFE au sein des organisations publiques.  

On peut dire qu’au début des années deux mille, un certain niveau de maturité professionnelle de l’évaluation est atteint : qualité de la commande, usage des techniques des sciences sociales et économiques à des fins d’évaluation, diversité des outils d’analyse,… Si la SFE a contribué à relever le défi de la connaissance, de la professionnalisation et de la diffusion de l’évaluation au sein des institutions, la question de l’élargissement de la sensibilité à l’évaluation à d’autres parties prenantes de l’action publique reste entière. Faut-il s’en étonner alors que le processus de fabrication des politiques publiques reste encore une affaire d’experts ?  La mise en œuvre des politiques publiques fait encore rarement l’objet d’un examen critique ; l’évaluation se cantonnant trop souvent à une approche fondée sur des données « froides » au détriment des données « chaudes » issues de l’expérience des usagers ou plus globalement des citoyens.

Passer de la sphère professionnelle à la sphère démocratique

L’évaluation est devenue petit à petit un enjeu politique et social de premier ordre. Cependant, si une culture professionnelle a clairement émergé ces 20 dernières années, on constate une grande hétérogénéité des pratiques selon les acteurs et les thématiques de politiques publiques. Si l’enjeu de rendre l’action publique plus efficace et cohérente est une préoccupation constante de l’évaluation, elle pèche par une réponse insuffisante à la demande de lisibilité et de transparence par les citoyens, devenus également plus exigeants.

Or, avec le XXIème siècle, la gouvernance prend de plus en plus de place dans l’action publique au sens où dans une approche systémique la décision relève d’un système d’entités décisionnelles pluri-acteurs. L’émergence de la « gouvernance » conduit alors à la re-formulation de la problématique de l’évaluation. Edmond Hervé[2] ne disait-il pas lors des Journées Françaises de l’Evaluation de Rennes en 2000, « il faut se méfier du terme de gouvernance dont une des approches possibles repose sur le doute émis quant à la légitimité des gouvernants. La démocratie locale est bien vivante dans nos villes. Mais, en termes de lisibilité, le citoyen doit se reconnaître dans les décisions que les gouvernants prennent, d’où la nécessité du développement des évaluations ». Il ajoutait même, de manière prémonitoire (cf. les débats actuels sur le sujet), « Il faut trouver un équilibre entre une démocratie représentative éclairée et une démocratie participative enthousiaste […], l’évaluation doit y contribuer ». Au-delà du 1er enjeu pointé lors de la création de la SFE, la question de la promotion de la contribution de l’évaluation au débat démocratique était posée.

Dans ce contexte, l’évaluation peut se concevoir comme une composante parmi d’autres de la transformation de l’action publique. A ce titre, elle n’est alors pas destinée aux seuls décideurs mais à tous les acteurs de l’action publique y compris aux agents, ainsi qu’aux citoyens.  C’est dans cet esprit que le gouvernement avait lancé en 2012 une démarche d’évaluation ex post des politiques publiques dans le cadre de la modernisation de l’action publique. Affaires sociales, éducation nationale, justice, écologie, logement, territorial… de nombreuses politiques ministérielles, interministérielles et partagées avec les collectivités locales ont été évaluées[3].

Cette démarche d’évaluation des politiques publiques reposait sur 4 principes directeurs parfaitement en phase avec les principes de la Charte de 2003 : aide à la décision, participation et transparence, analyse multicritère et méthode structurée et participative.

Le 1er principe rappelait la vocation de toute évaluation depuis son émergence en France, l’aide à la décision. Tournées vers l’action, ces évaluations étaient conçues comme une aide à la décision politique en matière de transformation, destinées à améliorer l’action publique en question. Ensuite, participation et transparence. Les usagers et bénéficiaires devaient être consultés, notamment sur leurs attentes vis-à-vis de la politique évaluée, et les principaux acteurs publics concernés (Etat, collectivités locales, organismes sociaux, opérateurs…) devaient être associés à la démarche, afin de construire une vision collective des enjeux, objectifs, résultats et modalités de mise en œuvre de chaque politique. La démarche promouvait par ailleurs la transparence ; les rapports d’évaluation ayant vocation à être rendus publics et les citoyens à être informés sur le déroulement du processus. Il faut noter que le baromètre 2018 de l’évaluation des politiques publiques mentionne que seulement 45% des 2605 évaluations recensées par l’observatoire de la SFE (71% par l’Etat et 24% par les collectivités territoriales et les Etablissements Publics de Coopération Intercommunale (EPCI)) sont assortis d’un rapport publié ou diffusé par des moyens différents.

Enfin, insistons sur le 4ème principe ayant trait aux méthodes. Ces évaluations devaient être régies par une méthode structurée autour d’une gouvernance participative et d’un protocole de travail  précis, qui s’applique aux commanditaires, aux évaluateurs et aux parties prenantes. La SFE, conformément aux principes de la Charte, ne peut que cautionner ce principe. Mais, plus globalement, qu’en est-il aujourd’hui ? Les évaluations en général sont-elles suivies par un comité de pilotage ? Si oui, quelle place y tiennent les bénéficiaires de l’action évaluée ? Le baromètre 2018 fait apparaitre que seulement 42.5% des rapports d’un échantillon d’évaluations mentionnent un comité d’évaluation et que la composition des comités d’évaluation, lorsqu’elle est précisée, est majoritairement interne et externe sans les bénéficiaires finaux. Par ailleurs, les bénéficiaires des politiques sont associés de manière importante mais principalement toujours sous forme de consultation.

Qu’en est-il du côté du Parlement ? Aujourd’hui, l’évaluation devrait s’appliquer aux deux bouts de la chaîne de production de normes, avec le double souci d’améliorer le processus normatif tout en s’intéressant au contenu des normes : tout projet de loi doit être précédé d’une étude d’impact, et, après son adoption, une évaluation ex-post doit rendre compte des effets de la loi. Rappelons que la loi constitutionnelle du 23 juillet 2008 de modernisation des institutions de la Vème République a conduit à modifier la constitution ; son article 24 mentionnant que « le Parlement vote la loi. Il contrôle l’action du Gouvernement. Il évalue les politiques publiques ». La réforme du Règlement de l’Assemblée Nationale de 2009 crée alors le comité d’évaluation et de contrôle (CEC) permettant à l’Assemblée nationale de mettre en œuvre la fonction d’évaluation. Or, malgré l’existence d’accords-cadres et du recours à la Cour des Comptes, il faut bien noter que la mise en œuvre de cette prérogative reste à ce jour limitée et que le Printemps de l’évaluation mis en œuvre par elle en 2018 se situe avant tout dans le cadre de l’exécution du budget de l’Etat.

Enfin, du côté des collectivités territoriales et des EPCI plus spécifiquement, les évaluations de politiques publiques sont laissées à la discrétion des exécutifs qui les utilisent selon leur bon vouloir et leurs choix politiques. Même si leur nombre s’accroit[4], combien de collectivités décident de mettre un terme ou de limiter le recours aux évaluations à la suite d’un changement politique. Les dernières élections régionales l’ont bien montré ; beaucoup de Régions, fer de lance de l’évaluation dans les années quatre-vingt-dix et deux mille, remettant en cause le recours à l’évaluation comme moyen de pilotage et de transformation de leur action.   

Ce tour d’horizon rapide de l’évolution de la place et du rôle l’évaluation montre le chemin restant à parcourir pour faire de l’évaluation un moyen, ou plus globalement une fonction incontournable, de l’analyse et du pilotage des politiques publiques. Par ailleurs, les conséquences des évaluations menées en France depuis les années quatre-vingt-dix sur les politiques publiques sont mitigées. Certaines ont conduit à une inflexion rapide des politiques publiques, d’autres n’ont pas entraîné de modifications des politiques évaluées pour des raisons différentes : dichotomie de la temporalité des politiques et des évaluations, caractère jugé « non certain » des conclusions,…

Est-ce à dire que leur utilité est insuffisante ? Outre la modification qu’elles peuvent entraîner sur les politiques publiques qu’elles concernent, les évaluations peuvent également avoir une influence plus « subtile » :

  • c’est souvent une évaluation qui conduit à la création d’un système d’information de suivi des politiques qui survivra à l’évaluation ; pour cela, la question de l’accès aux données est primordiale ;
  • certaines évaluations modifient fortement les pratiques des acteurs (même si elles ne modifient pas le contenu des politiques) ;
  • les évaluations permettent souvent l’émergence d’une culture commune aux différents acteurs publics et ont une influence sur le débat public (ex : RMI au début des années deux mille et plus récemment, l’évaluation des politiques publiques de lutte contre la pollution de l’air)

Les enjeux de l’évaluation et de la SFE pour 2039

Quels sont les enjeux en 2019 ? Même si des controverses méthodologiques existent encore bel et bien (cf. méthodes qualitatives et qualitatives,  extériorité ou non de l’évaluation, profondeur de la démarche,…), même si sa dimension démocratique reste en débat notamment au regard des pratiques réelles, on peut dire que l’évaluation est aujourd’hui une pratique référencée avec des standards de qualité plutôt bien diffusés. En prolongement des acquis du passé, les débats d’aujourd’hui sont articulés aujourd’hui autour de trois axes.

Le premier questionne comment l’évaluation peut s’inscrire dans un processus de démocratie délibérative inspirée par les théories de John Rawls et de Jürgen Habermas faisant une place importante aux débats avec et entre les citoyens. La SFE considère que l’évaluation doit prendre en compte de façon raisonnée les différents intérêts en présence et recueillir la diversité des points de vue pertinents sur l’action évaluée, qu’ils émanent d’acteurs, d’experts, ou de toute autre personne concernée.  Cette prise en compte de la pluralité des points de vue se traduisant – chaque fois que possible – par l’association des différentes parties prenantes concernées par l’action publique ou par tout autre moyen approprié. Les soubresauts de notre démocratie représentative nous rappellent en effet l’importance du processus décisionnel.

Le deuxième porte sur l’efficacité des évaluations au regard des processus de décision et des agendas politiques. De nombreuses évaluations n’ont pu produire toute leur efficacité au regard du décalage entre les le temps du politique et le temps des évaluations. Pour renforcer l’efficacité de l’évaluation au regard de ses objectifs d’aide à la décision, l’évaluation doit – et c’est le cas dans de nombreuses expérimentations[5] – mobiliser des méthodes agiles capables d’éclairer les décisions dans des délais raisonnables, en phase avec ceux du politique sans occulter les controverses méthodologiques que cette posture peut induire.   

Le troisième porte sur l’utilisation de l’évaluation avec notamment les questions de l’appropriation de l’évaluation par les commanditaires, de la mise en œuvre des recommandations, de l’analyse des actions qui s’ensuivent et du suivi des effets des changements. C’est par l’intégration de l’évaluation à tous les maillons de la production de la chaine de valeur des politiques publiques qu’elle démontrera son utilité. Le développement récent des processus d’évaluation engagée s’inscrivent dans cette logique. Ils cherchent à créer de l’adhésion plutôt que de la méfiance ou du jugement, ils intègrent de la transversalité dans les façons de travailler au sein des administrations et surtout ils outillent pour faciliter la mise en œuvre des préconisations et ainsi éviter que les travaux des évaluateurs restent lettre morte.

Depuis son origine, la SFE est un lieu d’innovation. Elle doit l’être encore plus à l’avenir par le renforcement et l’ouverture permanente de ses partenariats politiques, techniques et scientifiques. Non seulement au niveau technique et des outils mais aussi au niveau de sa capacité à contribuer à la progression de savoirs et de savoir-faire utiles à une évaluation démocratique utilisée. Pour cela, elle doit être capable de réunir autant que de besoin les compétences nécessaires pour répondre à des questions et des besoins qui répondent aux enjeux identifiés. Pour cela, la SFE doit encore plus être un lieu de production et de coproduction scientifique en initiant ou en s’associant à des travaux de recherche impliquant les parties prenantes de l’action publique.

[1] La Charte de l’évaluation des politiques publiques, SFE, 2003

[2] Maire de Rennes de 1977 à 2008 et président de Rennes Métropole, Source : SFE, 2000

[3] 59 évaluations réalisées, source : SGMAP, 2015

[4] 41,3% des évaluations entre 2007 et 2017, source : baromètre de l’évaluation des politiques publiques en France, SFE, 2018

[5] Cf. Journées Françaises de l’Evaluation, St Ouen, 2017