FIPECO, le 14.04.2016

Les fiches de l’encyclopédie V) Les dépenses publiques

11) L’évaluation des politiques publiques

Les objectifs, les techniques et les conditions institutionnelles de réalisation des évaluations de politiques publiques font depuis très longtemps, en France, l’objet de débats intenses entre les tenants d’une « évaluation par les preuves », mettant l’accent sur l’analyse des données, d’une « évaluation collaborative », mettant l’accent sur la coopération entre les acteurs, et d’une « évaluation managériale », mettant l’accent sur les enjeux opérationnels, pour reprendre la distinction opérée par J.P. Nioche[1]. Cette fiche se situe dans une approche « par les preuves » de l’évaluation et s’inspire d’une note du Conseil d’analyse économique de février 2013. Elle traite de l’évaluation « a posteriori », ou « ex post », des politiques publiques, par opposition à l’évaluation « a priori » ou « ex ante » qui est réalisée avant la mise en œuvre de la politique évaluée.

L’évaluation a posteriori d’une politique publique doit déterminer quel en a été l’impact et repose sur la mise en œuvre de techniques particulières d’analyse des informations disponibles. Les conclusions qui peuvent en être tirées sont toujours fragiles et de portée limitée, mais l’utilisation de ces méthodes est indispensable. Elles se sont d’ailleurs beaucoup améliorées au cours des vingt dernières années avec des travaux comme ceux de J. Heckman[2].

L’évaluation des politiques publiques doit être réalisée dans des conditions institutionnelles permettant notamment d’assurer à la fois l’indépendance de l’évaluateur et l’intégration des points de vue des responsables de la politique évaluée et des autres « parties prenantes ».

A) Les méthodes d’évaluation

1) Les problèmes d’identification des relations causales

L’évaluation d’une politique publique, comme une aide à l’emploi des jeunes, consiste d’abord à examiner si elle a eu l’impact attendu sur une « variable d’intérêt », comme le taux de chômage des jeunes, correspondant à l’objectif visé - le cas échéant, on dit qu’elle est « efficace » - ce qui suppose de pouvoir identifier cet objectif. Or les objectifs des politiques publiques sont souvent mal définis et multiples, parfois incohérents.

Pour qu’une politique ait l’effet attendu sur une variable d’intérêt, il faut qu’elle soit la cause ou l’une des causes des évolutions de cette variable. L’évaluation consiste donc à vérifier l’existence d’une relation causale entre les mesures mises en œuvre et les résultats observés, ce qui est souvent difficile comme le montre l’exemple des aides à l’emploi des jeunes.

L’effet attendu d’une telle politique est en général une baisse du chômage des jeunes, la variable d’intérêt. Toutefois, si on rapproche les dépenses publiques consacrées aux aides à l’emploi des jeunes et leur taux de chômage par régions ou par pays, on peut trouver une relation inverse : plus ces dépenses sont importantes, plus le taux de chômage est élevé. En effet, même si les aides à l’emploi facilitent l’insertion des jeunes, il existe également une relation causale qui joue en sens inverse : plus le taux de chômage des jeunes est élevé, par exemple parce qu’ils sont moins qualifiés, plus ils sont nombreux à pouvoir bénéficier des aides et plus les régions ou les pays concernés sont incités à accroître ces dépenses.

Pour vérifier qu’une augmentation des aides a pour effet de réduire le taux de chômage et qu’il y a bien une relation causale dans ce sens, il est envisageable d’examiner si le taux de chômage baisse postérieurement à une augmentation des aides. Si un premier événement est statistiquement corrélé à un deuxième événement qui lui est postérieur, il est en effet vraisemblable que le premier est une cause du deuxième.

Ce n’est cependant pas une preuve de l’existence de cette relation causale car un troisième événement, un « facteur extérieur », peut être la cause réelle du deuxième, voire des deux premiers à la fois. S’il apparait que le taux de chômage des jeunes a baissé après une augmentation des aides à l’emploi, la cause réelle peut en être une amélioration de la conjoncture économique, alors même que ces aides n’ont aucune efficacité. Cette amélioration de la conjoncture peut aussi avoir amélioré la situation financière des collectivités publiques et leur avoir permis d’accroître leurs dépenses.

Il se peut enfin que les agents des services chargés de mettre en œuvre la politique de l’emploi aident plus les jeunes les plus employables, éventuellement parce qu’ils sont rémunérés en fonction de leurs résultats, ceux-ci étant mesurés par le nombre de jeunes qui obtiennent un emploi. La baisse du chômage des jeunes qui bénéficient des aides traduit alors non pas l’efficacité des aides mais un « biais de sélection ».

2) Les outils techniques

Dans l’idéal, une évaluation consisterait à comparer la variable d’intérêt, ici le chômage des jeunes, avec et sans mise en œuvre de la politique évaluée, ici les aides à l’emploi, en faisant en sorte que tous les facteurs extérieurs soient identiques. La situation du chômage des jeunes sans mise en œuvre de la politique évaluée mais avec les mêmes facteurs extérieurs est appelée « contrefactuelle ».

Les chimistes procèdent couramment à de telles évaluations, en comparant le comportement d’un produit chimique avec ou sans l’adjonction d’un autre élément et en veillant à ce que l’expérience se fasse dans le même récipient, isolé de l’extérieur et soumis aux mêmes conditions de température et de pression. De telles expériences sur des personnes, physiques ou morales, sont évidemment impossibles.

Pour s’approcher néanmoins de telles conditions d’évaluation, il est parfois possible de réaliser des « expériences aléatoires » consistant à titrer au sort, sur un échantillon représentatif de la population totale, un groupe d’individus ou d’entreprises soumis à la politique évaluée et un autre groupe, dit « groupe de contrôle », qui ne l’est pas. Si l’échantillon initial est suffisamment important, on peut considérer que les deux groupes ont les mêmes caractéristiques et dépendent des mêmes facteurs extérieurs[3].

La différence entre les valeurs de la variable d’intérêt (le taux de chômage dans cet exemple), du groupe soumis à la politique et du groupe de contrôle peut alors être interprétée comme l’impact de la politique évaluée.

Il est toutefois difficile de constituer deux groupes parfaitement identiques. Pour s’affranchir de cette contrainte, il est possible de considérer deux groupes différents dont les taux de chômage avant aides à l’emploi sont A1 pour le groupe des bénéficiaires et A2 pour le groupe de contrôle. Si ces taux de chômage deviennent B1 et B2 après l’attribution des aides au groupe de bénéficiaires, l’écart entre (B1 – B2) d’une part et (A1 – A2) d’autre part peut être interprété comme l’impact de la politique évaluée, dans certaines conditions notamment que les différences entre ces deux groupes ne puissent pas expliquer cet écart entre les deux différences successives. Cette méthode d’évaluation est dite « en double différence ».

De telles expériences sont souvent difficiles à réaliser en pratique et peuvent poser des problèmes juridiques et éthiques puisque, dans cet exemple, certains jeunes sont aidés et pas les autres.

Si la politique évaluée comporte des seuils ou des limites arbitraires, par exemple si les aides à l’emploi des jeunes sont réservées à ceux qui ont un revenu inférieur à un plafond ou à ceux qui habitent dans une zone géographique particulière, il est possible de comparer les valeurs de la variable d’intérêt pour un groupe de bénéficiaires et un groupe de contrôle choisis pour que leurs membres soient très proches de ce seuil de revenu ou de la limite de cette zone. Il est en effet alors vraisemblable qu’ils ont des caractéristiques très voisines et sont soumis aux mêmes facteurs extérieurs. Il s’agit alors d’une « expérience naturelle ».

Une autre solution consiste à estimer d’abord l’impact des facteurs extérieurs sur la variable d’intérêt – par exemple, l’impact de la situation économique, du niveau de qualification et du genre sur le chômage des jeunes - en recourant à l’économétrie sur un panel de jeunes pour lesquels ces informations sont connues. L’économétrie permet en effet d’estimer l’impact propre de plusieurs facteurs sur une variable d’intérêt à laquelle ils sont corrélés. Ensuite, la différence entre le taux de chômage des bénéficiaires des aides qui résulte de ces seuls facteurs extérieurs et celui qui est effectivement observé peut être interprétée comme une mesure de l’impact des aides.

S’il n’existe que des données agrégées sur les valeurs de la variable d’intérêt et des variables explicatives - par exemple si on ne connait que le taux de chômage moyen des jeunes en France, leur niveau de qualification et la croissance du PIB - et si la politique considérée présente une discontinuité temporelle - par exemple parce qu’elle a été mise en place ou renforcée à une certaine date - il est également possible d’évaluer son impact par des méthodes économétriques. Elles consistent à estimer simultanément l’impact spécifique, sur la variable d’intérêt, de chacun des facteurs extérieurs et d’un nouveau facteur apparaissant à partir de la date de création ou de renforcement de la politique évaluée.

Enfin, si les données disponibles ne permettent pas d’appliquer les méthodes précédentes, il reste possible d’utiliser les résultats de l’évaluation de dispositifs semblables mis en œuvre dans d’autres contextes, s’ils ne sont pas trop différents, par exemple dans un autre pays.

3) Les limites de ces outils

a) Les données disponibles

Pour appliquer de telles techniques quantitatives, il faut disposer de nombreuses données : soit des informations individuelles sur les membres des groupes de bénéficiaires et de contrôle ; soit des données agrégées pour un grand nombre de zones géographiques ou sur une longue période.

Pendant longtemps, il a été impossible techniquement d’exploiter des fichiers de données individuelles et l’évaluation reposait sur des analyses économétriques de données agrégées. Les outils statistiques et informatiques permettent désormais d’exploiter ces fichiers, par ailleurs de plus en plus nombreux et riches en données, et même de les « apparier », c’est-à-dire de rassembler les informations concernant la même personne ou des personnes de mêmes caractéristiques.

Jusqu’à présent, ils n’ont pas toujours été facilement accessibles aux chercheurs, notamment parce qu’il s’agit de fichiers administratifs ayant d’autres objets – comme le contrôle fiscal ou le suivi médical – couverts par le secret - fiscal, médical, des affaires – et plus généralement par les dispositions de la loi informatique et liberté. Des techniques d’anonymisation permettent désormais d’exploiter cers fichiers sans enfreindre ces règles de protection des secrets.

b) L’incidence, les effets d’aubaine et d’éviction et le bouclage macroéconomique

Si l’aide à l’emploi des jeunes consiste à verser une subvention aux entreprises qui embauchent un jeune, beaucoup d’entre elles reçoivent cette subvention pour des jeunes qu’elles auraient recrutés même si cette politique n’avait pas été mise en œuvre, ce qui caractérise un « effet d’aubaine ». Elles peuvent en faire profiter leurs actionnaires, mais elles peuvent également baisser leurs prix et en faire profiter leurs clients. La question de « l’incidence » d’une politique économique est celle de l’identification de ses bénéficiaires réels (ou de ceux qui en supportent réellement le coût) qui ne sont jamais uniquement les bénéficiaires directs (cf. fiche sur l’incidence fiscale).

Si les entreprises perçoivent une subvention lorsqu’elles recrutent des jeunes, elles ont intérêt pour atteindre leurs objectifs d’emploi, à embaucher des jeunes plutôt que des séniors, dont le taux de chômage risque alors d’augmenter. Une politique en faveur d’une population particulière a presque toujours des « effets d’éviction » sur d’autres populations.

Si le taux de chômage de l’ensemble de la population diminue significativement en raison de ces aides, malgré ces effets d’aubaine et d’éviction, les salaires vont avoir tendance à augmenter, ce que les économistes appellent « l’effet Phillips ». En conséquence, les coûts de production sont plus élevés, la compétitivité est dégradée, les exportations diminuent, les importations augmentent, la croissance ralentit et le taux de chômage est plus élevé. Il n’augmente pas au point d’annuler l’impact immédiat des aides, mais il faut tenir compte de ce « bouclage macroéconomique » pour en évaluer l’impact réel.

Les méthodes d’évaluation présentées ci-dessus peuvent permettre d’identifier un impact direct sur les bénéficiaires de la politique, voire sur des agents économiques qui en sont proches comme les entreprises qui ont recruté les jeunes. Elles ne permettent pas de mesurer tous les effets d’éviction et de tenir compte du bouclage macroéconomique. Celui-ci ne peut être analysé qu’à partir d’un « modèle structurel » de l’économie comme celui présenté dans la fiche relative aux effets multiplicateurs des politiques budgétaires.

c) Les effets de long terme

Si une aide à l’emploi est mise en place à partir d’une certaine date, ses effets sur la création d’emplois et le chômage ne se manifestent pas rapidement. Il faut d’abord que ce dispositif soit connu et compris des entreprises. Ensuite, elles ne l’utilisent que progressivement, lorsque se pose par exemple la question du remplacement d’un départ par l’embauche d’un jeune ou d’une personne plus expérimentée, ou par l’acquisition d’une machine assurant la même fonction. Les effets des politiques publiques doivent souvent être mesurés sur le long terme pour que cette mesure soit pertinente mais il est fréquent que ces politiques changent avant que leurs effets de long terme aient pu être évalués.

d) La comparaison des politiques

A supposer que l’évaluation des subventions aux entreprises en faveur de l’emploi des jeunes montre qu’elles entraînent une baisse de 1 point de leur taux de chômage pour une dépense publique de X M€, il pourrait être plus pertinent de consacrer cette somme à leur formation si cela permet de réduire leur taux de chômage de plus de 1 point. Il pourrait aussi être plus pertinent, pour la même somme, d’aider les entreprises à exporter.

Il faut donc pouvoir comparer « l’efficience » des politiques, c’est-à-dire le rapport entre leur résultat et leur coût, ce qui pose d’autres problèmes méthodologiques : pour comparer ces résultats et l’efficience de ces politiques, il faut que ces résultats soient exprimés avec la même unité. La plus commune étant la monnaie, il faut pouvoir valoriser les impacts des politiques publiques en euros. L’évaluation socio-économique des investissements publics a ainsi pour objet de mesurer tous leurs coûts et avantages, y compris non monétaires, pour l’ensemble de la société et de comparer ainsi leur efficience ou leur « rentabilité socio-économique ».

e) Les limites intrinsèques de toute évaluation scientifique

Même si tous les effets précédents ont été pris en compte avec la plus grande rigueur et s’il en ressort que les aides à l’emploi des jeunes ont permis de réduire de X points leur taux de chômage, ce résultat n’est valable que dans le contexte particulier (économique, social, politique…) où cette politique a été mise en œuvre. Il est impossible de tenir compte de tous les facteurs extérieurs et, dans un autre environnement, l’impact pourrait en être totalement différent. Plus généralement, une démarche scientifique ne permet jamais de connaître une « vérité » absolue. Elle permet seulement de conclure qu’une hypothèse – les aides à l’emploi ont un impact significatif sur le chômage des jeunes – ne peut pas être rejetée dans le contexte où a lieu « l’expérience ».

B) Les conditions institutionnelles d’une évaluation

1) L’indépendance des évaluateurs

L’indépendance des évaluateurs est primordiale, d’autant plus que les méthodes d’évaluation sont difficiles à mettre en œuvre et multiples. Si l’évaluation dépend du responsable de la politique concernée, il peut inciter l’évaluateur à retenir une méthode et tenir compte ou non de certains effets de sorte de mettre surtout en évidence les bénéfices de cette politique pour la société. Si elle dépend d’une « partie prenante » dont les intérêts sont opposés, l’évaluateur peut être incité à en démontrer l’inefficacité.

Cette indépendance de l’évaluateur doit lui permettre de choisir la méthode d’évaluation mais aussi d’en diffuser librement et quand il le souhaite tous les résultats qu’il juge pertinents avec ses propres commentaires.

Pour garantir cette indépendance, il faut que l’évaluateur soit placé sous le contrôle d’une autorité elle-même indépendante : une institution indépendante pérenne comme la Cour des comptes ou les autorités administratives indépendantes ; une commission de personnalités qualifiées dont le mode de désignation donne suffisamment de garanties d’indépendance.

L’évaluateur doit disposer des moyens nécessaires à l’évaluation, notamment de l’accès aux données administratives pertinentes. Il est d’ailleurs souhaitable de définir les données nécessaires avant de mettre en œuvre la politique évaluée pour assurer leur disponibilité.

2) La pluralité des expertises

Si l’évaluateur doit être indépendant des services responsables de la mise en œuvre de la politique évaluée, il doit néanmoins utiliser leur expertise de cette politique, notamment pour éviter de se tromper sur ses modalités réelles d’application. De même, il doit aussi tenir compte de l’expertise des autres parties prenantes, notamment les représentants des bénéficiaires.

L’association de l’administration responsable et des autres parties prenantes est d’autant plus souhaitable que l’objectif de l’évaluation est généralement d’améliorer cette politique et pas nécessairement de choisir seulement entre son maintien ou son abandon. Or elle peut difficilement être améliorée si ces parties prenantes n’en éprouvent pas le besoin. Il faut donc les convaincre, ce qui suppose de tenir compte de leur avis, quitte à montrer qu’il n’est pas pertinent, et de les associer à la démarche. La transparence des méthodes est aussi essentielle.

Compte-tenu de la difficulté et de la fragilité des méthodes d’évaluation, il est également utile d’appliquer des techniques différentes et de faire appel aux spécialistes de plusieurs disciplines (droit, gestion, sociologie…).

3) Le temps de l’évaluation

Comme les effets d’une politique sont souvent longs à se manifester, une évaluation ne peut donner des résultats significatifs que si le recul est suffisant par rapport à son lancement. Les délais de mise en œuvre des méthodes d’évaluation sont eux-mêmes souvent longs et le calendrier fixé à l’évaluateur ne doit donc pas être trop exigeant.

[1] « L’évaluation des politiques publiques et la gestion en France » J.P. Nioche ; revue française de gestion, 2014.

[2] En France, peuvent aussi être cités les travaux de B. Crépon : « l’apport de l’expérimentation dans l’évaluation de l’impact des dispositifs publics. » Informations sociales 2008/6.

[3] Ces évaluations par expériences aléatoires sont concomitantes à la mise en œuvre de la politique évaluée et se situent donc entre les évaluations ex ante et ex post au sens strict.