Changeons l’évaluation de la PAC

Par Marianne Lefebvre, enseignante et chercheuse en économie (université d’Angers), membre fondateur et actuelle présidente du réseau européen REECAP (Research Network on Economic Experiment for the Common Agricultural Policy).

Les objectifs de la Politique Agricole Commune (PAC) évoluent avec les demandes sociétales. Il doit en être de même pour ses outils d’évaluation. Les expérimentations économiques, qui ont prouvé leur efficacité dans d’autres domaines d’action publique, devraient être mobilisées largement pour tester les effets et l’acceptabilité des mesures de la Pac avant leur mise en œuvre.

Depuis juin 2021, les grandes lignes de la Pac pour la période 2023-2027 sont connues. Comme pour chaque réforme, une évaluation de la politique précédente a servi de base à de nouvelles propositions, dans l’espoir de rendre cette politique de soutien à l’agriculture plus efficace, plus juste et plus cohérente avec notre monde qui évolue. Cette politique publique engage chaque année cinquante milliards d’euros. Comment apprécier son efficacité en comparant ses résultats aux objectifs assignés et aux moyens mis en œuvre ? Pour s’adapter aux profondes mutations de la Pac depuis les années soixante, son évaluation doit elle aussi évoluer en profondeur. Notamment en intégrant les approches, en pleine expansion, de l’économie expérimentale.

Comme au labo
Notamment utilisée pour aider les politiques publiques en testant l’efficacité de nouvelles idées (évaluation ex ante) et en évaluant les dispositifs en place (évaluation ex post), cette approche permet de concevoir des situations économiques en laboratoire, dites « expériences », pour étudier les décisions d’individus dans un environnement contrôlé et reproductible. Inspirée des essais cliniques en médecine, l’expérimentation aléatoire permet d’évaluer une action publique en comparant les résultats d’un « groupe traité » pris au hasard (une exploitation agricole, une zone ou un GIEE¹ qui a bénéficié d’une mesure) à ceux d’un « groupe témoin » (qui n’en a pas bénéficié). Or, alors que ces méthodes sont plébiscitées pour mesurer l’impact des programmes d’aide dans les pays en voie de développement, elles ne sont pas ou sont peu appliquées en Europe à l’évaluation de la Pac.

Quand cette méthode de l’expérimentation aléatoire ne peut être mise en place, d’autres formats sont possibles: dans les « expériences de terrain », les participants sont répartis entre différentes situations et font des choix qui ont des conséquences sur le paiement qu’ils reçoivent dans l’expérience. Les chercheurs comparent ensuite les décisions des participants placés dans des situations différentes. Les « expériences de choix » complètent cette palette d’outils : il s’agit de questionnaires dans lesquels les répondants indiquent leurs préférences face à différents scénarios, hypothétiques mais réalistes.

Appliquées à l’évaluation de la Pac, ces approches expérimentales présentent plusieurs avantages : d’abord, elles permettent de tester une mesure avant sa mise en œuvre à large échelle. Les expériences en laboratoire apportent notamment des réponses dans un délai beaucoup plus bref et à un coût très inférieur à un tâtonnement par essai-erreur dans le « monde réel ». Par ailleurs, elles offrent la possibilité d’isoler l’effet de la politique d’autres facteurs : grâce à un groupe témoin et à la répartition aléatoire des participants entre les groupes, les résultats avec et sans la mesure peuvent être comparés. Enfin, les données obtenues par l’économie expérimentale combinée avec d’autres méthodes renseignent sur les processus de prise de décision des agriculteurs. Ainsi, des expériences pourraient mettre en évidence des aspects comportementaux susceptibles d’expliquer la réussite ou l’échec d’une politique, tels que le poids des normes sociales ou l’aversion au risque et aux pertes.

Comprendre les acteurs
L’économie expérimentale aide donc à la compréhension des freins et leviers pour changer les pratiques du monde agricole et permet de mesurer l’efficacité de potentielles solutions. Elle permet d’informer les décideurs, qui ne sont jamais faciles à convaincre sur des bases théoriques mais parfois plus sensibles aux preuves empiriques.

En ce sens, notons l’existence, depuis 2017, d’un réseau européen d’experts des méthodes expérimentales pour l’évaluation des dispositifs d’aide au secteur agricole, Reecap. Parmi les récentes expériences menées au sein de différents pays de l’Union européenne², des chercheurs membres du réseau ont travaillé sur l’articulation entre les incitations basées sur le volontariat des agriculteurs, telles les Mesures Agri-Environnementales et Climatiques (MAEC) et la conditionnalité environnementale qui s’impose à tous les bénéficiaires des aides Pac. Ils montrent que renforcer la conditionnalité environnementale des aides Pac pourrait se faire au détriment de l’engagement dans des mesures volontaires. Comprendre les perceptions et préférences des agriculteurs pour ces différents instruments permet d’affiner le choix des instruments les plus efficaces pour améliorer l’impact environnemental de l’agriculture. C’est crucial avec le puzzle de mesures volontaires et contraignantes qui s’est encore complexifié avec le paiement vert dans la Pac 2014-2020 puis les écorégimes³ de la future Pac 2023-2030.

Pour aller plus loin dans la démonstration de l’intérêt de l’expérimentation, des efforts supplémentaires sont nécessaires pour mener des expérimentations liées à la Pac plus nombreuses, plus robustes et mieux intégrées dans le cycle de la politique⁴. Cela passera notamment par des collaborations renforcées entre les décideurs et évaluateurs de la Pac et des chercheurs aptes à mobiliser ces méthodes. Ainsi, diverses recherches pourraient être menées sur des cahiers des charges de MAEC envisagés dans le Plan stratégique national français (la planification stratégique de la Pac à l’échelle nationale). Des résultats peuvent être obtenus assez rapidement (de quelques mois à un an) mais faire qu’ils soient disponibles au bon moment pour l’agenda politique nécessite coordination et anticipation importantes de la part des chercheurs et des décideurs. De plus, comme l’atteste la stratégie « de la ferme à la fourchette », les leviers du changement de pratiques agricoles peuvent passer par d’autres acteurs tels que les transformateurs, distributeurs et consommateurs. Conduire des expériences auprès de ces acteurs, pour mieux comprendre leurs décisions et l’efficacité de mesures qui leurs sont destinées, devient aussi important.

Terrains d’essais
Pour ce faire, il reste des défis pratiques et éthiques à relever. Il est notamment important d’améliorer la validité statistique des résultats obtenus, ce qui passe par des échantillons plus grands et plus représentatifs de la diversité des systèmes agricoles européens. Pour ce faire, le réseau Reecap se propose d’être un point de rencontre entre chercheurs pour la réplication, dans le temps et à travers l’Europe, d’expérimentations pertinentes pour la Pac. Celles-ci bénéficieraient aussi de la constitution d’un panel multinational d’agriculteurs désireux d’y participer. Concernant les défis éthiques, pour que l’expérimentation aléatoire explore tout son potentiel dans le champ des politiques agricoles en Europe, il convient d’accepter que la nouvelle Pac ne soit pas simultanément mise en œuvre dans les vingt-sept États membres mais que certains territoires puissent jouer un rôle pilote. Par ailleurs, il manque des textes clairs, au niveau européen, sur le statut des expérimentations pilotes, par exemple celle déjà menée en Irlande⁵, et sur l’acceptabilité par les bénéficiaires des aides Pac et par les décideurs de l’assignation aléatoire (certains bénéficient du programme pilote alors que d’autres n’y ont pas accès, au moins dans un premier temps). Le vent du changement pourrait aussi venir de régions européennes : si elles intégraient des dispositifs d’évaluation par expérimentation des innovations de leur Plan stratégique national, la Commission devrait alors se prononcer sur l’acceptabilité d’un tel dispositif.

Les chercheurs intéressés par l’économie expérimentale pour le secteur agricole sont de plus en plus nombreux, comme en témoigne la vivacité du réseau Reecap. Cette communauté doit désormais convaincre les décideurs de la pertinence et de la robustesse de ces méthodes pour une meilleure intégration de ces recherches à l’agenda politique.

Cet article reprend largement des éléments déjà publiés dans The Conversation (novembre 2020) et Eurochoices (août 2021).

Groupement d’intérêt économique et environnemental.
Dessart, F. J., Rommel, J., Barreiro-Hurlé, J., Thomas, F., Rodríguez-Entrena, M., Espinosa-Goded, M., Zagórska, K., Czajkowski, M. and van Bavel, R., Farmers and The New Green Architecture of The EU Common Agricultural Policy: A Behavioural Experiment, EUR 30706 EN, Publications Office of the European Union, Luxembourg, 2021, ISBN 978-92-76-37778-8, doi:10.2760/718383, JRC123832.
Ce nouveau dispositif volontaire récompensera les agriculteurs qui adoptent des pratiques respectueuses du climat, de l’environnement et du bien-être animal. La liste doit être définie par chaque État membre.
Colen, L., S. Gomez y Paloma, U. Latacz-Lohmann, M. Lefebvre, R. Preget and S. Thoyer, “Economic Experiments as a Tool for Agricultural Policy Evaluation: Insights from The European CAP”, Canadian Journal of Agricultural Economics, 2016.
L’Irlande a testé le potentiel des MAEC avec exigences de résultats. http://burrenprogramme.com/eip-agri-irelands-operational-groups-2019