Le diktat des indicateurs

À propos de : Jerry Z. Muller, The Tyranny of Metrics, 2018, Princeton,

De la mesure avant toute chose

J’espère ne pas faire d’impair en détournant ce premier vers de l’Art poétique de Verlaine, mais c’est bien de cela qu’il s’agit dans l’ouvrage de Jerry Z. Muller : The Tyranny of Metrics. Compte tenu du caractère polysémique de la notion de mesure, il me faut préciser mes propos. Il ne s’agit nullement d’action à réaliser, ni de modération dans un jugement sur un comportement, ni de musique, mais de la mesure au sens d’outil pour comparer, évaluer, quantifier, etc. Le propos de Jerry Z. Muller est simple : il faut lutter contre la systématisation du recours aux indicateurs de performance comme seule aune pour juger de la performance des personnes, des institutions, des entreprises. Selon lui, nous sommes arrivés à une situation où nous préférons pour guider nos actions nous référer à des indicateurs dont la production est souvent coûteuse plutôt qu’au jugement de personnes éclairées. Or, tout ne peut se mesurer ou se quantifier, pour reprendre un terme cher à Alain Desrosières. Et les choses que l’on peut mesurer n’apportent pas toujours une bonne information pour éclairer une décision. Il y a donc nécessité à lutter contre « l’obsession métrique » (metric fixation).

Comme le dit avec beaucoup d’humour Tim Harford dans sa recension de l’ouvrage dans le Financial Times : « Le livre de Muller fait 220 pages, un chapitre moyen fait 10 pages et comporte 18 notes de bas de page en moyenne, les 4 couvertures (au sens de premier à 4^e de couverture) ont du texte et le livre pèse 421 grammes. Ces chiffres ne nous disent rien, bien sûr. Si vous voulez comprendre les forces et les faiblesses de The Tyranny of Metrics, vous aurez besoin de le lire – ou de faire confiance à l’opinion de quelqu’un qui l’a lu ».

Jerry Z. Muller est un historien et plus précisément un professeur de l’Université. Il s’est intéressé à ce sujet à la suite de ses propres déboires avec les indicateurs de performance au sein de son Université. Comme il le reconnaît lui-même dans son introduction, il y a peu de choses nouvelles dans son livre, mais son intérêt est de présenter une synthèse de nombreux travaux dans des domaines aussi variés que l’économie, la politique, l’histoire, l’anthropologie, la psychologie, la sociologie, etc. Son livre est construit de façon simple. Il expose ses arguments, recadre tout cela dans une perspective historique, théorique et philosophie puis détaille à travers de nombreux exemples (université, école, médecine, police, armée, finance, entreprise, organismes caritatifs) les travers de ce qu’il appelle la tyrannie des indicateurs.

Quels sont les arguments mis en avant par les tenants des indicateurs de performance pour en faire l’alpha et l’oméga de l’évaluation de la performance ? Premièrement, il est possible et nécessaire de remplacer le jugement subjectif de personnes, aussi expertes soient-elles, par des indicateurs standardisés. Cela repose sur l’idée que l’on ne peut être juge et partie et qu’il est nécessaire d’avoir des informations objectives pour évaluer un organisme. Deuxièmement, il faut que ces indicateurs soient publics afin que tout un chacun puisse juger de la performance de l’institution, ce que l’auteur appelle une façon de responsabiliser l’institution. Il s’agit d’être transparent. Le fait de rendre publique cette information oblige l’institution qui les publie à faire de son mieux pour atteindre les cibles qu’elle s’est fixées. Enfin, la meilleure façon de motiver des personnes au travail est d’attribuer des gratifications (monétaires ou de réputation) ou des pénalités au regard de ces mêmes indicateurs de performance. Ainsi, l’application de la carotte et du bâton est censée rendre un organisme plus performant. L’essentiel de l’ouvrage va porter sur un recensement des effets pervers de cette obsession dans de nombreux domaines : l’école, l’université, la médecine, la police, l’armée, l’entreprise, la finance, le secteur caritatif, l’aide au développement. Au-delà des effets pervers qu’il dénonce, Jerry Muller nous révèle les origines de ce qu’il appelle « mesurer et payer pour la performance », pourquoi ce procédé est devenu si répandu et le lien fort entre ce procédé et la théorie économique dite de théorie de l’agence.

Aux origines du mantra « mesurer et payer pour la performance »

L’idée de « mesurer et payer pour la performance » remonterait à la 2^e moitié du XIX^e siècle au Royaume-Uni, sous la tutelle de Robert Lowe (homme d’État britannique, chancelier de l’échiquier entre 1868 et 1873, ministre de l’Intérieur entre 1868 et 1873) qui mit en place un système de bonus-malus pour les écoles en fonction des résultats à des tests sur les savoirs fondamentaux : lecture, écriture et arithmétique. Le taylorisme est d’une certaine façon une conséquence de cette première expérience. Mais la méthode va prendre son essor avec le développement du management. L’idée sous-jacente est la suivante : pour diriger une entreprise, un organisme, une institution, etc., il n’est pas nécessaire d’avoir des compétences techniques, il suffit d’avoir un bon système d’information statistique qui permette de prendre des décisions reposant sur des indicateurs objectifs et précis puisque chiffrés… Dit autrement, il y a plus de similarités que de différences entre les organisations, donc je peux appliquer la même boîte à outil de compétences et techniques managériales n’importe où. Jerry Muller détaille l’histoire de McNamara, le plus jeune professeur de la Harvard Business School qui a développé cette procédure dans l’armée américaine avec le fameux compte des morts durant la guerre du Vietnam, censé être le meilleur indicateur du succès militaire. De nombreuses critiques seront développées en particulier celle de Luttwak (1984). Il est possible de mesurer tout ce qui relève du matériel et du nombre d’hommes, mais il est difficile de définir et donc quasi impossible à quantifier la stratégie, la force de conviction, la cohésion de groupe et le moral des troupes. Au-delà de la facilité à se diffuser puisqu’il s’agit d’une simple boîte à outils, d’autres facteurs ont joué aux États-Unis dans la deuxième moitié du XX^e siècle. Tout d’abord, la population s’est avérée méfiante envers les institutions, en particulier publiques, non seulement vis-à-vis des personnes qui les dirigeaient, mais aussi sur les dépenses en regard des résultats. En même temps, l’idée qu’une information complète faciliterait le choix des consommateurs pouvait pousser à cette prolifération d’indicateurs publics pour orienter le choix des individus vers les bonnes écoles, les bons hôpitaux, etc. De même, dans certains secteurs, les dépenses explosaient, ce qui pouvait laisser penser à une certaine gabegie : c’était particulièrement le cas dans le domaine de la santé. Par ailleurs, les sociétés et organisations devenaient de plus en plus grandes, de plus en plus complexes, ce qui posait la question de la capacité à gérer de tels mastodontes, d’autant plus qu’était dans l’air du temps l’importance d’avoir un regard neuf, ce qui conduisait à un renouveau rapide de l’encadrement supérieur. Le tableau de bord devient l’arme fatale, tableau de bord de plus en plus facile à produire du fait du progrès dans les technologies de l’information.

Enfin, l’auteur mentionne le fondement théorique qui a définitivement assis ce recours massif aux indicateurs de performance : la théorie de l’agence. Pour le dire en quelques mots, il s’agit de trouver les meilleurs instruments pour que le « principal » (en général l’actionnaire) s’assure de la meilleure collaboration de « l’agent » à qui il a délégué la production, sachant que chacun poursuit des objectifs potentiellement discordants : le premier souhaite rentabiliser son capital, le second tirer bénéfice de son travail et donc entamer en partie le capital, ce qui crée des risques d’asymétrie d’information, d’aléa moral, d’anti-sélection, tout un champ de la théorie microéconomique. Dit autrement, il n’est pas possible de faire confiance aux personnes auxquelles on délègue les tâches au sein d’une organisation. Il faut donc contrôler au mieux leurs actions via des indicateurs de performance publics et objectifs et pour s’assurer de la meilleure collaboration possible, il faut mettre en place un système de bonus-malus. Implicitement, cela suppose que seule la reconnaissance financière est importante, ce qui est évidemment loin d’être le cas. Cette gestion née plutôt dans les entreprises s’est par la suite diffusée dans les services publics ; le « new public management ». Dernier point que souligne Jerry Muller, les ailes gauche et droite de l’échiquier politique ont toutes succombé aux sirènes des indicateurs de performance au cours du XX^e siècle.

Sans qualité, les quantités ne sont rien

Avant de sélectionner dans différents domaines les effets pervers de « l’obsession métrique », peut-être faut-il lister les défauts inhérents, selon Jerry Muller, à cette pratique. Il en met deux en évidence. Le premier est la difficulté à effectivement produire la bonne information à partir seulement d’indicateurs : la tendance à se concentrer sur un petit nombre d’objectifs au regard de ceux de l’organisation, la difficulté à mesurer exactement ce que l’on souhaite, le fait de céder à la facilité en produisant des indicateurs faciles à mettre en place, et donc plutôt des indicateurs de moyens que de résultats, la standardisation à outrance de l’information statistique produite en vue de pouvoir comparer avec d’autres organisations, sont toutes autant de bonnes raisons de produire une information de faible qualité et peu utile pour la décision. Le deuxième défaut est lié au caractère inéluctable de la manipulation des indicateurs par les organisations ou les personnes qui sont évaluées. Là encore, les possibilités sont nombreuses : par exemple ne pas prendre en compte des cas difficiles en les excluant du calcul de l’indicateur, diminuer son exigence en termes de résultats pour augmenter les taux de réussite à un examen, considérer des crimes comme des délits pour faire baisser son taux de criminalité, voire tricher, en modifiant les réponses des élèves à des tests pour augmenter leur score.

Pour illustrer ces propos, Jerry Muller évoque la série The Wire d’Ed Burns et de David Simons. Cette série passe aux rayons X des institutions comme la police, l’école, la politique locale, la presse, les syndicats. Et l’un des thèmes récurrents de cette série est la saillance des indicateurs dans leur gouvernance. Le cas de la police est symptomatique. Les élus locaux pour pouvoir se faire réélire souhaitent diminuer la criminalité dans la ville de Baltimore. Les dirigeants de la police doivent donc atteindre des indicateurs cibles en termes de baisse de la criminalité, d’arrestations, résolutions de cas, etc. Toutes les stratégies sont mises en place pour améliorer les indicateurs suivis. Plutôt que de se concentrer sur l’arrestation d’un grand bonnet de la drogue, la police va favoriser les arrestations de petits dealers. Cela ne résout pas le problème, puisque les petits dealers sont très vite remplacés, mais cela fait du chiffre. Un gang de la drogue enferme des corps dans des maisons abandonnées. Les officiers de police décident de ne plus les visiter, car ces crimes restent insolubles. Enfin, pour faire baisser le taux de criminalité, des crimes sont négligés ou déclassés en délit. De même dans l’école, les financements sont liés à la réussite à des tests. On suit la tentative d’une école, située au cœur d’un quartier pauvre, où la drogue est omniprésente et les familles des enfants fragmentées pour améliorer ses résultats à des tests afin d’éviter la fermeture. La solution est radicale : six semaines avant les tests, tous les professeurs passent leur temps à préparer ces tests au détriment de leur rôle éducatif. Quitte à utiliser des cas relatés dans des séries, Jerry Muller s’intéresse à Bodies, une série anglaise qui se passe dans un service obstétrique et gynécologique d’un hôpital. Cette fois, ce sont les chirurgiens qui sont scrutés et leur taux de réussite dans les opérations. Dès le premier épisode, le ton est donné : pour avoir de bonnes statistiques, la première chose à faire pour un chirurgien est de refuser d’opérer les cas difficiles. Comme l’écrit Jerry Muller : « le coût de cette tactique, c’est que les patients qui présentent un fort risque d’opération compliquée, voire ratée, sont condamnés à une mort certaine, faute d’opération ».

Les conséquences négatives involontaires, mais prévisibles, et comment y remédier

Tout d’abord, les personnes vont se focaliser sur les tâches relatives aux indicateurs et de fait négliger les autres. Ainsi, ce sont les indicateurs qui fixent les objectifs des personnes et des organisations et non le contraire. Ensuite, cette pratique encourage une vision à court terme des choses pour satisfaire dans le temps présent aux cibles fixées sans forcément imaginer les conséquences à long terme. De même, la constitution de ces tableaux de bord n’est pas sans coût, et le temps et l’énergie consacrés à les produire détournent les personnes d’autres tâches plus cruciales, et peuvent à terme saper leur moral. Si dans un premier temps, les indicateurs peuvent effectivement permettre de corriger certains défauts, ils perdent vite de leur utilité. En outre, consciente des tentatives de manipulation des indicateurs, l’organisation va avoir tendance à produire toujours plus de règles, ce qui devient rapidement contre-productif. Du côté des personnes soumises à des indicateurs de performance, elles peuvent avoir le sentiment d’impuissance. Ainsi, un professeur dans une école où les élèves ont beaucoup de retard scolaire ne pourra jamais atteindre les résultats attendus aux tests standards. De même, l’individualisation des objectifs va avoir tendance à limiter la coopération entre les personnes et les services, la prise de risque et l’innovation, ce qui n’est pas sans lien avec le « court-termisme » dénoncé précédemment. In fine, cela conduit à une dégradation des conditions de travail.

Le tableau dressé n’est pas très rose. Toutefois, Jerry Muller ne souhaite pas jeter le bébé avec l’eau du bain. Les indicateurs ne sont pas mauvais en soi, c’est bien l’utilisation qui en est faite qui pose problème. Son ouvrage se termine par une liste de choses à contrôler pour s’assurer de l’intérêt des indicateurs que l’on souhaite mettre en place. Tout d’abord, il faut s’assurer que les objectifs assignés aux personnes ou aux organisations au travers des indicateurs sont bien des objectifs partagés. Ensuite, chaque indicateur doit bien mesurer ce qu’il est censé faire sous peine d’être inutile, et surtout, la multiplicité des indicateurs n’est pas gage d’efficacité. Ainsi la connaissance du jugement ou de l’expérience des parents d’élève d’un professeur est souvent plus informative que son taux de réussite aux tests. La constitution de ces données a un coût, il faut donc s’assurer que le retour sur investissement est positif et toujours se poser la question du pourquoi cet indicateur. Finalement, le message le plus important est le suivant : « Le problème n’est pas les indicateurs contre le jugement, mais plutôt comment les indicateurs peuvent éclairer le jugement, ce qui implique quel poids donné aux indicateurs dans sa décision, avoir en tête les possibles manipulations ou limites de ces indicateurs ».

Au-delà de la tyrannie, les standards sans gant s’élevaient

On ne peut décemment critiquer un ouvrage qui s’appuie sur The Wire. Toutefois, il est possible de souligner certains manques. Tout d’abord, même si les politiques de tout bord se sont laissés embarquer dans cette obsession métrique, on aurait aimé que l’auteur convoque entre autres les travaux d’Alain Desrosières sur les liens entre statistique et État. Dans ces derniers écrits, Alain Desrosières décrivait avec beaucoup de justesse les liens entre États néo-libéraux (au sens français du terme) et le benchmarking, les palmarès, les indicateurs de performance, etc. De même, si le livre aborde la question de la construction de l’indicateur, c’est seulement sous l’angle de son adéquation avec l’objectif poursuivi. Finalement, il s’attache assez peu à ouvrir la boîte noire du réalisme métrologique, qui consiste à croire que tout peut se quantifier, et que tout ce qui est quantifié est objectif comme la taille d’un arbre ou le poids d’un cochon. De même, il ne regarde pas de près la phase de constitution des conventions d’équivalence, des nomenclatures qui permettent in fine de produire ces indicateurs.

Une autre critique empruntée à notre humoriste, Tim Harford, est liée à la temporalité de son analyse. Ce qu’il dénonce aurait déjà pu être dénoncé il y a 20 ou 30 ans. Depuis, nous faisons face à un véritable déluge des données, et la question des big data comme le nouvel eldorado pour produire de l’information statistique ou éclairer des décisions n’est même pas citée dans son ouvrage. Dans le même état d’esprit, la question de la quantification de soi et en particulier de la prégnance des objets connectés et des traces qu’ils laissent est absente. Pourtant, au regard de ce qu’en dit Laurent Thévenot (2016), les liens avec le sujet abordé par Jerry Muller sont évidents :

Dans sa thèse en cours sur « L’inquiétude de santé à l’heure du numérique et des objets connectés », François Romijn a enquêté sur l’usage personnel de tests génétiques aux États-Unis. Comme dans le cas du soi quantifié, la mesure de soi pour son autogouvernement est assortie d’une mise en public sur le web qui, loin de se réduire au partage d’informations, est un lieu spectaculaire d’expression et d’exposition de soi avec ses chiffres qui le mesurent. Les usagers de ces tests génétiques mettent sur le web la vidéo du moment crucial où ils découvrent ces résultats. Une fois de plus, la mesure de la personne est à rapprocher des mises en commun et en différend requises pour une construction du public.

Pour finir, je donnerai une dernière fois la parole à Alain Desrosières (2008, p. 29) sur les difficultés et effets pervers de la LOLF, dispositif qui fait grandement écho à l’obsession métrique dénoncé par Jerry Muller :

En principe, la Loi Organique relative aux Lois de Finances (LOLF) doit permettre au Parlement de connaître et évaluer les actions des services publics, en vue d’un rééquilibrage des pouvoirs législatif et exécutif. Cependant, le fait que ceci impliquait l’invention et la mise en place d’un grand nombre d’indicateurs quantifiés n’a pas beaucoup attiré l’attention des commentateurs. Ceci semblait une question technique, à résoudre par des techniciens. Pourtant, les discussions de plus en plus précises montrent que ce moment de la quantification (au sens d’action de quantifier) est décisif pour la suite des événements, sans pourtant que les questions évoquées ci-dessus aient été étudiées avec quelque généralité. Les difficultés et les effets pervers apparaissent au coup par coup, en faisant l’objet de dénonciations ou de boutades. Ainsi la police et la gendarmerie, responsables de la sécurité routière, ont toutes deux choisi un indicateur de performance portant sur la part de tests d’alcoolémie positifs parmi les tests effectués. Mais la première a souhaité évaluer son action par une augmentation de cette part (« Plus on en attrape, plus on dissuade »), tandis que la seconde visait en revanche à la diminuer (« Moins on en attrape, mieux on a dissuadé »). Ces deux choix ont chacun leur logique ! »