Une façon de penser à l'intrusion indésirable de l'IA dans nos vies peut être résumée par la loi de Godhardt : "Quand une mesure devient un objectif, elle cesse d'être une bonne mesure" : 1/

Si vous souhaitez une version au format essai de ce fil de discussion à lire ou à partager, voici un lien vers celui-ci sur mon blog, sans surveillance, sans publicité et sans traqueur : 2/

La loi de Goodhart est une maîtresse sévère. C'est *incroyablement* excitant de découvrir une nouvelle façon de mesurer des aspects d'un système complexe d'une manière qui vous permet de le comprendre (et donc de le contrôler). 3/

En 1998, Sergey Brin et Larry Page ont réalisé que tous les liens créés par quiconque ayant jamais créé une page web représentaient une sorte de carte latente de la valeur et de l'autorité de chaque site web. 4/

Nous pourrions en déduire que les pages qui avaient plus de liens pointant vers elles étaient considérées comme plus notables que les pages qui avaient moins de liens entrants. 5/

De plus, nous pourrions considérer ces pages fortement liées comme *autoritaires* et en déduire que lorsqu'elles ont lié à *une autre* page, celle-ci était également susceptible d'être importante. 6/

Cette idée, appelée "PageRank", était à l'origine de l'entrée spectaculaire de Google sur le marché de la recherche, qui a été sans aucun doute l'un des développements technologiques les plus passionnants de la décennie. 7/

Le web entier vient de *s'imbriquer* en tant que système utile pour récupérer des informations qui avaient été créées par une vaste armée non coordonnée de rédacteurs web, hébergée dans un système distribué sans aucun contrôle central. 8/

Puis vint la revanche de la loi de Goodhart. Avant que Google ne devienne le mécanisme dominant pour localiser les pages web, la seule raison pour laquelle quelqu'un aurait pu créer un lien vers une page ou un site donné était qu'il y avait quelque chose là-bas qu'il pensait que vous devriez voir. 9/

Google a agrégé tous ces signaux "Je pense que vous devriez voir cela" et les a transformés en une carte de la pertinence et de l'autorité du web. 10/

Mais créer un lien vers une page web est facile. Une fois, il y avait *une autre* raison de créer un lien entre deux pages web - pour attirer du trafic, qui pouvait être converti en argent et/ou en influence - puis des acteurs malveillants ont créé *beaucoup* de liens fallacieux entre des sites web. 11/

Ils ont créé des linkfarms, ils ont spammé les commentaires de blogs, ils ont piraté des sites web dans le seul but d'ajouter une multitude de liens invisibles pour l'humain, lisibles par les scrapers de Google, sur des pages. 12/

La métrique ("combien de liens pointent vers cette page ?") est devenue un objectif ("créer des liens vers cette page") et a cessé d'être une métrique utile. La loi de Goodhart est toujours un fléau pour la qualité de recherche de Google. 13/

L'"abus de réputation" est un cybercrime commis par des sites respectables comme Forbes, Fortune et Better Homes and Gardens, qui abusent de l'autorité conférée par des tonnes de liens entrants accumulés au fil des décennies en créant des sites d'avis de produits spammy et faux remplis de liens d'affiliation. 14/

Google classe ces sites plus haut que de véritables sites d'évaluation rigoureux en raison de tout ce jus de Google accumulé : La loi de Goodhart a 50 ans, mais les décideurs politiques en sont lamentablement ignorants et continuent d'agir comme si elle ne s'appliquait pas à eux. 15/

Cela est particulièrement prononcé lorsque les décideurs politiques sont déterminés à faire quelque chose au sujet d'un service public qui a été privé de financement, ballotté comme un enjeu politique au point de se dégrader et de commencer à provoquer l'indignation du public. 16/

Lorsque cela se produit, les décideurs ont tendance à blâmer les fonctionnaires - plutôt qu'eux-mêmes - pour cette dégradation, puis à s'efforcer d'apporter de la responsabilité à ces employés publics. 17/

Le NHS a fait cela avec les temps de réponse des ambulances, qui sont très mauvais, et ce fait est, à son tour, *très* mauvais. La raison pour laquelle les temps de réponse des ambulances sont médiocres n'est pas difficile à déceler : il n'y a pas assez d'argent dépensé pour les ambulances, les conducteurs et les médecins. 18/

Mais ce n'est pas une conclusion politiquement populaire, surtout au Royaume-Uni, qui est soumis à une austérité brutale et de plus en plus sévère depuis les années Blair. 19/

(Ne vous inquiétez pas, finalement ils feront suffisamment d'austérité et les choses vont vraiment s'améliorer, car, comme le dit le vieux proverbe, "Une bonne politique consiste à faire la même chose encore et encore et à s'attendre à un résultat différent.") 20/

Au lieu de blâmer un financement insuffisant pour les mauvais temps de réponse des ambulances, les politiciens ont blâmé "l'inefficacité", alimentée par une mauvaise motivation. 21/

Ils ont donc établi un critère : les ambulances doivent arriver dans un certain nombre de minutes (et ils ont fixé une conséquence : des coupes massives pour tout service d'ambulance qui ne respectait pas le critère). 22/

Maintenant, "une ambulance où elle est nécessaire dans un délai imparti" peut *sembler* être une métrique simple, et c'était - rétrospectivement. 23/

C'est-à-dire que nous pouvions dire que le service d'ambulance était en difficulté parce que les ambulances mettaient une demi-heure ou plus à arriver. Mais *prospectivement*, après que ce critère soit devenu un objectif, il a immédiatement cessé d'être un bon critère. 24/

Les services d'ambulance, confrontés à la tâche impossible d'améliorer les temps de réponse sans dépenser d'argent, ont commencé à dépêcher des *motos* d'ambulance qui ne pouvaient transporter 95 % des équipements nécessaires pour répondre à une urgence médicale, et n'avaient aucun moyen de ramener les patients à l'hôpital. 25/

Mon exemple préféré est le Roomba alimenté par l'IA qui a été programmé pour trouver un chemin efficace minimisant les collisions avec les meubles, mesuré par un capteur orienté vers l'avant qui envoyait un signal chaque fois que le Roomba heurtait quelque chose. 28/