Один из способов подумать о нежелательном вмешательстве ИИ в нашу жизнь можно выразить законом Годхарта: "Когда мера становится целью, она перестает быть хорошей мерой": 1/

Если вы хотите получить версию этой темы в формате эссе для чтения или分享, вот ссылка на мой блог, свободный от слежки, рекламы и трекеров: 2/

Закон Гудхарта — это суровая госпожа. Это *невероятно* захватывающе — открывать новый способ измерения аспектов сложной системы таким образом, который позволяет вам понять (а значит, и контролировать) её.

В 1998 году Сергей Брин и Ларри Пейдж поняли, что все ссылки, созданные каждым, кто когда-либо создавал веб-страницу, представляют собой своего рода скрытую карту ценности и авторитета каждого веб-сайта. 4/

Мы можем сделать вывод, что страницы, на которые указывало больше ссылок, считались более значительными, чем страницы с меньшим количеством входящих ссылок. 5/

Более того, мы могли бы рассматривать те страницы, на которые ссылаются, как *авторитетные* и предположить, что когда они ссылаются на *другую* страницу, она также, вероятно, будет важной. 6/

Это понимание, называемое "PageRank", стало основой впечатляющего входа Google на рынок поиска, который был одним из самых захватывающих технологических достижений десятилетия. 7/

Вся сеть просто *щелкнула* на место как полезная система для получения информации, созданной огромной, неконтролируемой армией веб-писателей, размещенной в распределенной системе без каких-либо центральных контролей. 8/

Затем пришла месть Закона Гудхарта. Прежде чем Google стал доминирующим механизмом для поиска веб-страниц, единственной причиной, по которой кто-либо ссылался на определенную страницу или сайт, было то, что там было что-то, что, по их мнению, вам следовало увидеть. 9/

Google агрегировал все эти сигналы "Я думаю, вам стоит это увидеть" и превратил их в карту релевантности и авторитета веба. 10/

Но создать ссылку на веб-страницу легко. Когда-то была *другая* причина для создания ссылки между двумя веб-страницами - привлечение трафика, который можно было бы конвертировать в деньги и/или влияние - тогда недобросовестные участники создали *много* ложных ссылок между веб-сайтами. 11/

Они создали линкфармы, спамили комментарии в блогах, взламывали веб-сайты с единственной целью - добавить к страницам кучу невидимых для человека, читаемых Google-скрапером ссылок. 12/

Метрика ("сколько ссылок на эту страницу?") стала целью ("создайте ссылки на эту страницу") и перестала быть полезной метрикой. Закон Гудхарта по-прежнему является бедствием для качества поиска Google. 13/

"Злоупотребление репутацией" — это киберпреступление, совершаемое уважаемыми сайтами, такими как Forbes, Fortune и Better Homes and Gardens, которые злоупотребляют авторитетом, полученным благодаря множеству входящих ссылок, накопленных за десятилетия, создавая спамные, фальшивые сайты с обзорами продуктов, наполненные партнерскими ссылками. 14/

Google оценивает эти сайты выше, чем настоящие, строгие сайты отзывов, из-за всего этого накопленного googlejuice: Закон Гудхарта существует уже 50 лет, но законодатели ужасно не осведомлены о нем и продолжают действовать так, будто он не касается их. 15/

Это особенно заметно, когда законодатели решительно настроены что-то сделать с государственной службой, которая была лишена финансирования и использовалась как политический мяч до такой степени, что она деградировала и начала вызывать возмущение у общественности. 16/

Когда это происходит, политики склонны обвинять государственных служащих - а не себя - в этом ухудшении, а затем начинают требовать ответственности от этих государственных сотрудников. 17/

NHS сделал это с временем реагирования скорой помощи, которое очень плохое, и этот факт, в свою очередь, *очень* плохой. Причина, по которой время реагирования скорой помощи ужасное, несложна для понимания: недостаточно денег тратится на скорые, водителей и медиков. 18/

Но это не популярное политическое заключение, особенно в Великобритании, которая с годами Блэра переживает жестокую и ухудшающуюся экономию.

(Не волнуйтесь, в конце концов они проведут достаточно мер жесткой экономии, и все действительно изменится, потому что, как говорит старая пословица, "Хорошая политика заключается в том, чтобы делать одно и то же снова и снова и ожидать другого результата.") 20/

Вместо того чтобы винить недостаточное финансирование за плохие времена реагирования скорой помощи, политики обвинили в "неэффективности", вызванной плохой мотивацией. 21/

Таким образом, они установили метрику: скорые должны прибывать в течение определенного количества минут (и они установили последствия: значительные сокращения для любой службы скорой помощи, которая не соответствовала метрике). 22/

Теперь "скорая помощь, где она нужна, в течение установленного времени" может *звучать* как простая метрика, и это так - в ретроспективе. 23/

Мы могли сказать, что служба скорой помощи была в бедственном положении, потому что машины скорой помощи приезжали за полчаса или больше. Но *перспективно*, после того как этот показатель стал целью, он сразу перестал быть хорошим показателем. 24/

Службы скорой помощи, столкнувшись с невозможной задачей улучшения времени реагирования без дополнительных затрат, начали отправлять *мотоциклы* скорой помощи, которые не могли перевозить 95% необходимого для реагирования на медицинскую чрезвычайную ситуацию и не имели возможности доставить пациентов обратно в больницы. 25/

Мой любимый пример этого — это робот-пылесос Roomba с искусственным интеллектом, который был запрограммирован находить эффективный путь, минимизируя столкновения с мебелью, что измерялось с помощью датчика, направленного вперед, который отправлял сигнал всякий раз, когда Roomba сталкивался с чем-либо.