Salah satu cara untuk berpikir tentang intrusi AI yang tidak diinginkan ke dalam hidup kita dapat disimpulkan dengan Hukum Godhardt: "Ketika suatu tindakan menjadi target, itu berhenti menjadi ukuran yang baik": 1/

Jika Anda ingin versi berformat esai dari utas ini untuk dibaca atau dibagikan, berikut adalah tautan ke blog saya yang bebas pengawasan, bebas iklan, bebas pelacak: 2/

Hukum Goodhart adalah nyonya yang keras. Sungguh *luar biasa* menarik untuk menemukan cara baru untuk mengukur aspek dari sistem yang kompleks dengan cara yang memungkinkan Anda memahami (dan dengan demikian mengendalikannya). 3/

Pada tahun 1998, Sergey Brin dan Larry Page menyadari bahwa semua tautan yang dibuat oleh semua orang yang pernah membuat halaman web mewakili semacam peta laten dari nilai dan otoritas setiap situs web. 4/

Kita dapat menyimpulkan bahwa halaman yang memiliki lebih banyak pranala yang mengarah ke mereka dianggap lebih penting daripada halaman yang memiliki lebih sedikit pranala masuk. 5/

Selain itu, kita dapat memperlakukan halaman yang sangat ditautkan sebagai *otoritatif* dan menyimpulkan bahwa ketika mereka menautkan ke halaman *lain*, itu juga mungkin penting. 6/

Wawasan ini, yang disebut "PageRank," berada di balik masuknya Google yang menakjubkan ke pasar pencarian, yang dengan mudah merupakan salah satu perkembangan teknologi paling menarik dalam dekade ini. 7/

Seluruh web hanya *snap* ke tempatnya sebagai sistem yang berguna untuk mengambil informasi yang telah dibuat oleh pasukan penulis web yang besar dan tidak terkoordinasi, dihosting dalam sistem terdistribusi tanpa kontrol pusat. 8/

Kemudian datanglah balas dendam Hukum Goodhart. Sebelum Google menjadi mekanisme dominan untuk menemukan halaman web, satu-satunya alasan bagi siapa pun untuk menautkan ke halaman atau situs tertentu adalah karena ada sesuatu di sana yang mereka pikir harus Anda lihat. 9/

Google mengumpulkan semua sinyal "Saya pikir Anda harus melihat ini" dan mengubahnya menjadi peta relevansi dan otoritas web. 10/

Tetapi membuat tautan ke halaman web itu mudah. Begitu ada *lain* alasan untuk membuat tautan antara dua halaman web - untuk mengumpulkan lalu lintas, yang dapat diubah menjadi uang dan / atau pengaruh - maka aktor jahat membuat *banyak* tautan palsu antar situs web. 11/

Mereka membuat linkfarm, mereka mengirim spam komentar blog, mereka meretas situs web hanya dengan tujuan menambahkan banyak tautan yang tidak terlihat manusia, yang dapat dibaca Google-scraper ke halaman. 12/

Metrik ("berapa banyak pranala yang ada ke halaman ini?") menjadi target ("buat pranala ke halaman ini") dan tidak lagi menjadi metrik yang berguna. Hukum Goodhart masih menjadi wabah pada kualitas pencarian Google. 13/

"Penyalahgunaan reputasi" adalah kejahatan web yang dilakukan oleh situs-situs terhormat seperti Forbes, Fortune dan Better Homes and Gardens, yang menyalahgunakan otoritas yang diberikan oleh banyak tautan masuk yang terakumulasi selama beberapa dekade dengan membuat situs ulasan produk palsu yang berisi dengan tautan afiliasi. 14/

Google memberi peringkat ini lebih tinggi daripada situs ulasan yang nyata dan ketat karena semua yang terkumpul googlejuice: Hukum Goodhart berusia 50 tahun, tetapi pembuat kebijakan sangat mengabaikannya dan terus beroperasi seolah-olah itu tidak berlaku untuk mereka. 15/

Hal ini terutama diucapkan ketika pembuat kebijakan bertekad untuk melakukan sesuatu tentang layanan publik yang telah kekurangan dana yang ditendang sebagai sepak bola politik ke titik di mana ia telah menurun dan mulai membuat marah publik. 16/

Ketika ini terjadi, pembuat kebijakan cenderung menyalahkan pegawai negeri - bukan diri mereka sendiri - atas degradasi ini, dan kemudian berangkat untuk Membawa Akuntabilitas kepada pegawai publik tersebut. 17/

NHS melakukan ini dengan waktu respons ambulans, yang sangat buruk, dan fakta itu, pada gilirannya, *sangat* buruk. Alasan waktu respons ambulans menyebalkan tidak sulit untuk dikedipkan mata: tidak ada cukup uang yang dihabiskan untuk ambulans, pengemudi, dan petugas medis. 18/

Tapi itu bukan kesimpulan yang populer secara politik, terutama di Inggris, yang telah berada di bawah penghematan yang brutal dan memburuk sejak tahun-tahun Blair. 19/

(Jangan khawatir, pada akhirnya mereka akan melakukan penghematan yang cukup dan segalanya akan benar-benar berbalik, karena, seperti kata pepatah lama, "Pembuatan kebijakan yang baik terdiri dari melakukan hal yang sama berulang kali dan mengharapkan hasil yang berbeda.") 20/

Alih-alih menyalahkan dana yang tidak memadai atas waktu respons ambulans yang buruk, politisi menyalahkan "inefisiensi", didorong oleh motivasi yang buruk. 21/

Jadi mereka menetapkan metrik: ambulans harus tiba dalam beberapa menit tertentu (dan mereka menetapkan konsekuensi: pemotongan besar-besaran pada layanan ambulans apa pun yang tidak memenuhi metrik). 22/

Sekarang, "ambulans di mana dibutuhkan dalam jangka waktu tertentu" mungkin *terdengar* seperti metrik langsung, dan itu - secara retrospektif. 23/

Seperti dalam, kami dapat mengatakan bahwa layanan ambulans dalam masalah karena ambulans membutuhkan waktu setengah jam atau lebih untuk tiba. Tapi *prospektif*, setelah metrik itu menjadi target, itu segera berhenti menjadi metrik yang baik. 24/

Layanan ambulans, dihadapkan pada tugas yang mustahil untuk meningkatkan waktu respons tanpa mengeluarkan uang, mulai mengirim ambulans *sepeda motor* yang tidak dapat membawa 95% barang yang dibutuhkan untuk menanggapi keadaan darurat medis, dan tidak memiliki cara untuk membawa pasien kembali ke rumah sakit. 25/

Contoh favorit saya adalah Roomba bertenaga AI yang diprogram untuk menemukan jalur efisien yang meminimalkan tabrakan dengan furnitur, seperti yang diukur oleh sensor menghadap ke depan yang mengirimkan sinyal setiap kali Roomba menabrak sesuatu. 28/