Året är 1977 och din chef visar dig den här kartan: "Hur kan vi förbereda oss för vad som komma skall?"

techbros vara som "Varför separata makter lol är det inte mer effektivt att bara ha en beslutsfattande grupp?" och några år senare publicera ett LW-inlägg som heter "Anti-Goodhart Collapse Through Adversarial Institutions: Why Distributed Governance Mechanisms Prevent Optimizer Collapse"

Jag tror att hela vår ontologi för hur vi talar om och konceptualiserar A[G]I är förvirrad. Och jag skulle inte bli förvånad om vi om tio år kommer att se tillbaka på diskursen idag och skratta åt hur primitiva vissa idéer är. Några heta och osäkra tagningar: Det sätt på vilket folk pratar om framtida AI:er/AGI:er känns som ett kategorifel. Ibland förtingligar de framtida system som självsuveräna enheter med egna mål och incitament, en annan art som vi måste lära oss att samexistera med. Jag tror inte att det är omöjligt, och jag brukade vara mycket mer sympatiskt inställd till den åsikten, men jag är mycket mindre säker nu och det är verkligen inte självklart. Agenter kan fortfarande vara verktyg, och verktygsagenter som arbetar längs tidslinjer behöver inte nödvändigtvis vara "separata arter". Andra gånger abstraherar de bort så mycket att påståenden om AGI eller ASI är otroligt svåra att verkligen analysera och falsifiera. Lite som att säga "Finans kommer att göra x/y/z". Visst är det användbart i vissa sammanhang, men det tar bort all komplexitet och rörliga delar. I slutändan känns detta sällan som rätt nivå för att börja utforma genomförbara eller användbara recept, såvida du inte vill vara fast vid "vi måste balansera riskerna och möjligheterna med [komplexa system]" eller "samhället måste förbereda sig". Åtminstone för mig kommer AGI sannolikt att vara ett distribuerat ekosystem av olika modeller, byggda av olika företag och statliga aktörer, med olika förmågor, arkitekturer och incitamentsstrukturer. Att säga "vi måste förbereda oss för AGI" är som att säga "vi måste förbereda oss för ekonomin". Visst gör vi det – men om du vill bidra till förberedelserna på ett produktivt sätt måste du vara mycket mer exakt och fokusera på många saker som inte är "AI". På samma sätt tycker jag ibland att det sätt på vilket vissa människor talar om att "lösa anpassning" (i vid bemärkelse) känns likvärdigt med att tala om att "lösa sanningen" eller "lösa konflikter". I slutändan handlar det om styrning, politik och makt; AI tvingar bara fram denna dynamik i förgrunden. Den som förväntar sig en tydlig engångslösning på förhand idag har troligen fel om vilken typ av problem vi står inför. Det kommer att bli en rörig, evig process av förhandling, reglering och anpassning, ungefär som lag, demokrati eller internationella relationer. Slutligen finns det en stor brist på fantasi över hela linjen. På något sätt föreställer vi oss att AI löser cancer och revolutionerar forskning och utveckling, men vi har fortfarande fastnat med lösningar på dagens nivå för att styra den? Om du hade frågat vem som helst i början av den industriella revolutionen "hur tror du att världen ser ut om 50 år och vad tycker du att vi borde göra?" Jag skulle slå vad om att de skulle vara borta med mycket. I slutändan tycker jag att det är bra att vi har de här samtalen, och diskursen har åtminstone tjänat ett användbart syfte genom att tvinga in samtalet i huvudfåran. Jag är bara försiktig med att cementera dåliga memes som är svåra att ångra, precis som vi har plågats av ohjälpsamma memes om kärnkraft i årtionden nu och bara börjat gradvis ångra dem.