Dario Amodei sade på WEF att han var på väg att publicera uppföljaren till Machines of Loving Grace. Den släpps idag, och Axios fick en tidig chans av Anthropic. Den har titeln 'Teknikens ungdom: Att konfrontera och övervinna riskerna med mäktig Al.'

Några citat: ' Jag tror att vi går in i en övergångsrit, både turbulent och oundviklig, som kommer att pröva vilka vi är som art. Mänskligheten är på väg att få nästan ofattbar makt, och det är djupt oklart om våra sociala, politiska och teknologiska system har mognaden att använda den.'

'Vi är nu vid den punkt där AI-modeller börjar göra framsteg i att lösa olösta matematiska problem, och är tillräckligt bra på kodning för att några av de starkaste ingenjörer jag någonsin träffat nu överlämnar nästan all sin kodning till AI. För tre år sedan hade AI problem med aritmetiska problem i lågstadiet och kunde knappt skriva en enda rad kod. Liknande förbättringstakter sker inom biologisk vetenskap, finans, fysik och en rad olika agentiska uppgifter. Om den exponentiella ökningen fortsätter – vilket inte är säkert, men nu har ett decennium långt stöd – kan det omöjligt dröja mer än några år innan AI är bättre än människor på i princip allt. Faktum är att den bilden troligen underskattar den sannolika utvecklingstakten. Eftersom AI nu skriver mycket av koden på Anthropic, påskyndar det redan avsevärt takten i vår utveckling av nästa generations AI-system. Denna återkopplingsslinga ökar i fart månad för månad och kan vara bara 1–2 år från en punkt där den nuvarande generationen AI självständigt bygger nästa. Denna loop har redan börjat och kommer att accelerera snabbt under de kommande månaderna och åren. När jag följer de senaste fem årens framsteg inifrån Anthropic, och ser hur även de kommande månaderna av modeller utvecklas, kan jag känna framstegens takt och klockan ticka ner.'

'Det är lite besvärligt att säga detta som VD för ett AI-företag, men jag tror att nästa risknivå faktiskt är AI-företagen själva. AI-företag kontrollerar stora datacenter, tränar gränsmodeller, har störst expertis i hur man använder dessa modeller, och i vissa fall har de daglig kontakt med och möjligheten till inflytande över tiotals eller hundratals miljoner användare. Det viktigaste de saknar är legitimiteten och infrastrukturen hos en stat, så mycket av det som skulle krävas för att bygga verktygen för en AI-autokrati skulle vara olagligt för ett AI-företag att göra, eller åtminstone mycket misstänkt. Men en del av det är inte omöjligt: de skulle till exempel kunna använda sina AI-produkter för att hjärntvätta sin enorma konsumentbas, och allmänheten bör vara medveten om risken detta innebär. Jag tycker att styrningen av AI-företag förtjänar mycket granskning.'

'Som antyds av uttrycket "land av genier i ett datacenter" kommer AI att kunna bedriva ett mycket brett spektrum av mänskliga kognitiva förmågor—kanske alla. Detta skiljer sig mycket från tidigare teknologier som mekaniserat jordbruk, transport eller till och med datorer. Detta gör det svårare för folk att enkelt byta från jobb som har flyttats till liknande jobb som de skulle passa för. Till exempel är de allmänna intellektuella förmågorna som krävs för nybörjarjobb inom till exempel finans, konsult och juridik ganska lika, även om den specifika kunskapen skiljer sig ganska åt. En teknik som bara störde en av dessa tre skulle tillåta anställda att byta till de två andra närstående ersättarna (eller för grundutbildningsstudenter att byta huvudämne). Men att störa alla tre samtidigt (tillsammans med många andra liknande jobb) kan vara svårare för folk att anpassa sig till. Dessutom är det inte bara så att de flesta befintliga jobb kommer att störas. Den delen har hänt förut – kom ihåg att jordbruk utgjorde en enorm andel av sysselsättningen. Men bönder kunde byta till det relativt liknande arbetet att driva fabriksmaskiner, även om det arbetet inte varit vanligt tidigare. Till skillnad från detta matchar AI i allt högre grad människans allmänna kognitiva profil, vilket innebär att den också kommer att vara bra på de nya jobb som normalt skulle skapas som svar på att de gamla automatiseras. Ett annat sätt att säga det är att AI inte är en ersättning för specifika mänskliga jobb utan snarare en allmän arbetsersättning för människor.'

'Till exempel har våra modeller inom kodning gått från nivån "en medioker kodare" till "en stark kodare" till "en mycket stark kodare." Vi börjar nu se samma utveckling inom kontorsarbete i allmänhet. Vi riskerar alltså en situation där AI, istället för att påverka personer med specifika färdigheter eller i specifika yrken (som kan anpassa sig genom omskolning), påverkar människor med vissa inneboende kognitiva egenskaper, nämligen lägre intellektuell förmåga (vilket är svårare att förändra). Det är oklart vart dessa personer kommer att ta vägen eller vad de kommer att göra, och jag är orolig för att de kan bilda en arbetslös eller mycket lågavlönad "underklass."

Antropiska planer för att behålla anställda även efter att de 'inte längre ger ekonomiskt värde i traditionell mening.' 'För det tredje bör företag tänka på hur de ska ta hand om sina anställda. På kort sikt kan det vara lovande att vara kreativ med sätt att omplacera anställda inom företag för att undvika uppsägningar. På lång sikt, i en värld med enorm total förmögenhet, där många företag ökar kraftigt i värde tack vare ökad produktivitet och kapitalkoncentration, kan det vara möjligt att betala mänskliga anställda även långt efter att de inte längre tillför ekonomiskt värde i traditionell mening. Anthropic överväger för närvarande en rad möjliga vägar för våra egna anställda som vi kommer att dela med oss av inom en snar framtid.'

'Alla Anthropics medgrundare har lovat att donera 80 % av vår förmögenhet.'

Några tunga sanningar, jag håller helt med om detta och har sagt liknande saker många gånger. 'Dessutom borde de senaste åren göra det klart att idén att stoppa eller ens avsevärt bromsa teknologin är fundamentalt ohållbar. Formeln för att bygga kraftfulla AI-system är otroligt enkel, så pass att man nästan kan säga att den uppstår spontant ur rätt kombination av data och rå beräkning. Dess skapelse var förmodligen oundviklig i samma ögonblick som mänskligheten uppfann transistorn, eller möjligen ännu tidigare när vi först lärde oss kontrollera eld. Om ett företag inte bygger det, kommer andra att göra det nästan lika snabbt. Om alla företag i demokratiska länder stoppade eller bromsade utvecklingen, genom ömsesidig överenskommelse eller regleringsdekret, skulle auktoritära länder helt enkelt fortsätta. Med tanke på teknikens otroliga ekonomiska och militära värde, tillsammans med bristen på någon meningsfull verkställighetsmekanism, ser jag inte hur vi skulle kunna övertyga dem att sluta.'

Fantastiskt, det är definitivt värt att läsa hela. 'Åren framför oss kommer att bli omöjligt svåra, kräva mer av oss än vi tror att vi kan ge. Men under min tid som forskare, ledare och medborgare har jag sett tillräckligt med mod och ädelhet för att tro att vi kan vinna—att när mänskligheten ställs i de mörkaste omständigheterna har den en förmåga att, till synes i sista stund, samla den styrka och visdom som behövs för att segra. Vi har ingen tid att förlora.'