Dario Amodei na WEF uvedl, že se chystá vydat pokračování Machines of Loving Grace. Bude vydán, a Axios dostal ranou šanci od Anthropic. Jmenuje se 'Dospívání technologií: Čelit a překonat rizika mocného Ala.'

Několik citací: 'Věřím, že vstupujeme do rituálu přechodu, bouřlivého i nevyhnutelného, který prověří, kým jsme jako druh. Lidstvu bude svěřena téměř nepředstavitelná moc a je velmi nejasné, zda naše sociální, politické a technologické systémy mají dostatečnou zralost, aby ji mohly použít."

"Jsme nyní v bodě, kdy AI modely začínají dělat pokroky v řešení nevyřešených matematických problémů a jsou natolik dobré v programování, že někteří z nejsilnějších inženýrů, které jsem kdy potkal, nyní téměř veškerý svůj kód předávají AI. Před třemi lety měla AI problémy s aritmetickými problémy na základní škole a sotva byla schopná napsat jediný řádek kódu. Podobné tempo zlepšení probíhá v biologických vědách, financích, fyzice a různých agentických úkolech. Pokud exponenciála bude pokračovat – což není jisté, ale nyní má desetiletou historii – pak nemůže trvat déle než pár let, než bude AI lepší než lidé v podstatě ve všem. Ve skutečnosti tento obraz pravděpodobně podceňuje pravděpodobné tempo pokroku. Protože AI nyní píše většinu kódu v Anthropic, už výrazně urychluje tempo našeho pokroku při budování nové generace AI systémů. Tato zpětná vazba nabírá na síle měsíc co měsíc a může být jen 1–2 roky vzdálena od okamžiku, kdy současná generace AI autonomně postaví další. Tento cyklus už začal a v nadcházejících měsících a letech se bude rychle zrychlovat. Když sleduji posledních 5 let pokroku zevnitř Anthropic a jak se i v následujících měsících modelů formují, cítím tempo pokroku a odpočítávání času."

'Je trochu nepříjemné to říkat jako generální ředitel AI firmy, ale myslím, že další úroveň rizika jsou vlastně samotné AI firmy. AI společnosti ovládají velká datová centra, trénují frontier modely, mají největší odbornost v tom, jak tyto modely používat, a v některých případech mají denní kontakt a možnost ovlivnit desítky či stovky milionů uživatelů. Hlavní věc, která jim chybí, je legitimita a infrastruktura státu, takže většina toho, co by bylo potřeba k vytvoření nástrojů AI autokracie, by byla pro AI společnost nelegální, nebo alespoň velmi podezřelá. Ale některé věci nejsou nemožné: například by mohli využít své AI produkty k vymývání mozků své obrovské uživatelské základně a veřejnost by měla být ostražitá vůči riziku, které to představuje. Myslím, že řízení AI firem si zaslouží velkou kontrolu.'

Jak naznačuje fráze "země géniů v datovém centru", AI bude schopna velmi široké škály lidských kognitivních schopností – možná všech. To je velmi odlišné od předchozích technologií, jako je mechanizované zemědělství, doprava nebo dokonce počítače. To ztíží lidem snadný přechod z pracovních pozic, které jsou nahrazené, na podobné pozice, pro které by se hodili. Například obecné intelektuální schopnosti potřebné pro vstupní pozice například ve financích, poradenství a právu jsou poměrně podobné, i když konkrétní znalosti se dost liší. Technologie, která by narušila pouze jednu z těchto tří, by umožnila zaměstnancům přejít na další dva blízké náhradníky (nebo studentům bakalářského studia změnit obor). Ale narušit všechny tři najednou (spolu s mnoha dalšími podobnými pracemi) může být pro lidi těžší si na to zvyknout. Navíc nejde jen o to, že většina stávajících pracovních míst bude narušena. To už se stalo dříve – pamatujte, že zemědělství tvořilo obrovské procento zaměstnanosti. Ale farmáři mohli přejít na relativně podobnou práci obsluhy továrních strojů, i když tato práce dříve nebyla běžná. Naopak AI stále více odpovídá obecnému kognitivnímu profilu lidí, což znamená, že bude dobrá i v nových pracovních pozicích, které by normálně vznikly v reakci na automatizaci starých. Jinými slovy, AI není náhradou za konkrétní lidská pracovní místa, ale spíše obecnou náhradou práce za lidi."

Například v programování naše modely postupovaly od úrovně "průměrného programátora" přes "silného programátora" až po "velmi silného programátora." Nyní začínáme vidět stejný pokrok i v kancelářské práci obecně. Hrozí nám tedy situace, kdy AI místo toho, aby ovlivňovala lidi s konkrétními dovednostmi nebo v určitých profesích (kteří se mohou přizpůsobit přeškolením), ovlivňuje lidi s určitými vrozenými kognitivními vlastnostmi, konkrétně nižší intelektuální schopností (které je těžší změnit). Není jasné, kam tito lidé půjdou nebo co budou dělat, a mám obavy, že by mohli vytvořit nezaměstnanou nebo velmi nízko placenou "podtřídu".

Anthropic plánuje udržet zaměstnance i poté, co "už neposkytují ekonomickou hodnotu v tradičním smyslu." Za třetí, firmy by měly přemýšlet o tom, jak se starat o své zaměstnance. V krátkodobém horizontu může být kreativní přístup k přeřazení zaměstnanců ve firmách slibným řešením, jak předejít potřebě propouštění. Z dlouhodobého hlediska, ve světě s obrovským celkovým bohatstvím, kde mnoho firem výrazně zvyšuje hodnotu díky zvýšené produktivitě a koncentraci kapitálu, může být možné platit lidské zaměstnance i dlouho poté, co už neposkytují ekonomickou hodnotu v tradičním smyslu. Anthropic v současnosti zvažuje řadu možných cest pro naše vlastní zaměstnance, které v blízké budoucnosti sdílíme.'

"Všichni spoluzakladatelé Anthropic slíbili darovat 80 % našeho bohatství."

Několik těžkých pravd, s tím naprosto souhlasím a podobné věci jsem říkal mnohokrát. "Navíc by poslední roky měly jasně ukázat, že myšlenka zastavit nebo dokonce výrazně zpomalit technologii je zásadně neudržitelná. Recept na budování výkonných AI systémů je neuvěřitelně jednoduchý, natolik, že lze téměř říci, že vzniká spontánně z správné kombinace dat a surových výpočtů. Jeho vznik byl pravděpodobně nevyhnutelný ve chvíli, kdy lidstvo vynalezlo tranzistor, nebo možná ještě dříve, když jsme se poprvé naučili ovládat oheň. Pokud jedna firma nepostaví systém, ostatní to udělají téměř stejně rychle. Kdyby všechny firmy v demokratických zemích zastavily nebo zpomalily rozvoj vzájemnou dohodou nebo regulačním nařízením, autoritářské země by prostě pokračovaly dál. Vzhledem k neuvěřitelné ekonomické a vojenské hodnotě této technologie a absenci jakéhokoli smysluplného mechanismu vymáhání nevidím, jak bychom je mohli přesvědčit, aby přestali."

Skvělé věci, rozhodně stojí za to to přečíst celé. 'Roky, které nás čekají, budou neuvěřitelně těžké, budou od nás chtít víc, než si myslíme, že můžeme dát. Ale během svého působení jako výzkumník, vůdce a občan jsem viděl dost odvahy a ušlechtilosti, abych věřil, že můžeme zvítězit – že když se ocitne v těch nejtemnějších podmínkách, lidstvo má způsob, jak na poslední chvíli získat sílu a moudrost potřebnou k vítězství. Nemáme čas nazbyt.'