Traiectoria viitorului ar putea fi în curând bătută în cuie. Într-o nouă lucrare, analizez mecanismele prin care cursul viitorului pe termen lung ar putea fi determinat în timpul vieții noastre. Acestea includ crearea de instituții impuse de AGI, o concentrare globală a puterii, colonizarea pe scară largă a spațiului, primele ființe nemuritoare, proiectarea pe scară largă a noilor ființe și capacitatea de a se auto-modifica în moduri semnificative și durabile. Nu sunt foarte încrezător că astfel de evenimente vor avea loc, dar în opinia mea sunt suficient de probabil pentru a face munca de a le direcționa în direcții mai bune foarte valoroasă. Să luăm fiecare mecanism pe rând. În primul rând, instituțiile bazate pe AGI. Odată ce avem AGI, factorii de decizie ar putea: - Înființarea unei instituții și alinierea AGI astfel încât să înțeleagă acea constituție și să aibă ca scop aplicarea acelei constituții. - Împuterniciți acel AGI cu capacitatea de a aplica constituția. - Stocați copii ale greutăților neuronale ale AGI în mai multe locații pentru a reduce riscul de distrugere a oricăreia dintre copii. - Reîncărcați AGI constituțional original pentru a verifica dacă toate AGI care au sarcina de a asigura conformitatea cu constituția își mențin aderența la obiectivele lor inițiale pe măsură ce acele AGI învață și își actualizează greutatea neuronală în timp. Ar fi ca și cum, în loc ca Curtea Supremă să interpreteze Constituția SUA, am putea evoca fantomele lui Madison și Hamilton și le-am putea întreba direct - iar opiniile lor ar fi decisive. Cu acestea în vigoare, această constituție impusă de AGI ar putea funcționa la nesfârșit. În al doilea rând, nemurirea. De-a lungul istoriei, moartea a funcționat ca o frână naturală asupra persistenței oricărui set particular de valori sau structuri de putere. În timp, chiar și cele mai înrădăcinate valori se schimbă în cele din urmă pe măsură ce noile generații le înlocuiesc pe cele vechi. Tehnologia post-AGI ar putea modifica fundamental această dinamică. Ființele digitale ar fi în mod inerent imune la îmbătrânirea biologică; Când este combinat cu replicarea perfectă și migrarea hardware, vom putea crea mințile ale căror valori exacte și procese de luare a deciziilor ar putea persista neschimbate la nesfârșit. O dinamică similară ar putea fi valabilă pentru nemurirea biologică. O explozie tehnologică condusă de AGI ar putea extinde dramatic sau elimina în mod eficient constrângerile biologice asupra duratei de viață umane prin tehnologii care vizează mecanismele fundamentale ale îmbătrânirii. În al treilea rând, proiectarea ființelor. De-a lungul istoriei, schimbarea s-a întâmplat în parte pentru că generațiile succesive nu moștenesc aceleași valori ca și strămoșii lor. Dar această dinamică s-ar putea schimba după AGI. Probabil, marea majoritate a ființelor pe care le creăm vor fi AI și vor fi produse ale designului – vom putea alege ce preferințe au. Și, cu suficientă capacitate tehnologică, probabil că am putea alege și preferințele descendenților noștri biologici. Chiar dacă oamenii aleg să nu trăiască pentru totdeauna, valorile lor ar putea continua să persiste prin transmiterea perfectă de la o generație la alta. În al patrulea rând, o auto-modificare puternică. În viitor, oamenii vor putea probabil să-și modifice propriile credințe și preferințe, astfel încât să poată alege cu precizie ce credințe și preferințe să aibă. Deci, nu numai că oamenii de astăzi ar putea controla valorile viitoare ale societății trăind pentru totdeauna; de asemenea, ar putea controla valorile sinelui lor viitor. Un fanatic religios ar putea alege să aibă certitudinea de nezdruncinat că religia sa preferată este adevărată; Un extremist ideologic ar putea alege să aibă o preferință irevocabilă și neclintită în favoarea partidului său politic față de oricare altul. Pe lângă crearea de noi mecanisme care permit dependența persistentă de căe, o lume post-AGI ar putea reduce și cauzele perturbării. De-a lungul istoriei, schimbările societale au fost adesea determinate de inovații tehnologice care perturbă structurile de putere existente. Cu toate acestea, pe măsură ce civilizația se apropie de maturitatea tehnologică – punctul ipotetic în care au fost inventate toate tehnologiile majore – această sursă de perturbare ar dispărea. Tehnologia avansată ar ajuta și la prevenirea altor tipuri de perturbări. Ar îmbunătăți dramatic capacitățile de predicție: sistemele avansate de inteligență artificială ar putea procesa mult mai multe informații, modela sisteme complexe cu o precizie mai mare și ar prognoza rezultatele pe orizonturi de timp mai lungi. Deci ar fi mult mai puțin probabil ca oamenii să renunțe la influența lor doar făcând o greșeală. În cele din urmă, o lume post-AGI ar putea fi caracterizată de o dominație nedefinită a apărării, permițând o concentrare stabilă permanentă a puterii. În special, dominația nedefinită a apărării ar putea apărea ca urmare a colonizării spațiale pe scară largă. Dacă sistemele stelare sunt puternic dominante în apărare, atunci distribuția inițială a sistemelor stelare ar putea, în principiu, să fie menținută la nesfârșit. S-ar putea ca, după alocarea inițială, să existe comerț sau dăruire a unor sisteme stelare; Dar chiar dacă ar fi așa, ar exista totuși o dependență foarte puternică de traiectorie, deoarece alocarea finală a sistemelor stelare ar fi extrem de influențată de alocarea inițială. Aceste probleme ar putea părea preocupări îndepărtate - dar exploziile de informații și industriale le fac pe termen scurt. Cred că este peste 1 din 3 când vedem o explozie de informații începând în următorii 10 ani. Și dacă IA avansată are ca rezultat un progres tehnologic exploziv și o expansiune industrială, atunci multe dintre noile mecanisme de persistență vor sosi în succesiune rapidă.

Lucrare aici: