soffri di affaticamento da chatbot? sei frustrato perché la singolarità è stata annullata? cerchi qualcosa di nuovo che ti dia speranza? ecco il mio piano delirante, ma "hey, ha un senso" per costruire super-intelligenza nel mio piccolo laboratorio di ricerca indie. (Nota: scambierò accuratezza per pedagogia) prima, un background: Ho 33 anni e ho trascorso gli ultimi 22 anni a programmare. nel corso del tempo, ho posto molte domande sulla natura del calcolo e accumulato alcune intuizioni piuttosto... peculiari. alcuni anni fa, ho costruito HVM, un sistema capace di eseguire programmi in un linguaggio esoterico chiamato "Haskell" sulla GPU - sì, lo stesso chip che ha reso possibile il deep learning e ha acceso questo intero ciclo di IA. ma come si collega Haskell all'IA? beh, è una lunga storia. come potrebbero ricordare gli anziani, all'epoca, ciò che chiamavamo "IA" era... diverso. quasi 3 decenni fa, per la prima volta, un computer sconfisse il campione del mondo a scacchi, accendendo molti dibattiti su AGI e singolarità - proprio come oggi! il sistema, chiamato Deep Blue, era molto diverso dai modelli che abbiamo oggi. non usava trasformatori. non usava affatto reti neurali. in effetti, non c'era alcun "modello". era una pura "IA simbolica", il che significa che era solo un vecchio algoritmo, che scansionava miliardi di possibili mosse, più velocemente e più a fondo di quanto potesse fare qualsiasi essere umano, battendoci con pura forza bruta. questo ha scatenato un'ondata di promettente ricerca sull'IA simbolica. algoritmi evolutivi, grafi della conoscenza, dimostrazione automatica dei teoremi, risolutori SAT/SMT, risolutori di vincoli, sistemi esperti e molto altro. sfortunatamente, col passare del tempo, l'approccio ha colpito un muro. le regole costruite a mano non scalavano, i sistemi simbolici non erano in grado di *imparare* dinamicamente, e la bolla è scoppiata. è iniziato un nuovo inverno dell'IA. solo anni dopo, un curioso allineamento di fattori ha cambiato tutto. i ricercatori hanno spolverato un'idea vecchia - le reti neurali - ma questa volta avevano qualcosa di nuovo: le GPU. questi chip grafici, originariamente costruiti per il rendering di videogiochi, si sono rivelati perfetti per le enormi moltiplicazioni di matrici richieste dalle reti neurali. all'improvviso, ciò che richiedeva settimane poteva essere fatto in ore. il deep learning è esploso, e eccoci qui oggi, con i trasformatori che dominano il mondo. ma ecco la cosa: abbiamo solo portato *un* ramo dell'IA sulle GPU - quello connessionista, numerico. il lato simbolico? è ancora bloccato nell'età della pietra della CPU. Haskell è un linguaggio speciale, perché unifica il linguaggio delle dimostrazioni (cioè, l'idioma che i matematici usano per esprimere teoremi) con il linguaggio di programmazione (cioè, ciò che gli sviluppatori usano per costruire app). questo lo rende particolarmente adatto al ragionamento simbolico - il tipo esatto di calcolo che Deep Blue utilizzava, ma ora possiamo eseguirlo in modo massicciamente parallelo su hardware moderno. (per essere più precisi, solo il parallelismo massiccio delle GPU non è l'unica cosa che HVM porta in tavola. si scopre che porta anche a velocità *asintotiche* in alcuni casi. e questo è un motivo chiave per credere nel nostro approccio: i metodi simbolici passati non erano solo affamati di calcolo. erano esponenzialmente lenti, in un senso algoritmico. non c'è da meravigliarsi che non funzionassero. non avevano alcuna possibilità di farlo.) la mia tesi è semplice: ora che posso eseguire Haskell sulle GPU, e dato questo aumento asintotico di velocità, sono in una posizione per resuscitare questi vecchi metodi di IA simbolica, scalarli di ordini di grandezza e vedere cosa succede. forse, solo forse, uno di essi ci sorprenderà. il nostro primo traguardo è già in movimento: abbiamo costruito il programma/sintetizzatore di prove più veloce al mondo, che chiamo SupGen. o NeoGen. o QuickGen? lo rilasceremo come aggiornamento al nostro linguaggio "Bend", rendendolo disponibile pubblicamente verso la fine di ottobre. poi, più avanti quest'anno, lo utilizzeremo come base per un nuovo programma di ricerca, cercando un'architettura puramente simbolica che possa effettivamente apprendere dai dati e costruire generalizzazioni - non attraverso la discesa del gradiente e il backpropagation, ma attraverso il ragionamento logico e la sintesi di programmi. i nostri primi esperimenti saranno molto semplici (non dissimili da GPT-2), e il traguardo principale sarebbe avere uno "strumento di completamento del token successivo" che sia 100% libero da reti neurali. se questo funziona, potrebbe essere un salto rivoluzionario oltre i trasformatori e il deep learning, perché è un approccio completamente nuovo che probabilmente eliminerebbe molte limitazioni ereditate da GPT che le IA hanno oggi. non solo problemi di tokenizer (come le R in fragola), ma problemi fondamentali che impediscono ai GPT di apprendere in modo efficiente e generalizzare. delirante? probabilmente vale la pena provare? assolutamente (ora indovina quanto è stato generato dall'IA e quale modello ho usato)