Lider du av chatbot-tretthet? Frustrert over at Singularity ble kansellert? Leter du etter noe nytt som gir deg håp? Her er min vrangforestilling, men "hei, det gir litt mening"-plan for å bygge superintelligens i mitt lille indie-forskningslaboratorium (Merk: Jeg bytter nøyaktighet mot pedagogikk) Først en bakgrunn: Jeg er en 33 år gammel fyr som har brukt de siste 22 årene på å programmere. gjennom tiden har jeg stilt mange spørsmål om databehandlingens natur, og samlet noen ganske ... rar... Innsikt. for noen år siden har jeg bygget HVM, et system som er i stand til å kjøre programmer på et esoterisk språk kalt "Haskell" på GPU - ja, den samme brikken som fikk dyp læring til å fungere, og gnistret hele denne AI-syklusen. men hvordan forholder Haskell seg til AI? vel, det er en lang historie. som de eldste kanskje husker, den gang var det vi kalte "AI" ... forskjellig. for nesten 3 tiår siden, for første gang noensinne, beseiret en datamaskin verdensmesteren i sjakk, og utløste mange debatter om AGI og singularitet - akkurat som i dag! systemet, kalt Deep Blue, var veldig forskjellig fra modellene vi har i dag. den brukte ikke transformatorer. den brukte ikke nevrale nettverk i det hele tatt. faktisk fantes det ingen "modell". det var en ren "symbolsk AI", noe som betyr at det bare var en vanlig gammel algoritme, som skannet milliarder av mulige trekk, raskere og dypere enn noe menneske kunne, og slo oss med ren rå kraft. dette utløste en bølge av lovende symbolsk AI-forskning. evolusjonære algoritmer, kunnskapsgrafer, automatisert teorembevis, SAT/SMT-løsere, begrensningsløsere, ekspertsystemer og mye mer. Dessverre, over tid, traff tilnærmingen en vegg. Håndbygde regler ble ikke skalert, symbolske systemer var ikke i stand til å *lære* dynamisk, og boblen sprakk. en ny AI-vinter startet. Det var først år senere at en merkelig sammenkobling av faktorer endret alt. forskere børstet støv av en gammel idé - nevrale nettverk - men denne gangen hadde de noe nytt: GPUer. Disse grafikkbrikkene, opprinnelig bygget for å gjengi videospill, viste seg å være perfekte for de massive matrisemultiplikasjonene som nevrale nett krevde. Plutselig kunne det som tok uker gjøres på timer. Dyp læring eksploderte, og her er vi i dag, med transformatorer som spiser verden. men her er tingen: vi porterte bare *én* gren av AI til GPUer - den konnekterende, numeriske. Den symbolske siden? den sitter fortsatt fast i CPU-steinalderen. Haskell er et spesielt språk, fordi det forener bevisspråket (dvs. formspråket matematikere bruker for å uttrykke teoremer) med programmeringsspråket (dvs. hva utviklere bruker til å bygge apper). Dette gjør den unikt egnet for symbolsk resonnement - den nøyaktige typen beregning som Deep Blue brukte, men nå kan vi kjøre den massivt parallelt på moderne maskinvare. (for å være mer nøyaktig, bare massiv GPU-parallellitet er ikke det eneste HVM bringer til bordet. det viser seg at det også resulterer i *asymptotiske* hastigheter i noen tilfeller. og dette er en viktig grunn til å tro på vår tilnærming: tidligere symbolske metoder var ikke bare beregningsmessig utsultet. de var eksponentielt trege, i en algoritmisk forstand. ikke rart at de ikke fungerte. de hadde ingen sjanse til det.) tesen min er enkel: nå som jeg kan kjøre Haskell på GPUer, og gitt denne asymptotiske hastigheten, er jeg i en posisjon til å gjenopplive disse gamle symbolske AI-metodene, skalere dem opp i størrelsesordener og se hva som skjer. Kanskje, bare kanskje, vil en av dem overraske oss. vår første milepæl er allerede i bevegelse: vi har bygget verdens raskeste program/proof-synthesizer, som jeg kaller SupGen. eller NeoGen. eller QuickGen? vi vil gi den ut som en oppdatering av «Bend»-språket vårt, og gjøre den offentlig tilgjengelig rundt slutten av oktober. Så, senere i år, vil vi bruke det som grunnlag for et nytt forskningsprogram, som søker en ren symbolsk arkitektur som faktisk kan lære av data og bygge generaliseringer - ikke gjennom gradientnedstigning og tilbakeforplantning, men gjennom logisk resonnement og programsyntese. våre første eksperimenter vil være veldig enkle (ikke ulikt GPT-2), og hovedmilepælen vil være å ha et "neste token-fullføringsverktøy" som er 100 % fritt for nevrale nett. hvis dette fungerer, kan det være et banebrytende sprang utover transformatorer og dyp læring, fordi det er en helt ny tilnærming som mest sannsynlig vil bli kvitt mange GPT-arvelige begrensninger som AI-er har i dag. ikke bare tokeniseringsproblemer (som R-ene i jordbær), men grunnleggende problemer som hindrer GPT-er i å lære effektivt og generalisere Delusional? sannsynligvis verdt å prøve? absolutt (gjett nå hvor mye som ble AI-generert, og hvilken modell jeg brukte)