Lider du av chatbot-trötthet? Är du frustrerad över att singulariteten avbröts? Letar du efter något nytt som ger dig hopp? Här är min vanföreställning, men "hey, it kinda makes sense" plan för att bygga superintelligens i mitt lilla indieforskningslabb (obs: Jag byter noggrannhet mot pedagogik) Först en bakgrund: Jag är en 33-årig kille som tillbringat de senaste 22 åren med att programmera. genom tiden har jag ställt många frågor om datorernas natur och samlat på mig några ganska ... egendomlig... Insikter. För några år sedan byggde jag HVM, ett system som kan köra program i ett esoteriskt språk som kallas "Haskell" på GPU:n - ja, samma chip som fick djupinlärning att fungera och som utlöste hela den här AI-cykeln. men hur relaterar Haskell till AI? Tja, det är en lång historia. som de äldre kanske minns, på den tiden, var det vi kallade "AI" ... olik. För nästan 3 decennier sedan, för första gången någonsin, besegrade en dator världsmästaren i schack, vilket gav upphov till många debatter om AGI och singularitet - precis som idag! Systemet, som fick namnet Deep Blue, skilde sig mycket från de modeller vi har idag. Den använde inte transformatorer. Den använde inte neurala nätverk alls. I själva verket fanns det ingen "modell". det var en ren "symbolisk AI", vilket betyder att det bara var en vanlig gammal algoritm, som skannade miljarder möjliga drag, snabbare och djupare än någon människa kunde, och slog oss med ren råstyrka. Detta utlöste en våg av lovande symbolisk AI-forskning. evolutionära algoritmer, kunskapsgrafer, automatiserad teorembevisning, SAT/SMT-lösare, villkorslösare, expertsystem och mycket mer. Tyvärr gick tillvägagångssättet in i väggen med tiden. Handbyggda regler skalades inte, symboliska system kunde inte *lära sig* dynamiskt och bubblan sprack. en ny AI-vinter har börjat. Det var först flera år senare som en märklig kombination av faktorer förändrade allt. Forskarna dammade av en gammal idé – neurala nätverk – men den här gången hade de något nytt: GPU:er. Dessa grafikkretsar, som ursprungligen byggdes för rendering av videospel, visade sig vara perfekta för de massiva matrismultiplikationer som neurala nät krävde. Plötsligt kunde det som tog veckor göras på några timmar. Djupinlärning exploderade, och här är vi idag, med transformatorer som äter upp världen. men så här är det: vi har bara portat *en* gren av AI till GPU:er - den konnektiva, numeriska. Den symboliska sidan? den har fortfarande fastnat i CPU-stenåldern. Haskell är ett speciellt språk, eftersom det förenar bevisspråket (dvs. idiomet som matematiker använder för att uttrycka satser) med programmeringsspråket (dvs. det som utvecklare använder för att bygga appar). Detta gör den unikt lämpad för symboliska resonemang - exakt den typ av beräkning som Deep Blue använde, men nu kan vi köra den massivt parallellt på modern hårdvara. (för att vara mer exakt, bara massiv GPU-parallellitet är inte det enda som HVM tillför. det visar sig att det också resulterar i *asymptotiska* uppsnabbningar i vissa fall. och detta är en viktig anledning att tro på vårt tillvägagångssätt: tidigare symboliska metoder var inte bara beräkningsmässigt svältfödda. de var exponentiellt långsamma, i algoritmisk mening. Inte undra på att de inte fungerade. De hade ingen chans att göra det.) min tes är enkel: nu när jag kan köra Haskell på GPU:er, och med tanke på denna asymptotiska hastighetsökning, är jag i en position där jag kan återuppliva dessa gamla symboliska AI-metoder, skala upp dem i storleksordningar och se vad som händer. Kanske, bara kanske, kommer någon av dem att överraska oss. Vår första milstolpe är redan i rörelse: vi har byggt världens snabbaste program/proof synthesizer, som jag kallar SupGen. eller NeoGen. eller QuickGen? Vi kommer att släppa det som en uppdatering av vårt "Bend"-språk, vilket gör det offentligt tillgängligt runt slutet av oktober. Sedan, senare i år, kommer vi att använda det som grund för ett nytt forskningsprogram, där vi söker en ren symbolisk arkitektur som faktiskt kan lära sig av data och bygga generaliseringar - inte genom gradient descent och backpropagation, utan genom logiskt resonemang och programsyntes. våra första experiment kommer att vara mycket enkla (inte helt olikt GPT-2), och den viktigaste milstolpen skulle vara att ha ett "verktyg för slutförande av nästa token" som är 100 % fritt från neurala nät. Om detta fungerar kan det vara ett banbrytande steg bortom transformatorer och djupinlärning, eftersom det är ett helt nytt tillvägagångssätt som med största sannolikhet skulle göra sig av med många GPT-ärvda begränsningar som AI har idag. inte bara tokenizer-problem (som R:en i strawberry), utan grundläggande problem som hindrar GPT:er från att lära sig effektivt och generalisera Vanföreställningar? troligtvis Värt att prova? absolut (gissa nu hur mycket som var AI-genererat, och vilken modell jag använde)