Populární témata
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Taelin
Druh / ohyb / HVM / INets / λCalculus
Trápí vás únava z chatbota?
Jste frustrovaní, že singularita byla zrušena?
Hledáte něco nového, co by vám dalo naději?
Zde je můj klamný, ale "hej, to dává smysl" plán vybudovat superinteligenci v mé malé nezávislé výzkumné laboratoři
(poznámka: vyměním přesnost za pedagogiku)
Nejprve pozadí:
Je mi 33 let a strávil posledních 22 let programováním. v průběhu času jsem položil mnoho otázek o povaze výpočetní techniky a nashromáždil jsem některé docela... zvláštní... vhledy. před několika lety jsem na GPU postavil HVM, systém schopný spouštět programy v esoterickém jazyce zvaném "Haskell" – ano, stejný čip, který umožnil hluboké učení a zažehl celý tento cyklus umělé inteligence.
ale jak souvisí Haskell s umělou inteligencí?
no, to je dlouhý příběh. jak si stařešinové možná pamatují, tenkrát jsme říkali "AI" bylo... jiný. Téměř před 3 desetiletími, poprvé v historii, počítač porazil mistra světa v šachu, což vyvolalo rozruch mnoha debat o AGI a singularitě - stejně jako dnes!
systém, pojmenovaný Deep Blue, se velmi lišil od modelů, které známe dnes. Nepoužívala transformátory. Neuronové sítě vůbec nepoužíval. Ve skutečnosti žádný "model" neexistoval. byla to čistá "symbolická umělá inteligence", což znamená, že to byl jen obyčejný starý algoritmus, který skenoval miliardy možných tahů, rychleji a hlouběji, než by to dokázal jakýkoli člověk, a porazil nás čistou hrubou silou.
to vyvolalo vlnu slibného výzkumu symbolické umělé inteligence. evoluční algoritmy, znalostní grafy, automatické dokazování teorémů, SAT/SMT řešiče, řešiče omezení, expertní systémy a mnoho dalšího. Bohužel, postupem času tento přístup narazil na zeď. Ručně vytvořená pravidla se neškálovala, symbolické systémy se nedokázaly *učit* dynamicky a bublina praskla. začala nová zima v oblasti umělé inteligence.
Teprve o několik let později se všechno změnilo díky podivnému souběhu faktorů. Výzkumníci oprášili starou myšlenku - neuronové sítě - ale tentokrát přišli s něčím novým: GPU. Tyto grafické čipy, původně vytvořené pro vykreslování videoher, se ukázaly být perfektní pro masivní násobení matic, které neuronové sítě vyžadovaly. To, co trvalo týdny, se najednou dalo udělat během několika hodin. Hluboké učení explodovalo a dnes jsme tady, s transformátory, které požírají svět.
ale jde o toto: portovali jsme pouze *jednu* větev umělé inteligence na GPU - konekcionistickou, numerickou. Symbolická stránka? stále je zaseknutý v době kamenné CPU.
Haskell je speciální jazyk, protože sjednocuje jazyk důkazů (tj. idiom, který matematici používají k vyjádření vět) s jazykem programování (tj. to, co vývojáři používají k vytváření aplikací). Díky tomu je jedinečně vhodný pro symbolické uvažování - přesně ten druh výpočtu, který používal Deep Blue, ale nyní jej můžeme spustit masivně paralelně na moderním hardwaru.
(Abychom byli přesnější, masivní paralelismus GPU není to jediné, co HVM přináší. ukazuje se, že v některých případech vede také k *asymptotickému* zrychlení. A to je klíčový důvod, proč věřit v náš přístup: Minulé symbolické metody nebyly jen výpočetně vyhladovělé. Byly exponenciálně pomalé, v algoritmickém smyslu. Není divu, že nefungovaly. neměly šanci.)
moje teze je jednoduchá: teď, když mohu provozovat Haskell na GPU a vzhledem k tomuto asymptotickému zrychlení, jsem v pozici, kdy mohu vzkřísit tyto staré symbolické metody umělé inteligence, zvětšit je o řády a sledovat, co se stane. Možná, jen možná, nás některá z nich překvapí.
náš první milník je již v pohybu: postavili jsme nejrychlejší programový/důkazový syntezátor na světě, kterému říkám SupGen. nebo NeoGen. nebo QuickGen? vydáme ji jako aktualizaci našeho jazyka "Bend", takže bude veřejně dostupná přibližně koncem října.
Později, v tomto roce, ji použijeme jako základ pro nový výzkumný program, který bude hledat čistě symbolickou architekturu, která se může skutečně učit z dat a vytvářet zobecnění - ne prostřednictvím gradientního sestupu a zpětného šíření, ale prostřednictvím logického uvažování a syntézy programu.
naše první experimenty budou velmi jednoduché (ne nepodobné GPT-2) a hlavním milníkem by bylo mít "další nástroj pro doplňování tokenů", který je 100% bez neuronových sítí.
Pokud se to podaří, mohl by to být převratný skok za hranice transformátorů a hlubokého učení, protože se jedná o zcela nový přístup, který by se s největší pravděpodobností zbavil mnoha omezení zděděných po GPT, která dnes umělé inteligence mají. nejen problémy s tokenizátorem (jako je R ve strawberry), ale zásadní problémy, které brání GPT v efektivním učení a zobecňování
šálivý? pravděpodobně
Stojí za to vyzkoušet? naprosto
(nyní hádejte, kolik toho bylo generováno umělou inteligencí a který model jsem použil)
35,19K
jakmile (pokud) první symbolická umělá inteligence funguje, bude to zcela nová křivka
ani netvrdím, že to bude dobré, ale je to nová křivka
jakákoli intuice, kterou máme pro škálování LLM, je zde zcela irelevantní. Omezení LLM jsou také irelevantní. nikdo neví, co se může stát

Amjad Masad8. 8. 13:57
Nemůžu si pomoct, ale cítím zdrcující tíhu klesajících výnosů. Potřebujeme novou S křivku.
20,09K
jakmile (pokud) první symbolická umělá inteligence funguje, bude to zcela nová křivka
ani netvrdím, že to bude dobré, ale je to nová křivka
jakákoli intuice, kterou máme pro škálování LLM, je zde zcela irelevantní. Omezení LLM jsou zde zcela irelevantní. nikdo neví, co se může stát

Amjad Masad8. 8. 13:57
Nemůžu si pomoct, ale cítím zdrcující tíhu klesajících výnosů. Potřebujeme novou S křivku.
336
Ano, žádný model na světě se tomu ani zdaleka nepřibližuje
jdu spát na 100% jistý, že mám pravdu ve svém úsudku
jako vždy, brzy to bude zdravý rozum, ale řekl jsem to jako první (:
Zatím

Taelin8. 8. 08:27
Aha, právě jsem si všiml, že řešení GPT-5 je identické s mým
To je neuvěřitelné
40,56K
ne, všichni se mýlíte, GPT-5 je skok
Na 100 % se zde zdvojnásobuji
Nechtěl jsem to psát příliš rychle a znovu toho litovat, ale prostě to vyřešilo spoustu velmi, velmi těžkých ladicích výzev, které byly dříve nevyřešené (umělou inteligencí), a pak navrhlo nádhernou pixelovou hru pro Gameboy s úrovní detailů a kvality, která je zjevně za vším ostatním, co jsem kdy viděl.
V žádném případě není tento model špatný.
Myslím, že jste všichni traumatizováni z benchmaxxerů a přehnané kompenzace proti modelu, který je ve skutečnosti dobrý. Také si myslím, že podceňujete silné stránky gpt-oss (ale ano, můj poslední příspěvek byl uspěchaný)
Pořád ale nevím, jestli je to použitelné pro seriózní programování (o3 nebylo), ale zdá se, že ano? Stejně spolehlivý kódovací model jako Opus, ale chytřejší než o3, by zcela změnil můj pracovní postup. Opus však nepotřebuje myšlení, aby byl skvělý, takže by to mohlo hrát v jeho prospěch.
Za to, co to stojí, jsem opravdu použil pouze 3 modely:
- Opus 4.1 pro kódování
- Gemini 2.5 velmi zřídka pro kódování, když Opus selže
- O3 pro vše kromě kódování
98,66K
Top
Hodnocení
Oblíbené
Co je v trendu on-chain
Populární na X
Nejvyšší finanční vklady v poslední době
Nejpozoruhodnější