## Ihmistason tehokkuus on välttämätöntä AGI:lle päätin hienon 🇸🇬 matkan, jossa sain viettää aikaa @agihippo kanssa + sain nähdä @jeffdean @quocleix @denny_zhou et al antavan "State of GDM" 2025 -päivityksiä* Ylivoimaisesti #1 toistuva teema keskusteluissamme on oppimisen tehokkuus. Päättelyajan laskenta on muotia nyt, mutta #efficiencyiscoming seuraavaksi, ja olen yleensä 3-6 kuukautta enemmistöä edellä, kun saan tällaisia tunteita. Ihmiset ovat usein yllättyneitä ja sitten yleensä samaa mieltä, kun vedän läpimenevän viivan itseohjatun oppimisen ja RLAIF:n ja RLVR:n läpimurrosta, että ne ovat kaikki vain askelmuutoksia datapistettä kohden saavutetussa suorituskyvyssä, ja tämän tehokkuuden seuraava eksponenttihyppy oli ilmeisesti se, minkä Quoc vahvisti Ilyan työskentelevän myös alla mainitussa puheessaan + Ilyan "vuori", jonka hän tunnisti NeurIPS:ssä. Löisin vetoa siitä, että ratkaisu tähän on uusi ei-muuntajalohko/abstraktio, joka ei ole "vain multiagentti" ja muistuttaa enemmän reaaliaikaista testausta ja mahdollisten maailmanmallihypoteesien ratkaisemista, vähän kuin sudoku-palapelin ratkaiseminen tai Cluedon pelaaminen. tämä on ainoa systemaattinen tapa, jolla osaan tiivistää ihmisen oppimisprosessia, jossa voimme oppia muutaman laukauksen käsitteitä 10-20x datapisteillä käsitettä kohden vähemmän kuin nykyinen SOTA. Jos olisin tutkija, aloittaisin tästä nyt... Ja olisi erittäin ironista/siistiä, jos tämä olisi @ylecun lopullinen voitto. *+ järjesti tapaamisia paikallisen valtion varallisuuden + startupien kanssa!
4,16K