## L'efficienza a livello umano è necessaria per l'AGI terminando un grande viaggio 🇸🇬 dove ho avuto l'opportunità di passare del tempo con @agihippo + ho visto @jeffdean @quocleix @denny_zhou e altri dare aggiornamenti sul "Stato di GDM" 2025* di gran lunga il tema ricorrente numero 1 nelle nostre conversazioni è l'efficienza dell'apprendimento. il tempo di calcolo per l'inferenza è molto in voga ora, ma l'#efficienzaarriva dopo, e di solito sono 3-6 mesi avanti rispetto alla maggior parte quando questo tipo di consenso nei laboratori di frontiera riesce a passare attraverso il mio spessore cranio. le persone sono spesso sorprese e poi generalmente concordano quando traccio una linea continua dal breakthrough dell'apprendimento auto-supervisionato e RLAIF e RLVR, che sono tutti cambiamenti di passo nelle prestazioni guadagnate per datapoint, e il prossimo salto esponenziale di questa efficienza era ovviamente ciò su cui Quoc ha confermato che Ilya sta anche lavorando nel suo intervento menzionato qui sotto + la "montagna" che Ilya ha identificato a NeurIPS. Scommetterei dei soldi che la soluzione a questo è un nuovo blocco/astrazione non-transformers che non è "solo multiagenti" e è più simile a test e risoluzione in tempo reale di potenziali ipotesi di modelli del mondo, un po' come si risolve un puzzle di sudoku o si gioca a Cluedo. questo è l'unico modo sistematico che conosco per ridurre il processo di apprendimento umano dove possiamo apprendere concetti con pochi esempi con 10-20x datapoint per concetto in meno rispetto all'attuale SOTA. Se fossi un ricercatore inizierei da qui ora... e sarebbe molto ironico/fantastico se questo fosse il trionfo finale di @ylecun.
8,02K