## Efektivita na lidské úrovni je pro AGI nezbytná zakončení skvělého 🇸🇬 výletu, kde jsem se mohl poflakovat s @agihippo + viděl jsem, @jeffdean @quocleix @denny_zhou et al dávají aktualizace "Stav GDM" 2025* Zdaleka opakujícím se tématem #1 v našich konvojích je efektivita učení. Výpočet času odvozování je nyní v módě, ale #efficiencyiscoming příště, a obvykle jsem 3-6 měsíců před většinou, když mám takové pocity. Lidé jsou často překvapeni a pak se obecně shodnou, když nakreslím průchozí čáru z průlomu učení pod vlastním dohledem a RLAIF a RLVR, že jsou to všechno jen skokové změny ve výkonu získaném na datový bod, a další skok exponentu této efektivity byl zjevně to, na čem Quoc potvrdil, že Ilya také pracuje ve své přednášce odkazované níže + Ilyova "hora", kterou identifikoval na NeurIPS. Vsadil bych nějaké peníze, že řešením je nový blok/abstrakce bez transformátorů, která není "jen multiagenty" a je více podobná testování a řešení potenciálních hypotéz modelů světa v reálném čase, něco jako když řešíte sudoku nebo hrajete Cluedo. toto je jediný systematický způsob, jak zredukovat lidský proces učení, kde se můžeme naučit koncepty s 10-20x více datovými body na koncept méně než současná SOTA. Kdybych byl výzkumníkem, začal bych tady hned ... A bylo by velmi ironické/cool, kdyby to bylo konečné vítězství @ylecun. *+ Udělal jsem několik setkání s místním suverénním majetkem + startupy!
4,16K