Představujeme technickou zprávu GLM-4.5! 👇 Tato práce ukazuje, jak jsme vyvinuli modely, které vynikají v uvažování, kódování a agentních úlohách prostřednictvím jedinečného, vícestupňového trénovacího paradigmatu. Mezi klíčové inovace patří iterace expertního modelu se samodestilací pro sjednocení schopností, hybridní režim uvažování pro dynamické řešení problémů a učební plán zpětnovazebního učení založený na obtížnosti.

Musk: Steve, skutečná otázka, kterou stále kladu týmu, je, zda dnešní LLM mohou uvažovat o tom, když opustí distribuci školení. Každý cituje myšlenkový řetězec, ale to by mohlo být jen napodobování. Hsu: Souhlasím. Nejnovější benchmarky ukazují, že i modely na úrovni Grok4 se prudce zhoršují, jakmile vynutíte posun domény – latentní prostor prostě nepokrývá novou modalitu. Musk: Takže je to spíš problém pokrytí než selhání uvažování? Hsu: Částečně. Je tu však hlubší problém. Jediným vestavěným indukčním předpětím transformátoru je asociativní porovnávání vzorů. Když je výzva skutečně mimo distribuci – řekněme symbolická hádanka, jejíž tokeny se při trénování nikdy neobjevily společně – model nemá žádnou strukturu, ke které by se mohl vrátit. Doslova hází mincemi. Musk: Přesto vidíme vznikající "grokking" na syntetických úlohách. Zhong a kol. ukázali, že indukční hlavy mohou skládat pravidla, na kterých nikdy nebyla explicitně trénována. Nevypadá to jako uvažování? Hsu: Kompozice vám kupuje omezené zobecnění, ale pravidla stále musí spočívat v rozpětí tréninkové gramatiky. Jakmile vyladíte sémantiku – změníte jediný operátor v hlavolamu – přesnost se zhroutí. To není robustní argumentace; je to křehká interpolace. Musk: Nemohlo by to zpětnovazební učení vyřešit? DRG-Sapphire použil GRPO na základním modelu 7 B a získal kódování na lékařské úrovni v klinických poznámkách, což je klasický úkol OOD. Hsu: Háček je v tom, že RL funguje až poté, co základní model přijal dostatek znalostí domény prostřednictvím jemného ladění pod dohledem. Když je předtréninkový korpus řídký, RL sám stagnuje. Takže "uvažování" je stále parazitické na předchozí hustotě znalostí. Musk: Takže váš závěr je, že škálování dat a parametrů problém nevyřeší? Vždy narazíme na zeď, kde další OOD doména rozbije model? Hsu: Ne nutně stěna, ale strop. Empirické křivky naznačují, že chyba zobecnění se s trénovacími příklady rozpadá zhruba logaritmicky. To znamená, že pro každé nové koncové rozdělení potřebujete exponenciálně více dat. Pro úzké vertikály – řekněme diagnostiku raketových motorů – je levnější péct se v symbolických priorech než slepě škálovat. Musk: Což nás přivádí zpět k neurosymbolickým hybridům. Poskytněte LLM přístup k malému ověřenému řešiči a pak ho nechte orchestrovat volání, když se distribuce posune. Hsu: Přesně tak. LLM se stává meta-kontrolérem, který rozpozná, kdy je OOD, a předá specializovaný modul. Tato architektura obchází klam "jednoho obrovského transformátoru". Musk: Dobře, řeknu týmu xAI, aby se přestal honit za dalším bilionem tokenů a začal budovat směrovací vrstvu. Díky, Steve. Hsu: Kdykoliv. A pokud potřebujete syntetické testovací případy OOD, moje laboratoř má generátor, který už GPT-5 oklamal. Pošlu vám repo. Tento rozhovor s Elonem může být generován umělou inteligencí.

Je řetězové uvažování LLM fata morgánou? ... Naše výsledky ukazují, že uvažování CoT je křehký přelud, který zmizí, když je posunut za hranice distribuce tréninku. Tato práce nabízí hlubší pochopení toho, proč a kdy uvažování CoT selhává, a zdůrazňuje přetrvávající výzvu k dosažení autentického a zobecnitelného uvažování. ... Naše zjištění ukazují, že CoT uvažování funguje efektivně, když je aplikováno na in-distribuci nebo blízko v distribuci, ale stává se křehkým a náchylným k selhání i při mírných distribučních posunech. V některých případech LLM generují plynulé, ale logicky nekonzistentní kroky uvažování. Výsledky naznačují, že to, co se zdá být strukturovaným uvažováním, může být fata morgána, vycházející z naučených nebo interpolovaných vzorců v trénovacích datech, spíše než z logické dedukce. ... Společně tato zjištění naznačují, že LLM nejsou principiální uvažovatelé, ale spíše sofistikované simulátory textu podobného uvažování.

NYTimes: Columbia a Brown zveřejní údaje o přiznáních a rase v Trumpově dohodě Bylo zapotřebí existenční hrozby ze strany Trumpa, aby je přiměl tato data uvolnit. Před lety fakultní výbor systému Kalifornské univerzity zkoumal právě tento druh dat a vytvořil níže uvedené grafy. Pokud se podíváte na data, pochopíte monstrózní povahu afirmativní akce, jak je praktikována v USA po ~50 let. NYT: ... Columbia a Brown budou muset zachovat "přijímací politiku založenou na zásluhách", jak se uvádí v jejich dohodách, které kodifikují širší cíle administrativy v právně závazném jazyce. Univerzity "nesmí v žádném případě nezákonně upřednostňovat uchazeče na základě rasy, barvy pleti nebo národnostního původu při přijímání do svých programů," uvádějí obě dohody ve stejném jazyce. "Nebude tolerován žádný zástupný důkaz pro rasové přijetí." ... "Ministerstvo spravedlnosti skoncuje s ostudným systémem, ve kterém je něčí rasa důležitější než jeho schopnosti," řekl v březnu Chad Mizelle, úřadující náměstek generálního prokurátora. "Každá vysoká škola a univerzita by měla vědět, že nezákonná diskriminace při přijímání bude vyšetřena a odstraněna." Jazyk použitý v urovnání s Columbií a Brownem zatlouká do hlavy sporná tvrzení o případu přijímacího řízení u Nejvyššího soudu, která Trumpova administrativa předkládá od února. Trvá na tom, že rozhodnutí jde nad rámec přijímacího řízení a zakazuje jakékoli zohledňování rasy v univerzitním životě.