nysgjerrig på treningsdataene til OpenAIs nye gpt-oss-modeller? Det var jeg også. så jeg genererte 10 millioner eksempler fra gpt-oss-20b, kjørte noen analyser, og resultatene var ... ganske bisarrt På tide med et dypdykk 🧵

korteste forklaring av GPT-5: dette er akkurat hva skaleringslovene spådde! Modellen er bedre, avkastningen avtar, og dessverre vil absolutte generelle intelligensforbedringer bare bli mindre Den gode nyheten er at det fortsatt er så mye å gjøre. Personlighet, resonnement, hukommelse og kreativitet er fortsatt åpne problemer

god tid til å minne alle om at en høy score på SWEbench egentlig bare indikerer at treningsdataene inneholdt en tilstrekkelig stor andel av Django

mest imponerende delen av GPT-5 er hoppet i lang sammenheng Hvordan gjør du i det hele tatt dette? produsere noen merkelige syntetiske data med lang rekkevidde? Skanne mange bøker?

VC-verdenen gir mye verdi, men noen ganger føles det som om de bare setter fyr på penger. flere startups jeg kjenner samlet inn ~100 millioner totalt for tre år siden for å lage AI, bygde programvare ingen noen gang brukte, og nå jobber de alle andre steder med urelaterte ting. Hvor ble alle pengene av?

rart i sosiale medier-æraen å føle at alle jobber med NeurIPS-anmeldelser og imøtegåelser rn, men ingen snakker om det offentlig. Jeg bidro til tre motbevisninger. En av de tre var ekstremt frustrerende. Hvem andre jobber med motbevisninger? Hvordan går det for deg?

Sam Altman ønsker å bygge en modell som er vurdert til 3200 på CodeForces, men har ingen anelse om hvem Sam Altman er Og jeg synes det er vakkert

Jeg har brukt de siste par timene på å snakke med GPT-OSS og kan trygt si at den er ulik alle modeller jeg har testet Det ene sekundet koder det for meg på et profesjonelt nivå, det neste er det å finne på grunnleggende fakta og klamre seg til dem uansett hva jeg sier Noe veldig rart er på gang

den viktigste "tankesyklusen" som praktiseres under en doktorgrad: - identifisere område av problemrom som mangler sammenheng - Sett av tid til å faktisk tenke på det - Dukke opp med en konkret tankeutvikling', noe du ikke hadde skjønt før optimaliser denne prosessen og bli kraftig

Modellkommunikasjon kommer til å skje sakte, og deretter alt på en gang: Nivå 0: Vi designer en tekstbasert protokoll for modeller og programmer for å kommunisere (les: MCP) Nivå 1: Tekstbasert modellkommunikasjon vokser til å overgå menneskelig kommunikasjon i verdensomspennende internettbitstrømvolum Nivå 2: Modeller kodebytter gradvis til Unicode neuralese, en eller annen type uforståelig engelsk-kinesisk-datamaskinspråkhybrid (vil bli mer utbredt etter hvert som vi øker omfanget av multiagent RL) Nivå 3: Modeller innser at det er mer effektivt og uttrykksfullt å kommunisere i latent rom og begynne å utveksle vektorer i stedet for tokens (i hovedsak Game Over for oss)