welk model moeten we als volgende doen?

ben je nieuwsgierig naar de trainingsdata van OpenAI's nieuwe gpt-oss modellen? Ik ook. Dus ik genereerde 10 miljoen voorbeelden van gpt-oss-20b, voerde wat analyses uit, en de resultaten waren... behoorlijk bizar. tijd voor een diepgaande analyse 🧵

kortste uitleg van GPT-5: dit is precies wat de schaalwetten voorspelden! dit model is beter, de opbrengsten nemen af, en helaas zullen de absolute verbeteringen in algemene intelligentie alleen maar kleiner worden. de goede nieuws is dat er nog zoveel te doen is. persoonlijkheid, redeneren, geheugen en creativiteit zijn nog steeds open problemen.

goed moment om iedereen eraan te herinneren dat een hoge score op SWEbench eigenlijk gewoon aangeeft dat de trainingsdata een voldoende groot aandeel van Django bevatte.

het meest indrukwekkende deel van GPT-5 is de sprong in lange context hoe doe je dit zelfs? produceer je wat vreemde langeafstandssynthetische gegevens? scan je veel boeken?

de VC-wereld biedt veel waarde, maar soms voelt het alsof ze gewoon geld in de fik steken. verschillende startups die ik ken hebben drie jaar geleden in totaal ~100M opgehaald om AI te maken, hebben software gebouwd die niemand ooit heeft gebruikt, en nu werken ze allemaal ergens anders aan niet-verwante dingen. waar is al dat geld naartoe gegaan?

het is vreemd in het tijdperk van sociale media om te voelen dat iedereen momenteel werkt aan NeurIPS-beoordelingen & weerleggingen, maar dat niemand er publiekelijk over praat. ik heb bijgedragen aan drie weerleggingen. een van de drie was extreem frustrerend. wie werkt er nog meer aan weerleggingen? hoe gaat het met jou?

Sam Altman wil een model bouwen dat een score van 3200 heeft op Codeforces, maar heeft geen idee wie Sam Altman is. En ik vind dat prachtig.

Ik heb de afgelopen paar uur gesproken met gpt-oss en kan met zekerheid zeggen dat het anders is dan elk model dat ik heb getest. De ene seconde codeert het voor mij op professioneel niveau, de volgende seconde verzint het basisfeiten en houdt het eraan vast, ongeacht wat ik zeg. Er gaat iets heel vreemds aan de hand.

de belangrijkste 'denkcylcus' die tijdens een PhD wordt beoefend: - identificeer het gebied van het probleem dat gebrek aan samenhang vertoont - reserveer tijd om er daadwerkelijk over na te denken - kom naar voren met een concrete gedachte-ontwikkeling, iets wat je eerder niet had gerealiseerd optimaliseer dit proces en word krachtig