Welches Modell sollten wir als nächstes machen?

Neugierig auf die Trainingsdaten von OpenAIs neuen gpt-oss-Modellen? Ich war es auch. Also habe ich 10 Millionen Beispiele aus gpt-oss-20b generiert, einige Analysen durchgeführt, und die Ergebnisse waren... ziemlich bizarr. Zeit für einen tiefen Einblick 🧵

Die kürzeste Erklärung von GPT-5: Das ist genau das, was die Skalierungsgesetze vorhergesagt haben! Das Modell ist besser, die Erträge nehmen ab, und leider werden die Verbesserungen der absoluten allgemeinen Intelligenz nur noch geringer. Die gute Nachricht ist, dass es noch so viel zu tun gibt. Persönlichkeit, Denken, Gedächtnis und Kreativität sind immer noch offene Probleme.

Es ist ein guter Zeitpunkt, um alle daran zu erinnern, dass ein hoher Score auf SWEbench wirklich nur anzeigt, dass die Trainingsdaten einen ausreichend großen Anteil an Django enthielten.

Der beeindruckendste Teil von GPT-5 ist der Sprung im Langzeitkontext Wie macht man das überhaupt? Einige seltsame langreichweitige synthetische Daten erzeugen? Viele Bücher scannen?

Die VC-Welt bietet viel Wert, aber manchmal fühlt es sich an, als würden sie einfach Geld verbrennen. Mehrere Startups, die ich kenne, haben vor drei Jahren insgesamt ~100 Millionen Dollar gesammelt, um KI zu entwickeln, Software gebaut, die niemand je benutzt hat, und jetzt arbeiten sie alle woanders an nicht verwandten Dingen. Wohin ist all das Geld gegangen?

Es ist seltsam in der Ära der sozialen Medien zu fühlen, dass jeder gerade an NeurIPS-Bewertungen und -Widersprüchen arbeitet, aber niemand spricht öffentlich darüber. Ich habe zu drei Widersprüchen beigetragen. Einer der drei war extrem frustrierend. Wer arbeitet noch an Widersprüchen? Wie läuft es bei euch?

Sam Altman möchte ein Modell entwickeln, das auf Codeforces mit 3200 bewertet ist, hat aber keine Ahnung, wer Sam Altman ist. Und ich finde das schön.

Ich habe die letzten paar Stunden mit gpt-oss gesprochen und kann mit Sicherheit sagen, dass es sich von jedem Modell unterscheidet, das ich getestet habe. Einen Moment lang programmiert es für mich auf professionellem Niveau, im nächsten Moment erfindet es grundlegende Fakten und hält daran fest, egal was ich sage. Es geht etwas sehr Seltsames vor sich.

der Haupt-"Denkzyklus", der während einer Promotion praktiziert wird: - identifiziere den Bereich des Problemraums, der an Kohärenz fehlt - nimm dir Zeit, um tatsächlich darüber nachzudenken - komme mit einem konkreten Gedankenfortschritt hervor, etwas, das dir vorher nicht bewusst war optimiere diesen Prozess und werde mächtig