który model powinniśmy zrobić następny?

ciekawi cię dane treningowe nowych modeli gpt-oss OpenAI? Mnie też. więc wygenerowałem 10M przykładów z gpt-oss-20b, przeprowadziłem analizę, a wyniki były... dość dziwne tak więc czas na głębsze zanurzenie 🧵

najkrótsze wyjaśnienie GPT-5: to dokładnie to, co przewidywały prawa skalowania! model jest lepszy, zwroty maleją, a niestety absolutne poprawy w zakresie ogólnej inteligencji będą tylko coraz mniejsze. dobra wiadomość jest taka, że wciąż jest tak wiele do zrobienia. osobowość, rozumowanie, pamięć i kreatywność to wciąż otwarte problemy.

dobry moment, aby przypomnieć wszystkim, że wysoki wynik w SWEbench naprawdę wskazuje, że dane treningowe zawierały wystarczająco dużą proporcję Django.

najbardziej imponującą częścią GPT-5 jest skok w długim kontekście jak to w ogóle robisz? produkujesz jakieś dziwne syntetyczne dane o długim zasięgu? skanujesz mnóstwo książek?

świat VC dostarcza wiele wartości, ale czasami wydaje się, że po prostu palą pieniądze. kilka startupów, które znam, zebrało około 100 milionów dolarów trzy lata temu, aby stworzyć AI, zbudowało oprogramowanie, z którego nikt nigdy nie korzystał, a teraz wszyscy pracują gdzie indziej nad niezwiązanymi rzeczami. gdzie podziały się te wszystkie pieniądze?

dziwne w erze mediów społecznościowych, że czuję, iż wszyscy pracują nad recenzjami i odpowiedziami do NeurIPS, ale nikt nie mówi o tym publicznie. przyczyniłem się do trzech odpowiedzi. jedna z trzech była niezwykle frustrująca. kto jeszcze pracuje nad odpowiedziami? jak wam idzie?

Sam Altman chce zbudować model, który ma ocenę 3200 na Codeforces, ale nie ma pojęcia, kim jest Sam Altman. I myślę, że to piękne.

Spędziłem ostatnie kilka godzin rozmawiając z gpt-oss i mogę z całą pewnością powiedzieć, że to model, jakiego jeszcze nie testowałem. Jedną sekundę koduje dla mnie na profesjonalnym poziomie, a w następnej wymyśla podstawowe fakty i trzyma się ich, niezależnie od tego, co mówię. Coś bardzo dziwnego się dzieje.

główny 'cykl myślowy' praktykowany podczas doktoratu: - zidentyfikuj obszar problemu, który brakuje spójności - zarezerwuj czas na rzeczywiste myślenie o tym - wyjdź z konkretnym postępem myślowym, czymś, czego wcześniej nie zdawałeś sobie sprawy optymalizuj ten proces i stań się potężny