Яку модель робити далі?

Вас цікавлять тренувальні дані нових моделей GPT-oss від OpenAI? Я теж був. тому я згенерував 10 мільйонів прикладів з GPT-OSS-20b, провів деякий аналіз, і результати були... досить дивно Час для глибокого занурення 🧵

Найкоротше пояснення GPT-5: це саме те, що передбачали закони масштабування! Модель краща, віддача зменшується, і, на жаль, абсолютні покращення загального інтелекту стануть лише меншими Хороша новина полягає в тому, що попереду ще так багато роботи. Особистість, міркування, пам'ять і творчі здібності все ще залишаються відкритими проблемами

Саме час нагадати всім, що високий результат на SWEbench насправді лише вказує на те, що тренувальні дані містили досить велику частку Django

найбільш вражаючою частиною GPT-5 є стрибок у довгому контексті Як ви взагалі це робите? виробляти якісь дивні синтетичні дані на далекі відстані? Відсканувати багато книг?

світ венчурного капіталу надає багато цінності, але іноді здається, що вони просто підпалюють гроші. кілька стартапів, які я знаю, зібрали ~100 мільйонів загалом три роки тому, щоб зробити штучний інтелект, створили програмне забезпечення, яким ніхто ніколи не користувався, а тепер усі вони працюють в інших місцях над не пов'язаними між собою речами. Куди пішли всі ці гроші?

Дивно в епоху соціальних мереж відчувати, що всі працюють над оглядами та спростуваннями NeurIPS, але ніхто не говорить про це публічно. Я зробив свій внесок у три спростування. Один з трьох був надзвичайно розчарований. Хто ще працює над спростуваннями? Як справи у вас?

Сем Альтман хоче створити модель, яка має рейтинг 3200 на Codeforces, але поняття не має, хто такий Сем Альтман І я думаю, що це прекрасно

Я провів останні кілька годин у розмові з GPT-OSS і можу з упевненістю сказати, що він не схожий на жодну модель, яку я тестував В одну секунду це кодування для мене на професійному рівні, в наступну – вигадування базових фактів і чіпляння за них, що б я не говорив Відбувається щось дуже дивне

основний «цикл мислення», що практикується під час докторської дисертації: - виявити область проблемного простору, в якій відсутня зв'язність - Виділіть час на те, щоб подумати про це - з'явитися з конкретним розвитком думки», чого ви раніше не усвідомлювали оптимізувати цей процес і стати потужним