quale modello dovremmo fare dopo?

curioso riguardo ai dati di addestramento dei nuovi modelli gpt-oss di OpenAI? Lo ero anche io. Così ho generato 10 milioni di esempi da gpt-oss-20b, ho eseguito alcune analisi e i risultati erano... piuttosto bizzarri. È tempo di un approfondimento 🧵

spiegazione più breve di GPT-5: questo è esattamente ciò che le leggi di scalabilità prevedevano! il modello è migliore, i ritorni stanno diminuendo e, sfortunatamente, i miglioramenti dell'intelligenza generale assoluta diventeranno sempre più piccoli la buona notizia è che c'è ancora molto da fare. personalità, ragionamento, memoria e creatività sono ancora problemi aperti.

è un buon momento per ricordare a tutti che un punteggio elevato su SWEbench indica davvero che i dati di addestramento contenevano una proporzione sufficientemente grande di Django.

la parte più impressionante di GPT-5 è il salto nella gestione di contesti lunghi come fai a farlo? produci dei dati sintetici a lungo raggio strani? scansiona molti libri?

il mondo del VC offre molto valore, ma a volte sembra che stiano solo bruciando soldi. Diverse startup che conosco hanno raccolto circa 100 milioni in totale tre anni fa per sviluppare AI, hanno creato software che nessuno ha mai usato, e ora lavorano tutti altrove su cose non correlate. Dove sono finiti tutti quei soldi?

è strano nell'era dei social media sentire che tutti stanno lavorando alle recensioni e ai controricorsi di NeurIPS rn, ma nessuno ne parla pubblicamente. ho contribuito a tre controricorsi. uno dei tre è stato estremamente frustrante. chi altro sta lavorando ai controricorsi? come sta andando per voi?

Sam Altman vuole costruire un modello che sia valutato 3200 su Codeforces, ma non ha idea di chi sia Sam Altman. E penso che sia bellissimo.

Ho passato le ultime paio d'ore a parlare con gpt-oss e posso dire con certezza che è diverso da qualsiasi modello io abbia testato. Un secondo sta programmando per me a un livello professionale, il secondo dopo sta inventando fatti di base e si aggrappa a essi indipendentemente da quello che dico. C'è qualcosa di molto strano che sta succedendo.

il principale 'ciclo di pensiero' praticato durante un dottorato: - identificare la regione dello spazio problematica che manca di coerenza - dedicare del tempo per pensarci realmente - emergere con un avanzamento di pensiero concreto, qualcosa che non avevi realizzato prima ottimizza questo processo e diventa potente