Questo è il tipo di cose fighissime che facciamo con i nostri sponsor e che ci aiuterai a ideare.

"Una delle cose molto confuse riguardo ai modelli in questo momento: come riconciliare il fatto che stanno andando così bene nelle valutazioni. E guardi le valutazioni e dici: 'Quelle sono valutazioni piuttosto difficili.' Ma l'impatto economico sembra essere drammaticamente indietro. C'è [una possibile] spiegazione. Quando le persone facevano il pre-addestramento, la questione di quali dati utilizzare per l'addestramento era stata risolta, perché la risposta era tutto. Quindi non devi pensare se saranno questi dati o quelli. Quando le persone fanno l'addestramento RL, dicono: 'Ok, vogliamo avere questo tipo di addestramento RL per questa cosa e quel tipo di addestramento RL per quest'altra cosa.' Dici: 'Ehi, mi piacerebbe che il nostro modello funzionasse davvero bene quando lo rilasciamo. Voglio che le valutazioni sembrino fantastiche. Quale sarebbe l'addestramento RL che potrebbe aiutare in questo compito?' Se combini questo con la generalizzazione dei modelli che in realtà è inadeguata, questo ha il potenziale di spiegare molto di ciò che stiamo vedendo, questo disallineamento tra le prestazioni nelle valutazioni e le prestazioni reali nel mondo"

“Ci sono molte più aziende che idee, di gran lunga. Il calcolo è abbastanza grande da non rendere ovvio che hai bisogno di così tanto più calcolo per dimostrare un'idea. AlexNet è stato costruito su 2 GPU. Il trasformatore è stato costruito su 8 a 64 GPU. Quale sarebbe, che ne so, 2 GPU di oggi? Potresti sostenere che il ragionamento o1 non fosse la cosa più pesante in termini di calcolo al mondo. Per la ricerca, hai sicuramente bisogno di una certa quantità di calcolo, ma è tutt'altro che ovvio che tu abbia bisogno della quantità di calcolo assolutamente più grande. Se tutti sono all'interno dello stesso paradigma, allora il calcolo diventa uno dei grandi differenziali.” @ilyasut